五知には平家の落人伝説が残っていて、鳥羽常安寺の慶長14年頃からの末寺である福寿寺には、｢平家の赤旗」と伝えられる旗が保存されています。赤旗には2種類あり、「赤い絹地に二匹の揚羽蝶が描かれたもの」と、三社託宣の神号が「天照皇太神宮」「八幡大菩薩」「春日大明神」と書かれたものがあるそうです。室町時代に作られたものと思われますが、平家の子孫が南北朝から戦国時代の動乱期に勢力を誇示するために作ったのではないかといわれています。