三鬼神（さんきさん）が、三鬼堂に祭られるようになった経緯について、慶長年間のこと、安芸国の守護、福島正則が、厳島神社の社領を減らしたことがあった。すると、福島家につぎつぎと怪事が起こり、人びとはみな、厳島の三鬼天狗がわざわいを行っているのだと怖れた。正則は、天狗のやつをこらしめようと弥山に登っていった。途中、三人の山伏が横になり行く道を塞いでいた。怒った正則は、「無礼者、そこをどけ」と怒鳴りつけたが、山伏達は悠々と寝そべったままである。激怒した正則は、家臣に「曲者をひっ捕らえよ」と命じたが、それでも山伏達はいっこうに動じない。
　怒り狂った正則は、声を荒げ怒鳴り続けたところ、やがて、山伏達がのっそりと起き上がった。すると、驚いたことに、一丈余りも背が伸びたかと思うと、恐ろしい顔で、正則を睨み据えた。さすがの正則も、足がすくんでどうすることもできない。そのうち、眼がくらんで、顔を上げていることができなくなった。

　この様子を見ていた神主が進み出て、「ここにおられるのは当国の太守であるぞ。そうそうに道を開けよ」というと、山伏達は、「たとえ太守でも、よこしまな人を通すことはできぬ。立ち帰れ」と、怖ろしい声でいい返した。そこで神主は「しからば慈悲を起こせばいかがか」と尋ねると、「邪念なくば通す」と答えた。

　このやりとりを聞いていた正則は、心からおそれて、弥山崇敬の念を起こしたが、そうと見て取ると、山伏姿の三鬼は、たちまち、かき消すように見えなくなってしまった。
　正則は、あらためて三鬼の社に詣でると共に、篤く尊信し、りっぱな三鬼堂を建立したという逸話が残っている。