寺伝によれば、六十代醍醐天皇の御宇（897-930）、菅公（菅原道真）が筑紫へ左遷された際（901）、公家達も所々へ流され、そのうち英比丸は知多の浦に左遷された。やがて菅公を天滿官と祀らせ、公家達も都へ召し返された。英比丸はなお当地に住みたいと奏聞し、勅許を得て知多郡の領主となって英比五郷を開いた。この頃に当社も創営されたという。

現在「英比五郡の白袴」というのは、その時里民が正月に白袴を着て、菅氏を拝したことにはじまる。英比殿没後、郷民は崇敬のあまり像を作り、今に至るまで民家一日ずつ順番に像を宿し、立臼の上に荒薦（あらごも）をしいて安置し祭る。「廻地頭」という。像が僧形であることにより、あやまって「廻地蔵」ともいう。その像尤も古雅にして信ずるに足れり。

なお菅公の公達のそれぞれの配流先は『菅家後集』等に詳しいが、英比丸と称すものはみえない。「あぐひ」という地名は『延喜式』（927）等の古書に見えとても古い地名だが、左遷以前に英比丸と称したのはあやまりで、ここに住まわれた事が後に英比殿と称されるようになったのだろう。

参考：『尾張名所圖會 前編 巻六』（岡田啓・野口道直、天保十五年-1844）