奈良時代の天平年間（729-749）行基がこの地で地蔵菩薩をつくり、小堂を建てて安置したのに始まる。像は高さ88cmの坐像で寄木造。像底に「至徳元年（1384）霜月十九日恵尊」とある。
正平八年（1353）六月十三日、室町二代将軍・足利義詮は、後光嚴院を奉じて（連れて）近江の塩津を過ぎ、美濃国垂井を経て、小島頓宮に行幸し、八月二十五日に垂井頓宮に遷られた。小島の『壽佐美』に、
内裏のありさまはこのあたりにはまれなるいたぶきなれど山はさながら軒ばにて雲霧のはれまなし
と記し、また土岐家間書に、その後かの行宮を土岐郡へ移して「屋形」と号し、皇居のまゝ丸柱だった。修理され今に至るまで残ると記されている。 頓宮が板葺で丸柱の簡素なな建物であったことが分かる。
頓宮址は『美濃明細記』に小嶋頓宮白樫にありと記し、又同書に瑞岩寺縣明神社の上山際に文和二年（1353）に行幸された時の頓宮の旧跡があったと記され、 頓宮の跡は二箇所ある。瑞岩寺では、明治40年（1907年）に碑石が建てられ、「小島頓宮之碑」と刻まれ、題書は二條基弘公、撰文は鷲尾順教による。
現在の瑞岩寺の仏殿はなお東にあり、今も法堂・鐘堂の地名が残る。寛永元年（1624年）、大垣城主・岡部大膳正が入国巡検の際、由緒を聞き壇越となり、再建の際に今の地へ移した。古来、現在の瑞岩寺仏殿の南に当たる場所を頓宮址と称し、明治4年（1871年）3月に大垣藩へ提出した絵図にも記されている。瑞岩寺に頓宮址があることは、瑞岩寺黙翁和尚（宝永4年〔1707年〕より享保10年〔1725年〕まで住職）の記した由緒書、および寛延3年（1750年）8月に拙門和尚が寺社奉行へ提出した書にも記されている。
（『揖斐郡志』）
土岐氏は、後鳥羽院の西面武士・土岐判官光行が池田進次郎の子を追討した功で、建保四年（1216）左衛門権尉に任ぜられ、やがて美濃守護となった。土岐頼貞の母は北条貞時の女（むすめ）で、頼貞は足利尊氏に従い総領として勢力を拡大し、桔梗一揆の頭首として一国を制圧した。やがて守護家は東濃から稲葉山付近（現岐阜市）へ拠点を移した。
揖斐郡山麓は京都への路線確保と美濃平野制圧のために重要な副拠点だった。小島山・池田山麓を押さえるため、粕川南岸に頼貞の子・頼清が小島城（春日村六合字東山）を築き、粕川流域の南北を支配した。土岐氏初代頼貞の子で二代頼遠の兄の土岐頼清は池田郡に住み、伊予国守護に任ぜられたこともあった。延元一年（1336）六月、上京の途中で摂津国芥川で病死し、その子頼康が香花場として寺を建立し、瑞川寺と号した。京都南禅寺の大林大和尚を請じて大導師とし、この地で葬儀を行い、地蔵尊を本堂として堂を建てた。大林大和和尚の四大弟子のため、栗棘庵・多福庵・雄心庵・退耕庵を建てた。
土岐家三代守護・頼康は、足利義満の補佐・細川頼之に忌まれ、陰謀を企てたとして征伐され、元中四年（1387）十二月二五日に瑞岩（巌）寺に葬られた。頼康の子・康行が養子として三ヵ国守護を嗣いだが、一族の内訌を理由に将軍義満の討伐を受け、池田頼忠・頼益父子らに追討され没落した。康行は敗走して翌明徳一年（1390）再び小島城に拠ったものの支えきれず没落した。義満は土岐家を断絶しようとしたが、相国寺五世雪渓が頼康の弟であったので、池田を後継者とし西池田家が土岐守護家を嗣いだ。但し美濃国のみの守護となった。
愚堂東寔は、慶長末（-1615）に当寺に住し安八郡北方村慈渓寺を領した。寛永五年（1628）、勅により妙心寺に出世し、寛文元年（1661）十月一日寂、享年八五。大円宝鑑国司の号を賜った。
参考
『池田町史 通史編』（岐阜県揖斐郡池田町、昭和五十三年）205、208、209頁
『揖斐郡志』（揖斐郡敎育會、大正十三年-1924）807頁
春日村史編集委員会『春日村史 上巻』（岐阜県揖斐郡春日村、昭和五八年）97頁
『揖斐川町史 通史編』（揖斐川町、昭和四六年）109、110頁