延暦二二年（803）伝教大師が創建した。本尊は薬師如来。天台宗の有力寺院で天台五岳の一つである。天正十七年（1589）延暦寺再興の際は、横蔵寺の本尊を移して根本中堂の本尊としたほどだった。

天文年中（1532-54）に小津・樫原・津汲・横山・神原・乙原に一千貫の寺領を有した。戦国時代足利義満の時に小津・樫原・津汲等の寺領を失った。明治三一年横蔵寺は、永禄年中（1558-1589）織田信長が岐阜城在城の時に千石千貫の寺領全てを没収され、岐阜因幡山に引移され一山十二坊悉く破滅したと、本山にあてて記している。

しかし当時の横蔵寺は信長と交渉があったようだ。無用斎から横蔵寺への書状（横蔵寺文書）があり、横蔵寺が安土へきても信長が摂津へ出陣中であるから、休憩して待つように、との信長の命令を伝え、更に折紙で申渡し、神原の百姓には堅く規定を守らせると、門前の山の立木伐採・売払いを禁じている。無用斎とは、安藤伊賀守守就のことで美濃三人衆の一人として氏家卜全・稲葉一鉄（通朝）と肩を並べており、信長の岐阜攻めで内応し、以後信長に仕えていた。道足は本巣郡北方或いは方県郡河渡の城主であったが、天平八年に信長に追放され、本能寺の変後は旧領修復をめざして一鉄・貞通父子と激戦し敗退した。

藤巻村の勝善寺（東横山）、浄輪寺（鶴見）、善勝寺（東杉原）は、天台宗で当寺の末寺であったが、中世から近世にかけて浄土真宗に改派した。

参考
藤巻村史編集委員会『藤巻村史上巻』（藤巻村、昭和五七年）98、99、114頁
『谷汲村史』（岐阜県揖斐郡谷汲村、昭和五二年）168、169頁