土岐頼清の子・揖斐新蔵人出羽守頼雄が築いた城で、頼雄が康暦二年（1380）にこの城にて卒し、のちその子・揖斐藏人詮頼、及び左近大夫基春・五郎光親等居た。

天文十六年（1547）十一月、斉藤道三は頼藝を大桑城に攻め、十二月には相羽城にて長屋景興を滅し、さらに進んで揖斐城をも攻撃した。城は焼失して陷落して五郎光親は落ち行った。

十七年（1548）八月、織田信秀は頼藝のために義戦を開かんとする。道三と信秀は和解し、頼藝は帰国し、光親は一城を古橋に築いて住む。

その後、揖斐には堀池備中守と子の新之丞が居住した。堀池の居所は城台山麓茶臼谷、頼雄の壘（砦）。その後、天正八年（1580）の頃、正月元旦曉に稻葉一鐵が兵を発して攻め入る。堀池は不意を打たれ落城する。その後一鐵の子・貞通が曽根より移り居るも、天正十三年（1585）の頃に郡上城へ所替となる。

参考：『揖斐郡志』（揖斐郡敎育會、大正十三年-1924）814頁