城主は後藤氏。

後藤五郎左衛門基直

後藤氏の祖で、土岐氏に仕え世安荘を領した。子孫代々城主となり、世安判官俊基、左衛門氏直、加賀守盛直、佐渡守直政と続く。

後藤左衛門裕政

直政の子で、応永のころ土岐康政が頼政に攻められ屈服して以来、流浪の身となる。

後藤四郎兵衛祐直

祐政の子で、将軍・足利義政に仕え、刀装金具の彫刻を業とし、近江坂本に二百貫を給せられ法橋に叙された。のち加賀野に帰郷した。

後藤佐渡判官高政

祐乗の子で、将軍足利義稙に仕えた。

後藤右京高次

高政の子で、斎藤義龍に属し、弘治の役の軍功で本巣郡北方を与えられ、砦を築き移った。加賀野には家臣日比太三郎を置いた。永禄四年六月一日、三塚城主種田信濃守が、氏家直元に従って加賀野城を襲撃。高次は家臣らと防戦するも、同月三日自殺し落城した。子・直次は尾張・聖徳寺に逃れ、のち信長に仕え、その子・直泰は織田氏滅亡後に加賀野に閑居した。

参考：『新修大垣町史 通史編 一』（大垣市、昭和四十三年）416頁