文治元年（1185、一説では建久六年-1195）源頼朝の功臣・加藤景廉が遠山庄地頭に任じられ、嫡子・景朝は岩村に住み遠山氏と称した。遠山氏は東濃の一大勢力となり、特に苗木、明知の遠山氏は本家岩村遠山氏の滅ぼされた後も明治維新（1868）まで続いた。
岩村城内の八幡宮は加藤景廉を鎮護の神として祀り、景廉が岩村城を創始者とされる。承久の乱（1221）では景廉は鎌倉にいて、実子・景朝が朝廷側・一条信能を岩村で首をはねており、岩村に住み城を築いたのは景朝とされる。
景廉は初め伊勢の人で、流浪して東濃遠山庄に辿り着き、ある農家に身を寄せ、後に伊豆へ行き源頼朝に従う。治承四年（1180）、頼朝が伊豆大島で挙兵した際に従った。景廉は島の目代・山木判官兼隆を征伐した際に兼隆の首を斬り、刃先に棒げて呼ばわった為、敵は四散したという。大いに功を立てた景廉は、所縁の地である遠山庄（岩村）その他小蘓庄、遠州（淺羽庄）三河（河津庄）伊豆（狩野牧）上総（角田庄）甲斐（大原庄小松庄）備前（上鴨庄下鴨庄）等にて数ヵ所の荘園を賜った。三代将軍・源実朝が亡くなると出家して覚蓮坊妙法といった。承久三年（1221）八月二日遠山荘地頭檢非違使従五位下左衞門尉藤原景廉、没する。五子（景朝・尚景・景長・景義・景経）あり、太郎景朝は岩村に住し、遠山左衞門尉といふ。子孫は繁栄して恵那全郡を領するに至り、土岐氏と並んで当国の著族となる。（『尊卑分脈』『東鑑』）
『遠山来由記』によれば、 岩村城内八幡社祠中に景廉の真影があり、座像の長さは一尺一寸（約33cm）、黒冠を戴き、黒服を着て、手に笏（しゃく：神儀で使う細長い板）を持つ。また宝殿に鎧一領を蔵し、景廉を被った時の甲胄であると。嘉禎元年（1235）八月景義は、兄景朝と伊豆国狩野荘内の牧郷地頭職を争って敗訴したが、景朝が父の遺産の幾何を継いだかは明らかでない。（『東鑑』）
『尊卑分脈』『東鑑』並びに『系圖纂要』等によれば当国関係の家系は以下。
鎌倉時代の末に至って明智遠山景房は、恵那郡内所々の地頭職を安堵される。また足利尊氏に従って戦功を励む。
下令早遠山孫次郎景房領知美濃國手向郷内明智・上下村・荒木村・窪原・佐々良木・安主名等知行之所々地頭職之事
右人任先例之旨領掌不可有相達之状如件
元弘元年七月 日 （慶元古文書)
山上村は岩村の古名で、山上家に伝わるものがある。往古、山上村に山賊が侵入して荒らしたので、村の邑長某が憂いて伊勢神宮に祈願したところ、霊験により翌朝宇治橋で武将に逢い、その武将は邑長と共に山上に来て山賊を平定し、当地に城を築き城主となった。これが加藤景廉であると伝える。伝説に因むものとしては、山上家に陣椀や、裏山には霊夢石、烏帽子岩、屛風岩など伝説にまつわるものがある。
また一つの伝説はこの景廉を「桐中将」という公卿としたもので、桐中将が無実の罪で都を追われ山上の里に流れて、邑長はこの零落した貴人を迎え鄭重に待遇した。しかし貧しく敷物には格子を用い、椀に二本箸のまま供した。この中将には娘があったが落ちぶれ尾張鳴海の娼女となっていた。やがて別の東下りの公卿に救われ、冤罪が許され父娘共に都へ帰った。これは娘の信仰した鳴海笠寺観音の霊験だったという。後に桐中将は迎えられて岩村城主となっり、霧城は桐ヶ城であったと附記している。
岩村城は地頭・加藤景廉が築いたとされるが、当時の地頭の居館は平地に造られるのが普通で、今の領家（岩村駅附近）にあったとみられる。やがて南北朝時代の延元二年（1337）に遠山三郎が新田義貞に従い越前金崎城が落ち岩村城は放棄された。やがて城中の八幡社の棟札は永正五年（1508）冬十月とあり、その頃には当地に山城として築かれていたのだろう。その後、天正年間（1573-92）森氏の時代に各務兵庫が築城し、現在みられる石垣などが配置されたとみられる。
遠山氏は岩村を中心に遠山庄内即ち恵那郡、土岐郡木曽の方へ発展した。室町末には遠山子城十八砦があった。
高山・苗木・串原・香野（神箆）・今見（木曽）・阿寺（現中津川市手賀野）・孫目（馬籠）・大井・鶴居（鶴城）・瀬戸崎（苗木東瀬戸邑）・振田（阿木村久須田）・中津川・幸田・妻木・大羅（大波羅）・千駄皈（千旦林）・明知・飯峡。（『府誌』）
『美濃御坂越記』には落合丸山城、落合霧原城、中津川徳城、福岡広専寺城、茄子川城、正家城、佐々良木城、野井城等を挙げている。
天文末期に武田信玄は信濃侵略を終えて東濃・三河へ勢力を伸ばす中、遠山景前は武田氏と款を通じたようである。この頃、東濃に遠山氏、飛騨に三木直頼がおり、三木氏は主家である飛騨国守護・京極氏が越前・浅倉氏、美濃・土岐氏に滅ぼされ、東濃の遠山氏と結んだ。仲介したのは三木直頼の兄で禅宗の明叙である。明叙は享禄元年（1528）中呂に禅昌寺を開山し、天文三年（1534）には遠山大円寺を再興した。武田信玄も禅宗に深く帰依し、名僧を招聘して恵林寺など諸寺を開いた。明叙の死後、大円寺には希菴は入り、甲州の同門の僧侶達と交友し武田氏と遠山氏の間をとりもったようである。後に希菴は恵林寺に入寺した。
弘治二年（1556）に遠山景前が病死すると、跡を継いだ遠山景任は織田信長と結んだ。この時期、武田と織田も組んだが、大円寺・希菴、武田方は安国寺・麟岳、織田方は政秀寺・沢彦等の臨済僧が斡旋したという（『妙心寺史』）。
元亀三年（1572）十月三日、武田信玄は甲府を出発し伊那谷を経て遠州に進軍し、徳川家康と結んで信長を討とうとした。信玄が遠江へ兵を進めると、信長は武田氏の背後の上杉氏に助けを求め、西上を阻止しようとした。信玄は三方ヶ原で信長・家康軍を破り、東濃では両軍の攻防が展開されることとなった。
勝ちに乗じた秋山軍は信州根羽から進み、東濃の諸将と東三河の兵が上村に出陣して迎え撃とうとした。岩村遠山氏をはじめ、明智城主遠山景行、苗木城主遠山勘太郎、飯羽間右衛門佐、串原城主串原弥左衛門、高山城主平井光行、小里城主小里光次らが参戦し、串原城主の郎等の佐々良木村の渡辺新右衛門も加わったとされる。東三河の兵も加勢したが、秋山勢が優勢で遠山一族は多くの犠牲を出し、援軍も退却した。
天正元年（1573）正月三河野田城を攻略したが、二月信玄は病没した。
同年二月秋山伯耆守は岩村城を攻略し、城主となる。この時、馬場民部は八百余の手勢を以て信長の後詰一万余の大軍を追い払った。
岩村城主・遠山景任が没し後家の修理夫人（信長の伯母）は信長の五男・御坊丸を養子として城を守ってした。乳夫・五十若久助は幼君を守立て烈しく防戦し、霧城の堅塁と共に容易に陥落しそうもないので、計を巡らせ、密使を城中に送り夫人を説得して婚姻して城を明け渡した。その後、秋山は信玄の嫌疑を受け、七歳の御坊丸は甲府へ人質として送られた（『甲陽軍鑑』）。三月十五日には甲州軍が岩村城を落とした。なお、天正二年に上村合戦があり、その時に婚姻があったという説（『巌邑府誌』）もあり、記録は一定でない。
御坊丸が甲斐に送られると信長は立腹し、岩村城奪還のため周辺の遠山子城十八を固めた。高山城・平井頼母光村、苗木城・遠山久兵衛友忠、明地城・遠山勘右エ門利景、串原城・串原弥左エ門、飯峡間城・飯峡間右衛門尉信次、妻木城・妻木彦右エ門範重など。
天正二年正月、勝頼は東濃を侵攻した。高山、苗木と攻落とし、串原、阿木、久須見、瀬戸崎、大井、中津川、孫出目、大富、振田、田瀬等を四・五日で落とし、さらに明知城を攻略しようとした。信長は驚いて岐阜を出て鶴岡山で対陣したが、武田方・山県昌景等が追い返した。最後に飯峡城を攻めた。飯峡間右衛門佐信次が守っていたが、信州川中島の五甘刑
天正三年五月勝頼は長篠城を攻めたが、却って大敗し、山県昌景、馬場民部など名将を失い、武田の勢威は地に墜ちた。
同年六月信長機を逸せず織田信忠をして、岩村城を攻めた。秋山伯耆守は死力をつくして戦い数ヶ月堪えたが、武田の援護なく遂に降伏し、春近夫妻及び大島座光寺等磔殺され、岩村城は陥落した。
同年十一月十四日、武田勢の秋山伯耆守春近が岩村城を奪い居住した。
天正元年（1573）二月秋山伯耆守春近は岩村城を攻撃した。岩村城主の未亡人修理夫人（信長の伯母）は五男御坊丸を養子として城を守っていた。
天正三年（1575）、長篠の戦で武田軍が破れ、同年秋信長は嫡男信忠をして岩村城を攻撃。秋山勢は強硬に抗戦したので城を遠巻きにして兵糧攻めをする。糧道の寸断には竹折の土岐三兵らが活躍した。やがて木曽より木曽義昌が援けにきたが、織田氏を恐れ兵を引き上げ、これを機に織田氏は総攻撃を開始。稲麻竹葦（とうまちくい-群生する様子）のごとく取り巻き、日夜攻め寄せた。城中は堪えかねて禅僧を以て降参の意を示した。信忠はそれを認め秋山・大嶋・座光寺三名は岐阜に送られ、処刑された。
しかしその後も岩村城は旧遠山派を中心に籠城を続けた。信長公は川尻備前守を以て落城させよと厳命し、日夜攻め破り、籠城の面々は難儀になって一之城郭へ集まり、遠山市之丞・同三右衛門・同藤蔵・同四郎三郎・同内膳・同次郎三郎の七人は一座で切腹した。その他の諸士も討たれたり落去したりしてたちまちに落城した。
天正十年（1582）岩村城主森蘭丸長定が没し、金山城主・兄武蔵守長可が遺領並びに苗木領も併有したが、同十二年（1584）小牧長久手の戦いで戦死し、弟右近大夫忠政が継いだが、慶長5年（1600）二月に信州川中島に移封された。ここに至って、田丸中務大輔直昌が奧州三春より岩村城に来治し、東濃地方四万石を領した。慶長五年（1600）五月、永保寺に寺領安堵状を下した。（『遠山氏記録』『永保寺文書』）
已上
當寺中屋地年貢三十一石餘之事理候間令免除上は不可有相違之處仍如件
慶長五年五月十六日 田丸中大 直昌 花押
巨溪永保寺 (天正十七年十二月二十六日忠政の状と同文なり)
當寺藥園畠二十七石六斗餘爲寺領申付候 竝谷中山林共遣之置上は不可有違亂候仍状如件
慶長五年五月十六日 田丸中大 直昌 花押
巨溪寺 (天正十九年十月十一日忠政の状と同文なり)
参考：
岩村町史刊行委員会『岩村町史』（岐阜県岩村町役場、昭和三十六年）60-68、84-85、158頁
恵那市史編纂委員会『恵那市史 通史編 第一巻』（恵那市、昭和58年）865-867頁
『苗木の伝記 苗木記・高森根元記』（中津川市苗木遠山史料館、平成24年）64、65頁
『濃飛兩国通史 下巻』（岐阜縣教育會、大正十二年-1923）25頁
『濃飛兩国通史 上巻』（岐阜縣教育會、大正十二年-1923）421、422頁