市木川と矢作川の合流する場所にある。
堀と櫓を備えた本郭（くるわ）、二の郭、家中屋敷がある三の郭からなる。
慶長十八年（1613）、渡辺守綱は徳川家康から尾張藩付属を命じられ、加茂郡内で五千石、尾張藩主徳川義直から尾張国内で五千石を与えられ、それ以前の近江・武蔵の知行地を合わせて一万四千石となったが、後に近江・武蔵の地は分知され、残った一万石が渡辺家の知行高となった。守綱は、戦国時代に鈴木家が城郭を構えていた寺部に陣屋を置き、在所とした。
渡辺家の三河国知行地五千石は寺部領と呼ばれ、三河に張り出した尾張藩領であった。家康からの拝領という由緒により尾張藩内で特殊な位置にあった。朝鮮通信使などの人馬通行御用は幕府三河代官から寺部の渡辺家家臣に伝達され、諸国への触書なども寺部近辺の領主と連名の宛名で三河代官から通達された。尾張藩が財政再建のため藩士に普請役負担を命じた際には、寺部領は家康からの拝領地であることを理由に免除されている。
陣屋の東側に家中屋敷、その南側に町人屋敷があった。寛政四年（1792）、往来の人が乏しく商売にならず、また水難荒廃地を自力で再開発する余力がないことを理由に、馬市の開設を求める願書が出された。同年四月に始まった馬市は当初一定の成功を収めたものの、寛政九年（1797）には不振となり、文政十三年（1830）頃には廃絶した。17世紀前半には矢作川沿いに新田畑を開発した。
愛知県史編さん委員会『愛知県史 通史編5 近世2』（愛知県、平成30年）68-