吉田家は「小松屋」の屋号で、江戸時代には伊勢参りの旅籠を営み、大正時代から戦前にかけては煙草の元売りを行っていた。

主屋は江戸時代末期に建てられた。基本的に町屋建築で、現在の屋根は瓦葺きだが、当初は板葺きであったと考えられている。その理由は、当初の母屋と見なされる材が現存するからである。明治時代中頃には2階部分が、大正時代は煙草元売りの開業に伴い店先が改造された。

吉田家は一時期空き家になっていたため、現代生活用の改造がほとんど施されていない。明治時代以降、再三にわたり改修されてきたが、近世の町屋を偲ばせる重要な建物と言える。