杵淵西集落の北西に館跡がある。原型は崩れてはいるが、南北七五メートル、東西七〇メートルの矩形の館跡であった。西北隅から東方に幅一一メートル、長さ四〇メートルの堀跡、また同じ西北隅から南に幅八メートル、長さ四三メートルの堀跡が残り、昭和二十年代までは西南隅の堀跡で水泳をしたと村びとは語っている。現在は堀の幅も狭まり、深さも浅くなっているが、堀の跡形ははっきりと残っている。西北隅の堀跡の内側には土居敷幅一三メートル、長さ一五メートル、高さ四・五メートル、馬踏(ばふみ)(上部の面)の幅四メートルの土塁の跡が残っている。
この館跡は古来から杵淵氏の館跡と伝承されている。杵淵氏は諏訪氏の支族関屋氏の出である。『源平盛衰記』に城資職(じょうすけもと)に味方して木曽義仲と戦って討ち死にした富部家俊(とべいえとし)の郎党(ろうとう)杵淵小源太重光(こげんたしげみつ)の話が載っている。「家俊の戦死を知った重光は、主人の仇を討ったあと、刀を口にくわえて馬から飛びおり壮烈な自刃をとげた」という内容である。
富部家俊は一一世紀の末信濃の国司となった左衛門大夫平正家の甥(おい)正弘(北面の武士、長野市の高田・市村や麻績御厨(おみみくりや)・野原(やばら)郷に所領)の孫で、この地方に土着し武士となった布施惟俊(ふせこれとし)の子である(『県史』②)。