先にあげた「宴曲抄」とほぼ同じ頃、一三世紀の末か一四世紀初頭に描かれたと見られる「男衾三郎絵詞」などの絵巻物を見ると、この当時の東国武士の館の様子を知ることができる。
館の入口には門がある。門は土塁や、柵の正面の部分に造られていることが多い。門の上は物見櫓になり、屋形もできているところも少なくない。そこには楯や弓矢などが、武威を示し、またいつでもすぐ使えるように整然と並べられている。門を入るとかなり広い、収獲期には農作業にも使う中庭である。そこにも楯が連ねられている。楯の表には三ツ星とか二引とか枡型とか、館の主人の紋が描かれてある。櫓の上や門の内外に、見張らしい下人の姿も見える。つまりたとえ戦争をしていない時でも、館というものは常に臨戦体制のもとにあった。一刻の油断が一家一族の滅亡につながる例がいくらでも見られた。そこですわ敵襲という時は直ちに門を閉ぢて、館は一瞬のうちに城砦となるのである。
門の内外には茅葺きの、館に仕える下人たちの住居が建て連ねられている。これは極めて粗末な建物で、土間のごく一部にだけ床を張った程度のものにすぎない。門外の下人の住居のまわり、館の門前やそれに連なる広い敷地には、門田・門畑、或は土居などと呼ばれる田畑が広がっている。武士は館の中や門前に住む下人たちを使って、自らこの田畑を経営していた。門田や門畑は、館の主人が最も大切にしている最高の、手造りの田地である。
館の中は下人達の住居に隣接して、厩や倉庫が並んでいる。戦になれば武士は馬に乗り、徒歩の下人たちを兵隊として出陣していった。馬に乗る者は主人と家族、及び主立った家来だけに限られてはいたが、良い馬に乗るか否かが一騎打ちの勝敗の大きな分れ目となったから、武士たちは少しでも優秀な馬を、一頭でも多く揃えようと努力していた。幸い関東地方は奈良時代から知られた良馬の産地であった。関東武士が強いといわれたのも、良い馬を手に入れやすいという地理的条件がかなり大きな要素となっていたことと思われる。
飼っている動物としては、馬の他に犬がいる。番犬として、あるいは狩の勢子として、更には犬追物(仕切られた円い区画に犬を追込み、周囲から騎馬で矢を射かけて武技を訓練する遊び)の的として、なくてはならない動物であった。魔除けの意味で、厩に猿をつないでいるところも少くなかった。或は鷹狩に使う鷹も飼われていたりする。猫の姿はあまり見かけないようだ。日本に家猫が入って来たのは平安時代の九世紀末ごろといわれるが、宮中を中心とした貴族たちの間で珍重されていたにすぎず、庶民にまで猫が広まったのは一三世紀に入ってからのことだった。だから関東の田舎の武士たちにとっては、一三、四世紀頃は猫はかなり珍しい動物であった筈である。