赤沢城は小坂山から東に張りだす尾根の先端にあり、北に向きを変えて緩やかにくだる尾根一帯に郭がある。城の東麓(とうろく)にJR篠ノ井線、西麓に長野自動車道がある。対岸の屋代城とともに善光寺平の入り口を押さえる役割を果たしている。本郭は尾根上の一段と高いところで標高四八〇メートル、谷底との比高差約四五メートル、善光寺平を一望できる。谷の一帯から弥生時代から中世までの土器が出土している。

　南方の尾根を、幅九メートル、深さ一・二メートルの空堀で遮断している。この空堀は西側はふもとまで、東側も中腹まで延びていて、第一の防御線となっている。この空堀から北方に幅一〇メートル、縦約四〇メートルの郭がある。この郭の端に幅七メートル、深さ一・五メートルの空堀がある。この空堀も西側はふもとまで東側は中腹まで達している。この大きな空堀のあいだに西にくだる四つの空堀があり、ふもとで薬研堀(やげんぼり)のV字形に似て一つに交わっている。東側にはまばらに三つの空堀がある。

　北端の空堀から一二メートルの斜面を登ったところが本郭で、縦二二メートル、横一〇メートルの隅丸型長方形である。西側は石英安山岩の採石場で削られ絶壁、北側は急斜面で約九メートルくだって平坦地に出る。ここからおよそ一二〇メートルほど尾根が北に延び三つの小さな郭がある。空堀も帯郭もなく防御面からみると弱い。

　赤沢城は防御面での土木技術は単純で、郭の配置は尾根に限定され戦国期以前の様相を示し、いっぽう西側の堀はふもとで収斂(しゅうれん)していて戦国期後半の様相を示している。郭と堀は時期的に異なる。

　応永十年ここに立てこもった村上氏を細川慈忠が攻めおとして入る。上杉景勝が天正十一年（一五八三）稲荷山(いなりやま)城を築いているが、詰(つめ)の城としてこの城を改修したと考えられる。