乳井茶臼館がいつ造られたのかについては定かでない。しかし、『津軽一統志』や『封内事実秘苑』によると、戦国時代にこの地を領していたのは、乳井福王寺の別当で、猿賀深沙大権現(現在の猿賀神社)の別当も兼ねた乳井福王寺玄蕃であり、また、福王寺玄蕃ははじめ乳井古館にいたが、後に乳井城を築いて移ったと伝えられている。福王寺門前集落(寺内)のすぐ南にそびえる茶臼館の立地から考えて、館の築造者はこの福王寺別当乳井氏以外には考えられず、福王寺玄蕃か、その父の代のころに、乳井を守る砦の一つとして建設されたものであろう。
　乳井氏は、もともと独立の領主であったが、天正二年(一五七四)、福王寺玄蕃が大光寺城主瀧本重行に謀殺されたことから、子の乳井大隅建清は大浦為信の麾下に属し、以後、大浦勢の有力メンバーとして行動する(『津軽一統志』『封内事実秘苑』『永禄日記』)。その後、乳井大隅は、高畑城攻略や天正四年(一五七六)の大光寺城攻略戦などに活躍。天正四年以後は大光寺城代となって、慶長四年(一五九九)までこの城に駐屯した。
　乳井茶臼館が記録に登場するのは、天正七年(一五七九)のことである。天正六年(一五七八)七月、大浦為信は波岡城を攻略し、当主北畠顕村を自害させて名門波岡御所を滅亡させた。同年、これを怒った顕村の岳父・出羽脇本・檜山城主の下国安東愛季は津軽に侵攻。翌七年(一五七九)には、麾下の蝦夷島松前館主・蠣崎季広に渡海・出陣を命じるとともに、自らも再び津軽に出兵して、碇ケ関から乳井までの地域を占領し、波岡回復をはかった。その結果、乳井・沖館・大光寺一帯では激戦が繰り返され、六羽川で行われた合戦では、為信は一時窮地に追い込まれる(蠣崎季広書状写、蠣崎慶広書状写、いずれも秋田藩採集文書「奥村立甫家蔵文書」、及び『封内事実秘苑』など)。
　『津軽一統志』『封内事実秘苑』『永禄日記』など近世の記録は、いずれも、このとき「秋田の比山勢」が侵入して「乳井茶臼館」に立てこもったと記す(『永禄日記』には「茶磨館」とある)。また『本藩通観録』は、〝比山勢が茶臼館の砦将出町豊前を追出してこれを占領したが、津軽勢に攻められ退去した〟と述べている。ちなみに、これら近世の津軽側記録では、「比山勢」を「大光寺左衛門の二子六郎・七郎兄弟」とするが、「比山」とは檜山のことであり、下国安東愛季勢の誤りであろう。そして、乳井一帯を占領した下国勢が立てこもった場所として伝えられたのが乳井茶臼館であった。
　その後の乳井茶臼館については記録がなく明らかでないが、戦国動乱の終了とともに廃城になったものと思われる。