重臣間の対立抗争が原因で秀吉によって会津九一万石から宇都宮一八万石に減封された蒲生秀行の宇都宮在城期間(慶長六年までの三年間)に出されたと見られる町野重福書状(史料編Ⅰ・五六七頁)によれば、佐八氏が宇都宮氏の改易以後も粟島郷を伊勢神領として認めてくれるように訴訟をおこしていたが、聞き届けられていないことがわかる。
こうして、室町期から戦国期にかけて宇都宮氏の認知のもとに伊勢神宮領として継続していた粟島郷であったが、近世に入り宇都宮藩領に組み入れられたのであった。そして近世初頭には宇都宮藩領であった栗島郷は、その後延享四年(一七四七)に一橋家領。嘉永三年(一八五〇)から幕府領となっている。
しかし、その間、伊勢神宮への旧来の信仰の絆は断ち切られなかったようで、元禄一四年(一七〇一)一二月六日に神明宮が祠られて復活し、以後現在に至るまで栗ケ島地区に祀られている。
17図 伊勢神宮の末社「神明社」(栗ケ島)