青山宗俊の父忠俊は天正六年浜松に生まれ、後に家光の傅(ふ)となり大坂の陣に戦功をたてた。元和六年には江戸の根城として重視されていた武蔵岩槻城主に封ぜられた。宗俊は父とともに幼少から将軍家に奉仕していたが、元和九年忠俊が家光の勘気をこうむり(直諫のゆえか)、所領の岩槻四万五千石を没収されて蟄居の身となるや、これに連座して父と共に下総・相模・遠江と転住した。【内藤氏　小林村】とくに遠江は青山氏の「故郷里」とされ、親戚の貴平村(当市貴平町)内藤氏が小林村(いま浜北市)の自分持山林に家宅を提供した。ここでの数年間(寛永初年)の蟄居生活のひとこまを宗俊はつぎのように詠んだ(訪問者は遠江代官市野惣太夫)。
　
　　山里の冬のつれづれ思ひ出でて訪はれし人をいつか忘れむ