明治二十九年(一八九六)四月、政府は日本勧業銀行法及び農工銀行法を公布した。それは主に不動産を抵当に低利、長期年賦償還の貸付けを行い、農工業の改良発達をはかることを目的とするものであった。これより先、すでに政界を引退した斐は郷家にあって鳴かず飛ばずの日々を送っていたが、その才幹と財力は県下有志の間に高く評価されていたから、茨城県に農工銀行設立の問題が起こるや、ただちにその設立委員に選ばれ、最初から取締役となり、さらに支配人となって経営の中心的地位についた。やがて銀行の経営も順調にすすみ、その内容も充実したので、明治三十三年(一九〇〇)四月、斐は衆望を担って頭取に就任し、昭和八年(一九三三)その職を辞するまで三十三年の間、あくまでも堅実主義をモットーとして経営にあたり、その経営基盤を鞏固にした。
　斐が頭取就任中最もその手腕を発揮したのは、大正十三年(一九二四)政府が行った一県一銀行政策による銀行合同問題であった。
　当時、茨城県下には三六の普通銀行があり、そのうちには常盤、五十など比較的大規模経営の銀行もあった。そこで斐はそれらの事情も考慮し県下経済界の混乱を避けるため、必ずしも政府の方針に従うことなく、しばらく前記の二行をそのまま存置しすべしとの意見を、県の内務部長堀田鼎(かなえ)に進言したので、県は斐に合同促進委員を託し、合同に関する一切の交渉を任せることにした。そこで斐はまず弱小銀行を常盤、五十のいずれかに合同させ、さらに拡大したその二大銀行を再編成して、昭和十年(一九三五)、現在の常陽銀行の基礎を築くことに成功したが、その頭取には就任しなかった。
　こうして斐は青年期には常総における自由民権運動の闘士として活躍し、国政に参与すること三回、政界を退いてからは県下経済界の重鎮として、特に金融界に君臨すること実に三十余年、その大きな足跡は県史の上に没すべがらざる功績を残したが、ついに昭和十三年(一九三八)十二月九日、八十四歳の天寿を全うして水戸市備前町の自宅において没した。