伐木、採石、炭焼など山と関わる作業に関する守り神が山の神で、市域内で神号の記されているのはすべて大山祇命である。まず明治五年、請負人大岡助右衛門が、円山山頂で開拓使庁舎の基礎石の採掘を行ったが、同年同山頂に山神碑が建立された。その後採石の打切りと共に埋没し、のち発見されて改めて台座を築いて安置した(円山百年史)。
　現在の南区の石山は、文字どおり石の産地であり、また山林に開拓民が入植したこともあって、いくつもの山の神碑が建立された。硬石山には「明治十四年開山大山祇大神」の石碑が残っているが、こうした山の神碑が発展して神社となったものもある。たとえば、石山神社は十八年に石工が大山祇神を奉斎したのを起源とし、中の沢神社は二十八年に入植民が山の神の依り木を建て、三十二年に山神碑を建立したのに始まり、さらに藻岩神社は二十九年に山の神碑を建立したことから起こっている。
　また山鼻村の伏見地区では、十六年八月に住民四人ほどが図って山神に祀るべく寄付をつのって小祠を建て、以来旧暦の三月十二日と八月十二日に例祭を行った。
　このほか、現南区澄川に十四年入植した筑前団体が山の神を祀り、ついで熊の害をしずめるため十八年に山の神・熊の神碑という石碑を建立したという(澄川開拓記念之碑)。