工事着工に当たり、最大の難点は障害家屋の移転撤収と換地であった。徳田町長が記した事業経過報告書には次のようにある。
障害家屋(建坪五五〇坪にして、この棟数二五棟)の移転撤収には、町繁栄の為ならばと一言半句の文句もなく快諾を与え敬服に値する者あり、その一面、種々口実を設け無理なる条件を提供、或は北九州方面の移転料を引用して不当なる補償を要求する者等、幾多の迂余曲折あり、その解決対策の為大正一二、三両年度に於て招集したる役員会の回数枚挙に遑(いとま)なく、役員各位は全身全霊を傾注し折衝に折衝を重ねその熱意に動かされたる為最後には交渉成立、大正一四年三月迄に移転完了を告げたり
市街地整備に墓地が大きな障害となるのは通例であるが、この事業でも、行橋駅より博多町に通ずる直線道路構成の中心地点に「五郎丸墓地」が位置していて、非常な障害となった。その理由は、「五郎丸墓地」は延宝(一六七三~八一)年代からのものであり、「五郎丸様が葬られている」との伝説もあって、この墓地に縁故を有する者は家門の誇りとして移転を喜ばなかった。しかし、重要地点であるので断然移転廃止することに決し、特に町は移転のため、一八〇〇円の町費を投入して、羽広地内(現在地)に新たに墓地を設け、大正一四年五月五日から一二日まで八日間にわたってこれが移転を完了し、その跡地は行橋町有とした。