老中阿部正弘から重用された徳川斉昭も、阿部が病没してからは、老中堀田正睦との反りが合わず、安政四年七月には海防参与の職を辞している。斉昭の影響を長年にわたって受け続け、攘夷の推進者を自任する水戸藩尊攘派は、その行動の活路を朝廷公家をはじめ、雄藩藩主や志士たちとの結合をはかる方向に強化していった。
安政三年七月には、和親条約の領事駐在規定により、ハリスが下田郊外に領事館をかまえて、通商条約の締結をせまってきた。和親条約の締結により、外国船が箱館、下田に来航し、薪水、食糧の給与、難破船やその乗組員救助を受けるようになった。ただし、和親条約には貿易規定がなかったから、外国人が上陸して長期滞在し、広範に民衆と接触する危険がなかったので、朝廷とて事を荒立てることはしなかった。しかし、ハリスの要求する自由貿易を基本とする通商条約となると、問題は簡単ではなかった。
ハリスの硬軟とりまぜての手練手管の前に、「蘭癖(らんぺき)」(西洋かぶれ)とあだなされた正睦をはじめ幕府外交当局は、通商条約締結もやむなしと考え始めていた。正睦は自ら江戸をたって上洛し、勅許(天皇の許可)を得ようとした。しかし、徳川斉昭や水戸尊攘藩士らの工作もあって、朝廷は攘夷論にかたむいていた。孝明天皇自らも熱心な攘夷論者であり、この神国日本に卑しき夷(えびす)を住まわせ、商売を許すなどもってのほかと、極端に外国人を嫌っていた。ここにいたって、通商条約の勅許を得ようとする幕府の方策は、暗礁に乗り上げた。