なぜこれほど有名な話であるにもかかわらずその場所が確定されないのかといえば、当事者の残した記録類が完全な一致を見ないためである。
例えば、勝の談話である『氷川清話』では、会談について、「西郷と江戸開城談判」の項に「田町の薩摩の別邸がよかろうとこのほうから選定して遣った」とあり、「江戸を戦禍から守る」の項では「翌一四日また品川に行って談判した」とある。一方、勝自身の日記である『慶応四年戊辰日記』（『海舟日記』）では、慶応四年（一八六八）三月一三日に「高輪薩州之藩邸に出張、西郷吉之助へ面談」したと記されており、一四日も「同所」に出張したとなっている。
また、慶喜の使者として駿府に赴き、西郷と会談して江戸総攻撃を保留させた山岡鉄舟は、当時の事情について山岡自身による談判記録である『戊辰解難録』に「高輪薩邸ニ於テ西郷氏ニ勝安房ト余ト相会」したと記している。
一四日の会談に同席した大村藩士の渡辺清は、『江城攻撃中止始末』（『史談会速記録』第六八輯）のなかで、「その場所は薩摩の旧屋敷―今はない―の端の方であった」と述べているが、肝心の「今はない」「薩摩の旧屋敷」がどこなのかについては触れていない。
このように、会談が行われたのは田町なのか高輪なのか品川なのか、後年の関係者の記述が一致していないのである。
ちなみに、港区域近郊における薩摩藩邸は、三田の上屋敷（現在のNEC本社ビル）、田町の蔵屋敷（第一田町ビル跡）、高輪の下屋敷（旧ホテルパシフィック東京やグランドプリンスホテル高輪など）があったが、上屋敷は慶応三年一二月の薩摩藩邸焼き討ちで焼失している。このため、会談が行われた「薩摩藩邸」は、田町の蔵屋敷か高輪の下屋敷のいずれかであろうことまでは確定できる。
なお、明治以前は、現在の芝・田町近辺を上高輪町、現在の高輪近辺を下高輪町と呼んでいたこともあり、実は田町の蔵屋敷も高輪の下屋敷も、広く考えればどちらも「高輪薩摩藩邸」といえないこともない。
ただ、山岡の『戊辰解難録』には、一四日の会談に際して起こった出来事として、「同邸ナル後ノ海ニ小舟七八艘ニ乗組凡五〇人計同邸ニ向ヒ寄セ来ル」と、旧幕府側の抗戦派が威嚇してきたことが記されている。この点から、海に直接面していた田町の蔵屋敷が一四日の会談の場所であった可能性を考えることができるが、現在の「第一京浜」、すなわち国道一五号は当時の東海道であり、ほぼ海岸線に沿った街道であった点を考えると、高輪の下屋敷もかなり海岸線に近い場所にあり、海上からの威嚇という状況を理由に下屋敷の可能性を完全に否定することができないともいえる。
勝と西郷の会談が行われた「薩摩藩邸」が正確にどこであったのかを確定することは難しいが、萩原延壽（のぶとし）の『遠い崖』第七巻「江戸開城」における記述に従って、一三日の会談を高輪の下屋敷、一四日の会談を田町の蔵屋敷とする見解が多いようである。
なお、愛宕山での会談は、眼下に江戸の街を一望しながら、勝と西郷が百万の人々を戦禍に巻き込むわけにはいかないと無血開城を決意した、と大変面白いエピソードではあるが、会談の関係者による記録類には愛宕山に関する記載がないため、残念ながら会談の場所となった可能性は低いということになろう。（門松秀樹）
表1-1-コラム-1 「江戸開城西郷南洲勝海舟會見之地」の石碑（令和2年〈2020〉）
令和5年（2023）まで工事のため移設中