昭和41年（1966）12月1日、港区内の肢体不自由児が保護者らと遊べる施設として西麻布に開設された。後に親子分離を主とした指導・訓練を目的とした通園施設となり、昭和45年には知的障害児も対象とし、心身障害児通所施設となる。昭和46年ごろからは入園希望児が増え、昭和50年10月には新館が増設された。
　昭和41年度当初の登録児童数は10人、職員5人だったが、昭和53年度には児童38人、職員35人を数えた。登録児童数の推移を見ると、昭和54年度の24人を境に増加に向かい、昭和60年の41人をピークに減少傾向となった。昭和53年度から平成10年度（1998年度）までの平均登録者数は30・7人であった。
　のぞみの家は、平成10年、障害保健福祉センター（ヒューマンぷらざ）の設置に伴って閉園した。