ラトガースでの約3年の学生生活の後、1871年夏、畠山は日本からの命令で帰国を決める。
当初、帰国の命令は、ヨーロッパ各国を回って、教育制度を見ながら帰国する、というものであったようだ。薩摩藩の命令という話と、文部省からの命令という話とあるのだが、クラーク、マーリーは文部省に呼ばれたと言っている。公文書館の記録では明治4年4月3日に、川瀬安四郎（河瀬真孝。変名は音見清兵衛）と共に帰国命令が出ている。既に明治も4年になっており、イギリスでは長州藩の人間が任命されているから、藩でなく、政府による召還とみてよいだろう。
しかし、文部省の発足は7月なので、4月に出た命令は、文部省からのものではない。マーリーらの外国人は、その職責から、その後発足する文部省の仕事と解釈したと思われる。
発足時点での文部省責任者は江藤である。従って、畠山の帰国は学制関連かと思ったが、時期が微妙にずれる。文部省が発足するより大分前から、政府には外国の制度を取り入れた学制編纂の企画があって、それも含めた大きな意味での学制は、文部省設立よりも早く動き出していたようだ。文部省発足とともに学制を担当し、その編纂者ともいわれている長三洲は、当時、文部省の前身である大学にいたが、明治政府発足当初は江藤と共に制度局にもいた。長は木戸への手紙で、欧米の教育制度を詳しく知りたいが、ちっとも情報が入って来ないと嘆いている。この辺りの事情から、欧米の留学生を帰国させようとしたと思われる。
畠山のヨーロッパ行きには、欧米の教育制度の調査と共に、外国人教官を雇い入れることについての人選も任務であったらしい
しかし、この帰国命令は、なぜかアメリカの少弁務史である森でなく、イギリスの鮫島に出されている。川瀬への命令は森宛てに出ているので単なる間違いだろうが、間違われるような曖昧な認識ではあったようだ。従って、二人の帰国命令には、薩摩、長州共に深く関わっていないのではないか、即ち、両藩の留学生には部外者の江藤（佐賀藩）周辺から出ているのではないか、と見ることも出来る。
畠山死後に書かれたクラークの話では、この帰国命令が下りた際に、畠山は泣いて悔しがったという。あと１年で卒業出来るのに、ということで、学校に残ることを切望していたそうだ。ラトガース大学グラマースクールの責任者だったライリー（DeWitt Ten Broeck Reiley）教授も、畠山がアメリカを離れる頃、優秀且つ日本との教育問題に畠山以上の人材はないので、ぜひともアメリカに戻してくれるように、という手紙を文部卿宛に出したりしている。畠山はグラマースクールの生徒ではないので、恐らく、グラマースクールにやってくる日本人の監督役を果たしていたからだろうと察する。自分が思うには、畠山にとっては、そうしてアメリカへやってくる日本人に世話をすることで真の日米関係の種を植えることが神に与えられた仕事だったのではないだろうか。
薩摩藩アメリカ留学生の帰国状況
薩摩藩の第一次（ブロクトンからニューブランズウィック）、第二次（モンソン）留学生のアメリカ滞在者は、以下の流れでアメリカを離れて行く。
- 68年10月 仁礼と江夏が戊辰戦争参加のためと思える帰国（仁礼景範日記）
- 69年暮れ 湯地が帰国（公文書）
- 70年9月 吉田清成が、上野景範と共にイギリスへ（上野景範日記、当時の新聞出航記録）
- 70年11月 吉原が大山巌／品川弥二郎の普仏戦争見学の一行と共にヨーロッパへ（イエール大学学内誌、大山巌日記、当時の新聞出航記録）
- 71年10月 畠山が教育制度視察をしながら帰国するためにアメリカを出発
畠山の帰国意思
畠山が政府からの命令でいよいよアメリカを離れる頃、幕末の薩摩密航留学生アメリカ滞在組は、松村と畠山、種子島敬輔、それに長沢の4人になってしまっている。（69年暮れにアメリカを離れた湯地は、翌年11月に大山らと一緒にアメリカに戻ったらしいので、湯地も再度アメリカに滞在しているが。）
これは即ち、先に日本へ帰国した仲間たちと共に、或いは彼らに代わって、畠山には何度もアメリカを離れる機会があったということだ。しかし、71年までにアメリカを去ることはなかった。
上野景範が来たときには、当時大蔵省の大隈重信から、「杉浦をヨーロッパへ連れて行け」という手紙も出ている（早稲田大学ウェブサイト大隈重信関係資料アーカイブ）。それでも、畠山がアメリカから離れようとしていないのは、畠山の意思でアメリカ残留を望んだからだろう。しかも、別項に説明した通り、畠山には宣教師になる志もあった。
上野のイギリス行き（吉田が同行）や、大山巌の普仏戦争見学（吉原が同行）には、畠山は同行しなかったが、しかし、教育制度の調査をしながらの帰国には、結果として応じた。つまり、畠山には、71年夏の時点で教育には携わる意思があったと解釈出来る。
いずれにしても、畠山は、せっかく軌道にのったアメリカでの学問を中止して、教育関係の職に赴くために、帰国の決意を余儀なくされた。
当時、クラークは日本（静岡）への赴任が決まっていて、クラークの出身地であるアルバニーで畠山と会う。陽気なお嬢さん方とひとときを過ごした後、畠山は「じゃ、きみは西周り（西海岸から船）で、オレは東周り（ヨーロッパ経由）で、日本で会おう！」と言ってクラークと別れたそうだ。恐らくこのときに、佐賀の乱で死刑になる香月経五郎がクラークのもとにいたと思われる。
畠山の送別会＠ニューブランズウィック〜NY
ヨーロッパへ去る畠山のため、8月14日にNYのセントニコラスホテルで送別会があり、その参加者名簿が犬塚孝明氏の「杉浦弘蔵ノート」にある。当時アメリカ東海岸にいた日本人留学生の殆どが参加していそうだが、恐らく、その頃にアメリカに着いたばかりであろうと思われる、会津の山川健次郎の名もある。
そこに、「初袷着て故郷へにしきかな」という手島精一が贈ったと思われる祝いの句（？）が載っている。夏も終わろうかという8月に「初袷」というのはちょっとヘン（袷は春夏に着る着物で衣替えの頃が「初袷」の季節だそう）なので、これは即ち、久々に、初めて、着物を着たという意味だろうか。
実は、畠山の着物姿の写真がラトガースの図書館にあって、恐らくそれがその「初袷」姿ではないだろうか。
傘を持っている（なぜ？）のと、刀を持っている（どこに持ってたのだろうか）のとあるが、この写真はラトガース大の近所の写真館で撮られている。
写真では、71という数字が74にも見えるため、1874年の写真としているようだが、74年には、もう畠山はアメリカにいないので、71年の帰国時のものだろう。この写真の裏には、これは芸能人のサインでしょうか….というような、漢字をデザインしたような署名が入っていて、うーん、工夫は買うが、あんまりイケてないかも….なところがご愛嬌。
手島精一はこのパーティーの名簿に名がないので、パーティーではないときに畠山の着物姿を見て、上記の句を詠んだものだろうか。或いは、一緒に写真を撮りに行ったのだろうか。
手島は当時、グリフィスの実家（フィラデルフィア）に居候していたようだ。手島は後年（76年）フィラデルフィア万博にも参加するが、年齢的には畠山よりも上で、富田の世代のようだ。後に教育博物館を興す。
畠山とマーリーが始めた博物館は、上野の国立博物館と、その隣にある国立科学博物館の両者に受け継がれたが、畠山とマーリーが考えていたのは、主にその後の教育博物館（高等師範学校に付属）、即ち手島が手がけた方、科学博物館の方だろう。いわゆるわしら地元の人間には「クジラの博物館（入口にクジラがある）」と呼ばれている博物館の方に、より濃く受け継がれているのではないかと思っている。
かくして、1871年夏、畠山はラトガースを離れ、10月14日にNYからイギリスに向けて出発する（新聞のNY出航記録より）。ただし、辞めてしまうこの年の名簿に名前があるので、復学する気持ちであったかも知れない。むしろ、ぎりぎりまで延び延びにして、あわよくば誰か他の人に行かせようとしたようにも思えるが、その辺の詳しい事情はわからない。
ところが、フランスまで行ったところで岩倉使節の渡米で呼び戻される。
畠山はアメリカへ戻り、書記官、実務的には通訳として、岩倉使節に合流することになったのだった。