明治になってから、渡って来た石橋を叩く傾向を強めた木戸孝允は、条約改正決行案の出た当初から、条約改正決行は尚早ではないか、と思い悩む。そうこうするうちに、大久保と伊藤が急遽帰国して不在になり、いよいよ森や伊藤の一派に引きずられたのではないか、という思いを濃くして行く。それでなくとも、洋行経験のある元幕府の書記官たちや、現地の留学生の西洋かぶれぶりに辟易していた木戸と、森は対立する。木戸がこの頃、ワシントンで森に憤慨している様子は、木戸日記にもあるのでよく知られている。
それまでは伊藤が間に入るので、ワンクッション置いて木戸に入ってきた森の意見は、伊藤がいなくなってしまったために、いきなり木戸の顔面を直撃することになった。条約改正問題もさることながら、なんなんだ、こいつはっ！？という気持ちに、それまでの不自由な西洋暮らしの毎日の不満が、一気に集約されていったとしても、まぁ無理もない。
森は「有礼」の名から、「ゆうれい」とも呼ばれていて、それが幽霊坂の謂れにもなったりもしているらしいが、木戸は、これは帰国後だが、日記で森「無礼」と命名しているらしい。自分が見ている英語版の木戸日記にはそれに言及したところがないのだが、木戸の森に対する思いを簡潔に表した秀作（？）である。岩倉使節の視察に訪れる地で、畠山が「慇懃に」いろんなことを尋ねたと久米が言っているが、現在の日本語としては「慇懃無礼」と、無礼が付いた言葉の方が使われている。畠山と森を合わせると「慇懃無礼」になるのだな、と笑ってしまう。ともあれ、木戸が腹を立ているのは、森の意見そのものよりも、無礼な態度であったろう、と自分は思うのだ。
木戸の西洋観
木戸周辺のおっさんたちは、当時、開明に走る若手の西洋主義者を「アラビア馬」と称し、井上馨などは自分で自分をアラビア馬だと言っている。若手とはいえない年代の木戸としては、彼等の突っ走りには、とりあえず待ったをかけたい思いが強い。木戸ブレーンの長三洲は、「皇国の人民は西洋人に比すれば数百倍の不開化なるに、政府の官員は西洋人よりは数百倍の早開化なるに困る」と木戸に再三言ったそうだが、これが木戸周辺のおっさんらの意見を代表していると思う。西洋人が300年かけてやったことを、今すぐ、脇目もふらずにやってしまおうとしているところに、おっさんらの危惧はあったのだ。
しかし、その木戸周辺のおっさんらは、無闇に開化を否定する派ではなく、西洋に対して無知蒙昧な輩でもない。
学制に関わる長は、木戸が洋行したことで、それまで求めてもなかなか入ってこなかった各国の教育の様子が知されることを喜び、報告を待ち望んでいる。長州ファイブの伊藤、井上、更に工部省での仕事や後に子供（養子だが）同士が結婚する山尾と木戸との関係は衆知の通りだが、木戸が親しい年長者に伊勢華がいる。
長州が幕末に朝敵となって大阪の藩邸を明け渡すときに、その作法が見事であったと海舟が称えている人だが、明治になってからは、主に、忙しい木戸を呼び出しては、骨董や書画の趣味に引きずり込む役を果たしている。その伊勢の弟は、咸臨丸のときの使節本隊に随いて渡米した幕府外国使節第一号の一員である。長と共に、木戸のプライベートな親友（やや部下寄りなのは、多分に杉自身の性格によると思う）であると思う杉孫七郎も、咸臨丸に続いて欧州へ送られた使節で、福沢諭吉らと共に渡欧している。木戸よりもやや年長だが、公私にわたって親しかった宍戸璣は安政はじめに、お庭番の村垣範正についていち早く蝦夷地を見学している。高杉晋作が短期旅行とはいえ、上海に渡ったことは有名だが、前述の通り、一時期養子として高杉の弟であった従兄弟の南貞助は、畠山らがいる時期にイギリスに留学している。
木戸の周りには、それもごくごく近しい人々に、既に外国、西洋を実地に見ている人が大勢いた。
彼等は、西洋を知らないのでも、否定していたのでもない。むしろ、西洋から学ぶ方向を採用し、アラビア馬を生み出した原動力なのだ。
しかし、それから10年ほどが嵐のように過ぎ去り、突っ走る体力は衰え、活動的にはひと段落ついてしまい、考える前に行動してしまっていた青年の時代を過ぎ、行動よりも考えよりも、まず、立ったり座ったりが面倒で、とりあえずお茶うけがグチ、というお年頃にさしかかっていた。
しかし、彼等には、俺らはシンザンやハイセイコーと走ったんだかんな、ナメんなよ、という自負もある。彼等の「アラビア馬」に対する批判は、まず、それについて行けない体力気力の衰えに侘び寂びの妙味を感じてやるべきで、主義主張に対する反感を読み取るのはちょっと違うと思うのだ。
木戸と森の対立
木戸は、西洋文明を理解し、その導入に大きく貢献したが、個人的には、おっさん仲間と、きれいどころも交えて酒を飲みながら、南画を愛で、詩を詠んで植木を買いまくるような、江戸時代的な生活を満喫したい方向の人だろう。渡辺昇を道連れにしないと髷を落とせなかったり、西洋人が「女性崇拝主義」だと辟易したりしていて、個人的な感覚のレベルでは特に開明的でもなく、西洋嗜好もない。かといって、やらねばならない以上はノリがいい性格ではあるかもしれない。
一方の森は、攘夷熱に感染しなかった世代なのだろう。森にとっての西洋は、脅威でなく驚異であったろう。
森は畠山とは違い、若いうちから洋学に親しんで、学生のまま欧米へ来てしまい、社会人経験がないと思われる。ブロクトンから帰国し、アメリカ赴任までの間に政府に出仕しているが、洋学者の需要が供給を多大に上回っている時期であり、超特進的に出世していることから考えても、特別待遇の就職であったろう。実際、薩摩の学生から選抜されて留学生に加わった森は、飛び抜けて優秀なのには違いないのだから、そういう経歴の青年が慇懃なわけがない。
アメリカ人というのは、「盗人にも三分の理」などと奥ゆかしいことを言う日本人とは基本的に異なる育ち方をするため、盗人も、10割強でテメーの理屈を述べる。日本では空気を読むことが重要だが、アメリカ人は空気を作ることの方に価値を置く。他人の意見を聞いてから自分の意見を調整しようなどという思いやりは、得てしてダブルスタンダードとされて非難の対象になる。他人の意見よりも自分の意見を聞け！という方向で攻めてくるのがアメリカ人で、森は多分にアメリカ人的だ。アメリカ人の議論は、合意点を見出すためのものではなく、お互いの言い分を突き進めるためにある。言いたいことを言いたいだけ言って、それからいよいよ話し合いということになるのがアメリカ人だ。
恐らく、そういうアメリカ傾向の大きい森は、挨拶もそこそこに、いきなり本題、しかも昨日ダメ出ししたのと同じ意見、その上タメ口、という姿勢で攻めてくるのだろう。
いまでこそ、アメリカの合理主義と三段論法で攻めてくるタイプは、若いうちにアメリカに来た優秀な日本人にありがちだが、この時代には森以外に日本全土に何人いるか、という状況なのだから、木戸をはじめとするおぢさんがたにはよほど特異に見えただろう。
おぢさんには、その意見の内容以前に、その若者の体力と、異質な迫力がウザいのだ。そして、そういう態度で攻めていく森にとっては、意見を取沙汰するより前に、箸の上げ下げにこだわるおっさんがウザいのだ。この図式は綿々と続いていて、ピラミッドを作っていた時代のエジプト人も「いまの若いモンは」と嘆き、わたしが新米社会人出会った頃も、出る釘は打たれた。
森と木戸の衝突は、基本的にこれだと思う。
その後の森と木戸
森はこの木戸との衝突の頃、ワシントンでの少弁務使を辞める決意をしたらしい。
林竹二氏の森研究によれば、明治5年の2月に辞表を出しているそうだが、これはどう考えても、木戸との衝突が理由だろう。この衝突のありさまをつまびらかに知りたい。知って何かの参考になるとか、そういうことでなく、単に、その喧嘩が見たいではないか。木戸は、話の途中で席を立って出て行ってしまった森に、てめ、このやろ！的な文句を日記に書いておいたので、後世まで森は森無礼として君臨してしまっているが、森にも森の言い分があっただろうから、それも聞きたい。
しかし、結果的には、森はその翌年7月頃まで領事役を務めるようで（帰国が木戸と一緒で、モルレーとの契約時の公使館代表は高木三郎なので、公使館をやめた時期は不明）、少弁務使から公使まで着実に出世している。
つまり、森の辞表は撤回され、何らかのおとがめがあったりはしなかったのだ。
森の後ろ楯であるはずの大久保、意見を同じくする伊藤がいない時期のワシントンで、木戸はそのつもりなら森を更迭出来たはずだが、森は岩倉使節が離れた後もアメリカ駐在を続ける。ワシントンで森の無礼に面食らっている最中も、木戸は彼の仕事を否定してはいないことになるだろう。
木戸は、森が会議の場を放棄して出て行ったことに激しく怒りながらも、その後、個人的に言い含めた云々などとも言っている。この辺が木戸の味わい深いところで、腹は立つし、意見には同意しないが、んじゃーやめさせるのか？と思えば、論議の場から出て行ったのは森の方で、木戸はその無責任に怒りながらも、逆に森を引き戻している。
森の力量や有用性は認めている、ということだろう。
感情だけでものごとを決めるような木戸であれば、この時代まで政府のトップにいられたわけもない。木戸は、目の前が真っ暗になるような絶望から、何度も這い上がってきた百戦錬磨の政治家なのだ。ちゃぶ台をひっくり返したり、黒田清隆を簀巻きにしたりはしただろうが、森の無礼ごときで判断を誤りはしない。
実際のところ、アメリカに住み、日本を代表してアメリカ政府の人間に直接的に接触する仕事など、森以上の適任はいないだろう。森は多分、いまアメリカに来ても、外交官なり政治家なりとして充分以上に通用するだろうし、第一線のビジネスマンとしても大活躍出来ると思う。森にはアメリカ人、アメリカ政府の勘どころが掴めている。それくらい見抜けない木戸ではあるまい。
気に入らないといえば、お互いに気に入らないのだろうし、接触すればお互いに腹も立つのだろうが、森の方にも、このおっさんウザっ！とは思いながら、木戸は自分の言うことを聞いている、という手応えはあるのだろう。木戸は木戸で、恐ろしく先進思想の森は、言ってみれば超過激なものを先に知っておけば、多少の過激がお口直しになるような、そういう意味合いもあるのか、帰国後も決して森とは疎遠になっていない。
何しろ、森と木戸は一緒の船で帰国する（マルセイユから）。その上、帰国後も頻繁に行き来している。むしろ、お互いの力は認め合い、必要とし合っている関係なのだと自分は判断する。
恐らく、木戸には、森は仕事に対しては有能であることの裏付けもあったはずだ。その一つがモルレー招聘につながる森の尽力であるだろうが、森は、留学生の管理と共に、アメリカの教育制度その他の調査報告をし、日本代表としてアメリカの政府関係者と交際し、日本をアメリカ人に知らせ、アメリカを日本に知らせることについては、その任務を全うしている。
それを無視する木戸ではなかったということだ。