宋子文来美国后，便大力竭力挤压胡适。1940年10月，宋子文致电蒋介石，很有针对性地说：“欲得美国切实援助，非空文宣传及演说所得奏效，务面向各政要及各界不断活动。”“际此紧要关头，亟需具有外交长才者使美。”他甚至公开提出撤换胡适，推荐施肇基接任驻美大使。
蒋介石统筹思虑，基本采纳宋子文的意见，但是，因顾及美国的反应，故迟迟未能成命。可是，宋子文却穷追不舍，连连去电，催促公布免去胡适大使职的消息。1941年7月12日，宋子文又参胡适一本，说胡适在工作上不予配合，“长此以往，不但文不能尽职，有负委任，适之亦属难堪。唯有恳请毅然处置，迅予发表”。
宋子文当了外交部长后，人仍在美国，几乎包揽所有的外交事务，而将胡适基本上边缘化。
一向能容忍的胡适，也愤愤不平地称宋子文为“太上大使”了。
1942年5月19日，胡适在日记中记道：“自从宋子文做了部长以来，（去年十二月以来）他从不曾给我看一个国内来的电报。他曾命令本馆，凡馆中和外部，和政府，往来电报，每日抄送一份给他。但他从不送一份电报给我看。有时蒋先生来电给我和他两人的，他也不送给我看，就单独答复了（他手下的施植之对人说的）。
“昨日我复雪艇一长电，特别抄了送给子文看，并且亲笔写信告诉他，意在问他如何答复，他今天回我这封短信说，“i
eevei
（我已用同样的意思答复了）！”他竟不把他的电文给我看！
“记此一事，为后人留一点史料而已！。
这个大使再做下去，实在没意思了，胡适决定辞去大使一职，以打破目前尴尬难堪的局面。他给王世杰去信，表示既不做大使，也不做中央研究院长，因为，“我舍不得北大，要回去教书”，“我要保存我自由独立说话之权，故不愿做官”，“大使是‘战时征调，我不敢辞避’，中研院长一类的官不是‘战时征调’可比”。
1941年12月24日，他郑重其事地对宋子文说：“郭泰祺来美时，我曾经告诉他，我不想干这种外交官的事。若有更动驻美使节的需要，我随时可走。现在你是我的老朋友，新上司，我也同样向你声明。如果政府要更动驻美使节，也请你千万不要迟疑。我随时可走。”
可是，蒋介石还是迟迟不发表新的任命，胡适仍然被干晾着，一晃就是半年多，他无所事事，只得离开大使馆，到处演说，从美国的东海岸到西海岸，又到加拿大，行程一万六千多英里，演讲百余次，使中国抗战在美国人的心中，深深地扎下根。
1942年初，英国首相丘吉尔访美，他便“发现中国在相当多的美国人的心目中，有极其重要的地位，甚至在上层也是如此”。为此，他忿忿不平地埋怨道：美国人竟然“把中国看作几乎同大英帝国相等的参战大国”。
1942年1月，中、美、英、苏等26个国家在华盛顿签订了《对法西斯轴心国共同行动宣言》，国际反法西斯统一战线正式形成。
胡适这个“过河卒子”，如今“河”已过，胡适这个“卒子”就可以舍弃了。同年8月15日，国民政府以“心脏衰弱，不胜繁剧”为由免去胡适驻美大使职务，由魏道明接任。
被免职的当晚，胡适致蒋介石电:“蒙中枢垂念衰病，解除职务，十分感激。”在致蒋介石电文中，胡适又力称魏道明“庸劣”，美国报纸已有指摘，并推荐郭泰祺或蒋廷黻取代魏道明，以此表现他的“诤臣”气度。然而木已成舟，蒋介石不可能采纳胡适的意见。
为了对胡适稍加抚慰，9月初，国民政府行政院给了他一个“高等顾问”的虚位。孔祥熙又给胡适发电，问他是否缺钱花，归国川资够不够。
胡适于9月14日复电婉谢。