汤恩伯出身贫寒，早有投军之志，但苦于无钱，后来虽然从军，但因为部队溃败，流浪街头。正在走投无路时，遇到一位同乡准备东渡扶桑，急需一名保镖随同护送，于是他就担任起这一角色，与这位同乡一起去日本。在日本明治大学法科主修政治、经济。但他醉心于军事，对法科并不感兴趣。１９２５年弃学回国，经留日同学介绍，到当时浙军第一师师长陈仪那里求职，汤恩伯毛遂自荐，陈仪一见便接受了他，并出面负责保送和资助他到日本留学。他对陈仪感激不尽，将自己的名字由"克勒"改为"恩伯"，以示奉陈仪为自己的恩师。
在北伐战争期间，陈仪归顺了蒋介石，把汤恩伯推荐给蒋。蒋介石见了汤后，觉得汤仪表不凡，随之命其到南京中央陆军军官学校，担任大队长。汤恩伯虽然是由陈推荐，且又是蒋的同乡，但由于不是蒋亲自选拔的人，所以开始对汤并不太重视。后来陈仪予以点拨，说蒋介石最喜欢《步兵操典》一书，建议他写文章以引起蒋介石的重视。
汤恩伯早年擅长舞文弄墨，写文章对于他来说不是什么难事，当即写了一篇《步兵中队操练之研究》，送给蒋介石。 蒋介石看了汤的文章，觉得他是一个人才，但还要考验考验。当时中央陆军军官学校的校长是张治中，蒋介石成立教导师的时候，张治中推荐汤担任教导师的团长，请示蒋介石，却遭到蒋的拒绝。蒋说汤不会管钱，表示对其能力没有把握。实际上这是在考验他，看其反应如何。
几天之后，蒋介石召见汤恩伯，劈头就问："前次文白提你做团长，我不同意，你是否有意见？"汤挺直身体回答道："军人自当报效国家，至于个人进退那是委员长的事情，不是我应该问的。"汤恩伯顺势而应，正说到蒋的心坎上，于是越级将他提拔为教导师第一旅旅长。此后，汤青云直上。
蒋介石除了从小事观察识人外，还特别注意第一印象和谈话，他认为谈话可以看出人是否有条理，反应是否快。
对于谈话对象，蒋介石最讨厌的是对方胆怯、惊慌失措，因此见蒋介石最重要的是要冷静，切忌慌乱。曾经有一个旅长被蒋介石召见，竟然吓得浑身发抖，蒋介石问的话一句也答不上，蒋介石很奇怪地问："你是不是穿得太少啊？"此人竟然号啕大哭，蒋介石很尴尬，拂袖而去。其次，如果对方对蒋介石的发问含糊其辞，不能回答，就可能要倒霉了，然而也有例外。一次，在前线，蒋介石问一位团长，他的部队减员多少？还剩有多少粮食？这位团长虽然回答不错，但用了很多模糊数学的概念，如"大概"、"不少"、"也许"之类，很多人了解蒋介石的脾气，以为这位团长要倒霉了，但蒋介石看对方答得很快，以为对方思路清晰，工作负责，给予褒扬。
