1926年7月国共联合北伐，何任第一军军长，何的一部分实力保广东根据地，大部分兵力向闽浙攻击。9月，北伐军全力在湖南初战告捷，东向长江下游5省。10月，福建都督周荫人倾巢西移，企图窜犯潮梅，何乘机率部袭击周总部驻地永定，取得全胜后挥师绕道，兵分5路，在松口攻周军主力，俘敌师长以下4000余人，蒋去电嘉勉，电汇银元2万犒劳将士，升何为国民革命军东路总指挥。12月占福州，进闽北，控制福建全省，何任该省临时政治会议主席，又乘胜进军浙江，攻克杭州，后在南京外围迂回作战，等到二、六军去强攻南京后开入城内，抢占有利地势。
蒋介石为消灭共产党，4月2日在东路军指挥部召开反共会议，研究反共方案。何在会上极力支持，主张消灭共产党。4月9日，何在南京直接调兵解除了林祖涵（林伯渠）所率的第六军3个主力团武装，包围江苏省党部和省总工会，逮捕了部分革命者。次日何又令军警强行解散南京共产党支部，逮捕全体共产党干部。4月12日，何的东路军26军在上海对工人纠察队进行突袭，这就是震动全国的“四一二”惨案。这年5月，继续北伐，由蒋和李宗仁、何应钦分任各路部队指挥官。何于5月19日北渡长江，遭到张宗昌、孙传芳直鲁联军反攻，何、李遵蒋之命，退到长江沿线。
反遭忌恨 起用更卖力
此时窃据武汉国民政府主席的汪精卫于7月15日通电反共反蒋。以李宗仁、白崇禧为首的桂系与蒋有矛盾，公开逼蒋下野。何应钦此时判断失误，以为蒋树敌太多，已四面楚歌，必败无疑。于是暗中支持桂系逼宫。这样，蒋只好下野。当白崇禧在会上要蒋离职时，蒋回顾何，而何一声不吭，蒋伤心异常，拂袖而走。蒋事后说：“当时只要他何应钦一句话，我是可以不走的”。这是蒋、何的第一次矛盾。
蒋下野后，由何、李、白组成军事常务委员会，对国民革命军实行集体领导。何、李击退孙传芳、唐生智等对南京的进攻。1927年11月10日，蒋由日本回上海。12月10日，国民党第二届四中全会预会通过决议，敦请蒋复职。蒋复职后，于1928年2月，不与何应钦打招呼，乘何去南京，蒋直接去何的第一路军徐州总指挥部，撤消了何的本兼各职，将军队编为4个集团军，蒋自任总司令。
何应钦对蒋介石是有功的。蒋离不开何，何更离不开蒋。当何在白崇禧迫蒋下野时态度暧昧，蒋复职后一怒之下撤了何的一切职务，后又经别人圆场，蒋才又委何为北伐军总司令部参谋长。何肚里有气，托病于杭州附近莫干山。蒋亲自跑去对何说：“我离了你，没有问题，照样干下去；你若离开我，就无办法。”何权衡利弊，只好随蒋到南京就职。
这年6月，北京政府被推翻。为了收编北洋军队，蒋于10 月任命何为训练总监，下月又被调为裁军委员会主持工作。在国民党三次全国代表会议上被选为中央执行委员会委员，中央政治局委员会委员，旋被任命为陆海空军总司令部参谋长，后又出任开封、郑州、武汉行营主任。何被蒋踢了一脚，此时又受到蒋的宠信，因此对蒋更加感激涕零，决心“将功补过”。他主持军队工作时，利用编遣、整军之法，忠心地为蒋兼并异己，扩充嫡系，南征北伐，马不停蹄。1929年，其父何明伦去世，此时正逢蒋冯阎中原大战，何一直在前线督军，无暇回兴义奔丧，蒋深为感动，亲往设在南京的何父灵堂祭吊，并亲笔写了赞辞，使何深受感动。1930年3月10日，何当上了蒋的军政部长。6月，李宗仁攻长江，何坐镇武汉指挥，将李击退；朱德、彭德怀乘蒋桂战争之机率部攻长沙，也遭到何部镇压。
何在军政部长任上一干十多年，对国民党的军制兵制、军需后勤、国防设施等建设有所筹划，并实行了征兵制度，军需独立等一些措施，为国民党军队的建设立下了汗马功劳。因其在官场中较少舞弊，不敢培植私人势力，蒋因此对何很有好感，在国民党中博得“恭谨廉洁”的名声。
