张怀芝从前是军队养马的马夫班长，称为弁目，后来被选入天津武备学堂第一期炮科学习，在武备学堂这段时间，他不仅学习了军事，还自学了文化课，熟读《步兵操典》等军事书籍。
袁世凯小站练兵时，他被选入当任伍长，后任北洋过山炮队领官。1900年8月八国联军入侵北京，张怀芝率炮队借调于武卫中军攻击东交民巷使馆，在慈禧太后携光绪帝和王公大臣离京西逃时，张怀芝率部督战，扼制敌军，因护驾有功，得到赏识和重用。1902年任北洋常备军左镇步队第四标标统。1903年，他又升任北洋常备军左镇步一协协统，奉命到山东组建北洋常备军陆军第五镇。1904年张怀芝调任山海关防营统领。1905年7月署理陆军第二镇统制官。1906年9月任南军暂编第四混成协统领，参加彰德秋操。1907年，张怀芝去日本参观日本陆军大学演习，回国后任北洋常备军第一镇第一协统领。1909年任北洋第五镇统制官。1910年部队驻天津。1911年2月29日任直隶混成协统统领；10月3日清廷任命张怀芝为甘肃提督。袁世凯复出之后，他被调任天津镇总兵，南北议和后就被调到山东任帮办山东防务大臣。
从张怀芝的履历可以看出，他还是属于北洋嫡系出身，不过在地位上要比北洋三杰要差一些。
北洋军第八师师长是王汝贤，第九师师长师孔庚，第12师师长陈光远，这三个人当中，王汝贤是直接效命袁世凯的，孔庚是陕西都督阎锡山的人，陈光远是冯国璋的人，56师师长黎天才只是被袁世凯欣赏，他却不效忠袁世凯，57师师长李进才是原清廷旧军人，清廷灭亡后加入了袁世凯麾下，至于对袁世凯又多少忠诚度就只有他知道了。
从资历上和与袁世凯的亲疏关系来看，张怀芝比这些人都要强得多，而且他也受过新式军事教育，对现在战争的看法和理解要比其他老军人深刻得多，这也是袁世凯调张怀芝过来坐镇郑州的原因。
不过张怀芝刚来就犯了一个致命的错误，他将从许昌撤退过来的黎天才和李进才残部一万两千余人部署在郑州南城门外长达五公里的防线上，而这里又是北伐军的主攻方向，要知道黎天才和李进才部原本就士气低落不堪，由于匆忙从许昌撤退，武器弹药丢失极多，特别是重武器严重缺乏，张怀芝将这两支部队抵挡北伐军的正面兵锋实在是一记昏招。
当张孝准下令26师向黎天才和李进才部发进攻后，这两支部队防守的城外三道防线在一天之内就被攻破了第一道防线，部署在第一道防线内士兵能够逃到第二道防线内的寥寥无几，特别是李进才部在白天的战斗中损失极为惨重，这让李进才感觉北洋方面排除异己十分严重，他恐自己这次即便能够脱身，只怕回去也会被当做替罪羊，如此还不如投降北伐军。
于是当天晚上，李进才秘密派人与对面的北伐军联系，准备战场起义，张孝准确认李进才是真心投诚之后喜出望外，两支部队在深夜时分进行秘密交接，南城门外东南防线的阵地全部落入了北伐军手中，这让防守在南城门外西南防线内的黎天才部在第二天的战斗中被北伐军从侧面突然袭击，郑州城外的南门外防线顿时全面崩溃，北伐军直接抵达城下。