不久，曹操遣使令张郃假节。刘备欲渡汉水来攻，见魏军在汉水以北列阵相迎，刘备于是放弃渡河，隔水相持。曹操亲自进攻汉中，不能取胜，于是撤出汉中的部队，令张郃屯兵于陈仓。
延康元年（公元二二零年），曹丕即魏王位后，任命张郃为左将军，进封都乡侯爵位。等到曹丕登基之后，又进封他为鄚侯，命令张郃与曹真率领兵马征伐盘踞在安定一代的卢水胡人和东部羌人。
战斗结束后，曹丕又在许昌宫召见了张郃、曹真，派张郃南下与夏侯尚一起进攻东吴政权的江夏郡。张郃独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。
曹叡即位后，派张郃来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。
太和二年（公元二二八年），蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮。