建安六年{公元二零一年}，郡中推举他为计掾。时曹操正任司空，听到他的名声后，派人召他到府中任职。
司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。
建安十三年{公元208年}，曹操为丞相以后，使用强制手段辟司马懿为文学掾。曹操对使者说，“若复盘桓，便收之”。司马懿畏惧，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。
而据《魏略》则记载，司马懿好学，曹洪自以为才疏，想让司马懿去帮助他，司马懿耻于和曹洪来往，假装拄拐不去。曹洪记恨司马懿，去跟曹操打小报告，曹操征召司马懿，司马懿立刻扔了拐杖去见曹操为其效命。
曹操逐渐察觉司马懿“有雄豪志”，又发现他有“狼顾之相”，心里很忌讳。因此对曹丕说，司马懿不是甘为臣下的人，必会干预我们的家族之事。
但因曹丕和司马懿关系很好，总是回护他，而得以无事，于是司马懿勤于职守，废寝忘食，遂使曹操安心。{当时曹操手下的门阀官僚拥汉者尚多，为曹操所忌，司马懿在此关键问题上可能早就表示支持曹操，逐渐被接受重用。}
建安二十年{公元215年}，曹操征讨张鲁，司马懿随军。他对曹操说：“刘备用诡计俘虏刘璋，蜀人未归附而又争夺遥远的江陵，这是破蜀的机会，不可错过。
今若在汉中陈兵示威，益州就会震动不安，再进兵威逼，蜀兵势必瓦解，趁这个好机会，事情是可以成功的。圣人不能违时，也不能失时。”曹操说：“人苦于不知足，既得陇右，复欲得蜀。”未从其计。
建安二十二年{公元217年}，曹丕被封魏王太子。建安二十四年{公元219年}，司马懿升任太子中庶子，佐助曹丕。时司马懿“每与大谋，辄有奇策”，为曹丕所信任和重用。司马懿与陈群、吴质、朱铄并称“四友”。
此后，司马懿更是常谋国事，多出奇策。不久，司马懿转为丞相军司马，建议屯田解决粮食问题，得到曹操的采纳。他指出荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。
同年六月，刘备继取汉中后，派孟达、刘封攻占汉中郡东部的房陵、上庸等地，势力有所扩展。七月，孙权欲攻合肥，魏军大部调动淮南防备吴军。镇守荆州的关羽，乘此机会率主力北攻荆襄。围魏将曹仁，水淹于禁七军，斩庞德。胡、傅二人果然乘机降蜀。
一时间关羽声势“威震华夏”，因汉献帝在许县，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都黄河以北。司马懿和曹椽蒋济及时劝阻说：“于禁被水军所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，即是向敌人示弱，又会使淮河汉水一带人心不稳；
刘备、孙权外亲内疏，现在关羽坐大，孙权必定更不高兴，把这事告之孙权，使他牵制关羽，则樊城之围自解。”曹操从其计，孙权果然派吕蒙袭取公安，关羽被其俘杀。
此战利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。
之后曹操认为荆州遗民及在颍川屯田的军民逼近南方寇贼，想把他们迁走。司马懿认为：“荆楚轻脱，易动难安。关羽新破，诸为恶者藏窜观望。今徙其善者，既伤其意，将令去者不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
延康元年{公元220年}，曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。
同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。
司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
黄初元年{公元220年}十一月，曹丕登皇帝位，史称魏文帝。登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年{公元221年}，免去督军官职，升任侍中、尚书右仆射。
黄初三年{公元222年}和黄初五年{公元224年}，曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。
黄初六年{公元225年}二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳。
同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之忧，不亦可乎！”
后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事。”于是司马懿留镇许昌。
黄初七年{公元22