父司马隽为颍川太守，父亲司马防为京兆尹。
司马防育有八子，因字中都有一个“达”字，当时号称司马八达。
晋武帝司马炎诏书说：“本诸生家，传礼来久。”
司马懿是司马防的次子，少年时期就胸怀谋略。东汉末年，司马懿生于乱世，“常慨然有忧天下心”。
南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之子。
尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。”
司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，救下司马懿。
后来司马懿屡立战功，利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。
更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。
之后曹操认为荆州遗民及在颍川屯田的军民逼近南方寇贼，想把他们迁走。
司马懿认为：“荆楚轻脱，易动难安。关羽新破，诸为恶者藏窜观望。今徙其善者，既伤其意，将令去者不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
后来曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。
同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。
当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。
司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
曹丕驾崩后，享年四十岁。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。
这个时候，司马懿终于登上了权利的上层！