公元202年，受"官渡之战"败况刺激的袁绍，忧郁而死。其三子袁尚承位。袁尚欲与马腾、韩遂联合对付曹操。马腾假装答应，但内心却静观其变。就在钟繇与袁尚部将郭援及匈奴首领南单于在黎阳，即时下河南省鹤壁市交战时，曹操的使者张既、傅干到达马腾营辕，力促马腾助战。马腾终无理由推诿，就派儿子马超带领万余军卒支援钟繇，联手击败了郭援军队。马超的部将庞德还亲手斩杀了郭援。此战甫定，曹操上表汉献帝，拜马腾为征南将军，韩遂为征西将军，俱开府（意为可以成立府署，并有选置僚属之权）。
马腾辖管三辅时，北面防备少数民族流寇侵扰，东面防范处于时下东北方向的鲜卑族骚扰，期间，还配合曹军击败了反叛曹魏的并州刺史高干、张晟之军，斩杀了响应高干的叛乱势力张琰、卫固等人。
面对马腾与曹操之间过从甚密的联系，加上双方部下因磨擦而产生的矛盾日益尖锐化，韩遂与马腾反目。为泄私愤，韩遂竟然斩杀了马腾的妻子。马腾大怒，兴兵攻击韩遂，双方从此陷入连年交战不息的状态。
公元208年，曹操遣派钟繇、韦端前去劝导马腾和韩遂握手言和，但收效不大。曹操便另辟蹊径，提升马腾为前将军，改屯槐里，假节，封槐里侯。曹操此举在于给点马腾甜头，让其撤离与韩遂军队容易产生纠纷的地区。
等到马腾的军队移屯完毕，张既又劝说马腾放弃部队，入朝为官。马腾一度犹豫，但因部队调动已经受到地域限制，迫于压力，最终答应。
曹操紧抓时机，上表封马腾为卫尉；封马腾长子马超为偏将军，代替马腾统领部队，屯于原地；封马腾次子马休为奉车都尉，三子马铁为骑都尉，所有家属徙往邺城。
就曹操看来，尚在家乡统领部队的马超，囿于血亲的牵挂，加上父亲仇敌韩遂卧榻在侧，决无可能反叛。但让曹操万万没有料到的是，马超竟然与韩遂义结父子关系，然后举兵十万，抗拒借道欲攻汉中的曹军。前期曹军失利，后期曹操实施"离间计"，导致马超与韩遂反目并溃败。
翌年正月，马超卷土重来，围攻凉州刺史韦康，铁心要与曹魏死扛。曹操终于忍无可忍，下令诛杀马腾，并夷三族。
马腾墓位于时下河南省许昌市苏桥乡冢许村。占地半亩，冢高两丈余，有数株翠柏环生其上。
马腾应该有两个想不到：一是自己的儿子马超咋会是个"害老族"？二是作家罗贯中因何将他扯上"衣带诏"？。