皇甫嵩为人认真，征讨张角时，率军途经邺地，发现中常侍赵忠住宅超过规定，便上奏汉灵帝予以没收。另外，中常侍张让向他索要五千万钱，皇甫嵩没给。于是赵忠与张让勾结，劾奏皇甫嵩讨好民众，怀图不轨。汉灵帝听信谗言，收回皇甫嵩的左车骑将军印绶，削夺封户六千。改封都乡侯，食邑二千户。
公元188年十一月，凉州叛军首领王国包围陈仓，即时下陕西省宝鸡市。危急关头，汉灵帝又想到了皇甫嵩，任命他为左将军，督领前将军董卓，各率两万士兵拒敌。董卓提出迅速进赴陈仓，力救陈仓于危卵。但皇甫嵩认为，陈仓城墙坚固，守军悍勇，可让王国忙碌一阵，消耗其斗志，再行突袭。果然，在围攻八十余天不下陈仓后，王国只得撤退。皇甫嵩下令起兵追击，但董卓以"穷寇勿追"之理反对。皇甫嵩坚持己见，结果大败王国，斩敌万余人。两次分析不及皇甫嵩的董卓，开始嫉妒皇甫嵩。不过他对付皇甫嵩的方式也是独特，这就是将朝廷的犒赏，全部用来取悦士兵。由此也就有了"皇甫嵩会打仗，董卓会带兵"一说。
公元189年，汉灵帝病重，任命董卓为并州牧，所部交由皇甫嵩统领。董卓不肯放弃军权。皇甫嵩的侄儿皇甫郦认为董卓抗命，力劝皇甫嵩兴兵讨伐。皇甫嵩坚持光明正大处理，上奏朝廷。董卓对皇甫嵩更加怨很。
莅年，大将军何进召外戚军团进京铲除"十常侍"，岂料引狼入室。忤逆篡权掌控东汉朝廷的董卓，为防有人算计于他，将原京兆尹盖勋征为议郎。盖勋便私下联络带兵三万、驻扎在扶风郡的皇甫嵩，唆使他讨伐董卓。但同样担心皇甫嵩"背后开枪"的董卓，征召皇甫嵩为城门校尉。皇甫嵩是个实诚人，应召将行，手下有人劝他千万别去。皇甫嵩不听，坚持赴任，结果一到洛阳，董卓就将其下狱，择日处斩。
皇甫嵩之子皇甫坚寿素与董卓交好，闻讯快马加鞭从长安赶到洛阳，找到正在大宴宾朋的董卓，求他看在多年朋友的情份上，饶了其父，说罢叩头流泪。董卓起了侧隐，释放皇甫嵩。
公元192年，司徒王允通过貂蝉唆使吕布杀了董卓。有人建议王允让皇甫嵩统领董卓军队，并予安抚，但王允不听，奏请汉献帝刘协任命皇甫嵩为征西将军，负责屠灭董卓宗族。不久，董卓旧部李傕、郭汜攻入长安，杀死王允等。皇甫嵩改任车骑将军，八月，升任太尉。十二月，前职皆被免除。李傕、郭汜等被灭后，又被任光禄大夫、太常等职。
公元195年，皇甫嵩病逝。朝廷赠以骠骑将军印绶，并任命他家里一人为郎官。
公元782年，唐德宗追封古代名将六十四人，并为他们设庙享奠，内中就有"太尉槐里侯皇甫嵩"。公元1123年，宋朝为古代名将设庙，七十二位名将中亦包括皇甫嵩。出版于北宋的《十七史百将传》及成书于明代的《广名将传》，皇甫嵩亦列其中。
有史学者称皇甫嵩是"东汉柱石"、"救火队长"。