后来他又将响箭射向自己的爱妻，有些士兵于心不忍没有跟着射箭，于是也被砍头了。
最后他将响箭射向父亲头曼单于。
士兵们不敢犹豫，万箭齐发。
头曼单于就这样被射成了刺猬。
头曼单于的大儿子冒顿不像公子扶苏那么软弱仁义，他杀死了父亲，变成了冒顿单于，带领匈奴部落迅速壮大。
而扶苏选择了自杀，让胡亥当上了秦二世，把大秦帝国带向了毁灭。
匈奴倒戈是目前为止赵高的皇帝之路上遇到的第一个挫折。
第二个挫折来自赵高的发妻方云梦。
赵高打算自立为王，立方云梦为后。
方云梦拒绝了，她只是不停恳求赵高放过白墨哥哥。
“这么多年了，我对你不好吗？你居然还放不下白墨？”赵高愤怒、失望到了极点。
赵高可以得到天下所有女人，却永远也得不到方云梦的心。
方云梦甚至没有给他生下一个后代。
他的愤怒无处发泄，只能日夜折磨方云梦。
“你杀了我吧。”方云梦求他，“我们的开始是一个错误。你当初是为了方氏的钱财。现在你富甲天下，我对你早就没有用了。”
在方云梦心中，赵高始终是那个卑鄙无耻之徒，她甚至不愿意多看他一眼。
而他也一直没有告诉她，他其实是赵高仲，从小到大一直陪在她身边的赵高仲哥哥。
两人就这么一步步错过，再也回不到从前。
“天天想着你的白墨哥哥，你去死吧！”
赵高绝望地把方云梦关进冷宫，决定夫妻俩此生不再见。
他没想到，方云梦当晚上吊自杀了。
他枯坐了三天三夜。
年轻时他为了配得上方氏继承人方云梦发愤图强。
等他老了，如愿以偿登上了最高峰，却只得到了曾经心爱之人冰冷的尸体。
第三个挫折，也是他的皇帝梦想最大的威胁——无浊先生。
赵高需要想一个一箭双雕的方法，铲除公子高和无浊先生。
赵高按照无浊先生的指示，把代替公子高殉葬的人埋进陵墓。
公子高趁着夜色孤身一人上路了。
赵高派人紧随其后。
他发现公子高最终去了齐郡，和徐福汇合。
齐地着名方士徐福曾上书皇帝陛下，说根据《山海经》记载，海中有蓬莱、方丈、瀛洲三座仙山，有神仙居住。
于是嬴政派徐福出海求仙问药，数年后徐福并没有带回长生之药。
他说仙岛上的确有神药，但有大鱼拦路，他需要一些士兵和强弓劲弩射杀大鱼。
强悍的嬴政于是亲自射杀大鱼，梦中和海神搏斗。
至于徐福提到的“仙人要求三千童男童女”，刚巧秦军征服了西南夷，嬴政就下令这些被征服的云南部族提供童男童女。
徐福又编了个仙人下凡赴宴的故事，借口要为仙人寻找绝色少男少女，带着数千童男童女数和三年的粮食、衣履、药品和耕具等物资顺利脱身。