也正因这样，宫中流言四起，传言玄武帝有意册立容绥为太子，诸皇子的母家眼见朝中风向一日千里，立即将消息添油加醋地散布至北境，并找人煽动百姓舆论，致使民间质疑声漫。
言官迫于民怨，不得不向玄武帝谏言：容绥虽贵为皇子，身上却也流淌着“叛贼”墨族的血，当年北境一役，皆因墨族叛变导致北溟军民死伤无数，这样的血统是绝对不会受到百姓拥戴的，七皇子并非继承北溟大统的最佳人选，还望玄武帝能将七皇子交由其他嫔妃抚养，以平息流言蜚语和北境边民的怒火。
而这三年以来，任凭玄武帝待容绥如何好，容绥对他始终敬而远之，如同三年前一般，恭谨却淡漠，顺从却疏离。容绥可以在背地里亲切地称呼柳氏为“柳姨”，但却连声“父皇”也不肯叫玄武帝，这让玄武帝早已心生不满。
再者，玄武帝的其他儿女虽不及容绥优秀，却是日日风雨无阻地到他跟前请安，对他嘘寒问暖，想着方地讨好，既殷勤又孝顺。哪怕玄武帝知道他们是别有用心，可仍让他感受到了父慈子孝的伦之乐，他内心也是极为高心。
反观容绥，不论如何待他，他都无动于衷，哪怕只是片刻的虚情假意，他都不曾愿意。
也正是容绥这样的态度，再加上有心之人不断地煽风点火，玄武帝不禁回想起当年翎妃的决绝，他的心也如当年一般渐渐冷却，最后形成一块郁结，如同堵在心口的一块巨石，难以排解。
纵观全局，权衡利弊之下，玄武帝终是采纳了言官的谏言，下旨将容绥养在一个不受宠的嫔妃那里，这样既保全了他在百姓心中的形象，又能给容绥一个教训，他要让容绥明白，只有他才是这下之主，也只有他才能护他一世周全。
虽容绥只是换了一个居所，他仍是北溟国的七皇子，吃穿用度也与其他皇子一般无二，可到底是离开了玄武帝的身边，失了宠，这道旨意无疑是将他从云端打落至了深渊。
宫墙之内最不缺的便是落井下石，没有玄武帝的庇护，容绥和柳氏很快便成了俎上鱼肉。
虽然没有人敢明目张胆地除掉一位皇子，但要将其一点点地折磨致死，却也是易如反掌。
之后的一年，谁也不知道容绥在鬼门关门口走过几遭，到底是靠着多么强大的意志力，才能从死亡的边缘，一次又一次地挺了过来。好在柳氏始终护在他身边，不离不弃，才让他少受了许多皮肉之苦，将他一次次从鬼门关前拉了回来。
那时候在宫墙内，时常会看见一个灰头土脸伤痕累累的男孩和一个同样浑身是赡宫女。他们被后宫众人无情践踏、凌辱，不论是嫔妃还是身上流淌着同样血脉的皇子和公主，甚至还有狗仗人势的宫人，都不曾放过他们。
直到有一次，年仅七岁的容绥在冬夜里被人推进了冰湖中，幸得那夜当值的太医燕庭筠经过，见到晕厥在冰湖旁的柳氏，才察觉到蹊跷，立即将容绥从冰湖中救了上来。