面对这样的情景，张衡感到十分无奈。他知道，如果自己说实话，肯定会遭到这些宦官的报复；但如果不说实话，又会违背自己的良心。最终，张衡不得不说了一些假话来应对皇帝的问题，然后匆匆忙忙地离开了内廷。
回到家中的张衡，心情久久不能平静。他开始思考起自己的处境来。他觉得，人生的吉凶祸福往往是难以预料的，而且其中的道理也是非常深奥微妙的，一般人很难弄明白。为了能够保住自己和家人的性命安全，张衡决定要想办法寻找一种解脱之道。
经过深思熟虑之后，张衡写下了一篇名为《思玄赋》的文章。在这篇文章中，他充分发挥了自己的想象力和才华，通过描写神仙世界的美好和神秘，以及人类社会的种种弊病和缺陷，表达出了自己对于人生和命运的深刻思考，同时也寄托了自己对于理想生活的向往之情。
张衡经常陪伴在顺帝左右，但他从未投靠过宦官集团。然而，宦官集团却一直将他视为心腹大患，并不断地向顺帝进献谗言。终于，在永和二年（公元 137 年），张衡被排挤离开京城，出任河间相。
河间王刘政生活奢靡放纵，毫不遵守法律纪律；此外，还有许多豪强之徒聚集在一起作乱。张衡到任后，立刻严明法纪，严厉打击豪强势力，同时通过暗中探查掌握了奸党的姓名，然后迅速将他们一网打尽。一时间，整个地区变得严肃而井然有序，他因执政清廉而声名远扬。
然而，此时的张衡已经深感朝廷的腐败，意识到自己的志向难以实现。于是，他写下了《怨篇》和《四愁诗》来抒发内心的情感。此外，他还创作了《髑髅赋》和《冢赋》等作品。
永和三年（公元 138 年），张衡创作了《归田赋》，并上书请求辞官还乡。皇帝批准了他的请求，让他返回京城，并征召他担任尚书一职。第二年，张衡在忧郁和凄凉的晚年心境中，病逝于尚书任上，享年六十二岁。