班婕妤移居长信宫，悄然隐退在淡柳丽花之中。每天天刚蒙蒙亮，长信宫门打开，她便开始一个台阶一个台阶扫地，生活刻板而单调。听到远处昭阳宫里传来欢乐的喧哗声，而自己只有与身影为伴，孤寂中无人问津。她在诗中自比秋扇，感叹道：
常恐秋节至，凉风夺炎热。
弃捐箧笥中，恩情中道绝。
用洁白的细绢剪裁的团扇，天热时与主人形影相随；凉秋时节，则被弃置箱中。后世便以"秋凉团扇"作为女子失宠的典故，又称"班女扇"。
从诗中我们可以看出，班婕妤自知如秋后的团扇，再也得不到汉成帝的宠爱了。不久，赵飞燕被册封为皇后，赵合德也成了昭仪，然而这一切，都与她毫不相干了。她心如止水，形同槁木，除了陪侍王太后烧香礼佛之外，间以涂涂写写，以抒发心中的感慨，再无任何所求。如此，班婕妤有更多的时间从事写作，也为文坛留下了许多诗篇。
班婕妤最有名的一首诗是《长信宫怨》。诗从入宫受宠写起，一直写到顾影自怜，自己爱惜羽毛，而摒绝繁华，效法古代贞女烈妇，甘愿幽居长信宫中，孤灯孑影，房寒风冷，想起旧日与汉成帝的恩爱之情，不觉珠泪滴零，令人肝肠寸断。一个接一个的白昼，一个接一个的夜晚，无情地把她的花样的年华吞掉了。最后她写到只希望百年之后能够埋骨故乡的松柏树下，饱含无限的凄怆情怀，使人不忍卒读。又过了11年，即在绥和二年三月，汉成帝驾崩于未央宫。汉成帝死后，班婕妤要求到成帝陵守墓以终其生。伴着冢形碑影，又孤独地生活了五年，便离开了人世，时年约40余岁，葬于延陵。
