嘉靖皇帝也就是隆庆皇帝的父亲，小皇帝的爷爷，他是出了名的狠心皇帝。他连自己的儿子都不关心，更加不会对曾经的女人发善心了。嘉靖皇帝年轻的时候换女人比换衣服还要多，据说有一段时间几乎年年下达民间选秀的命令，皇宫中的女人超过三万。年年都有一大群宫女被放出宫，这些宫女离开皇宫不是因为嘉靖皇帝好心，而是因为这些女人太多了又不是嘉靖皇帝需要的。有心人暗中调查得知，这些被放出的宫女几乎都不是处女了，都是被嘉靖皇帝糟蹋过得。这些女人地位不高，长得一般所以没有资格留在宫中，宫中冷宫住不下了，所以才被嘉靖皇帝赶出皇宫。嘉靖皇帝脾气很不好，曾经一脚踢死过一个皇后，这个皇后当时还怀着嘉靖皇帝的骨血。冷宫地方不够大，住不下太多的失宠妃子，所以嘉靖皇帝下令将一些低矮的房间划归进去设立一个个小型的冷宫。嘉靖皇帝老年学道不再亲近女色，索性将这些关在冷宫的女人全部都送到道观，做女道士去了。据说京城附近的道观一下子人满为患，老百姓这才知道嘉靖皇帝后宫养着这么多的女人。恭妃住的这个小型宫殿就是当年嘉靖皇帝设立的冷宫之一，小皇帝把恭妃安排到这个地方居住，很明显从一开始就决定了恭妃的命运。
宫殿不大但是也有