为这座遗落的神庙是上天赐给拉孜家族的礼物，遂命人将这座废庙重新修缮，并请来密宗法师在此念经颂佛。
拉孜土司还命彭扎管家带人大动土木，把自己的灵塔也造在这里。拉孜土司打算待自己百年之后就葬在此地，借助这块风水宝地，庇佑子孙后代永葆荣华富贵。
谁曾料想，时过境迁，几年之后世界大战结束，51年西藏也和平解放。虽然当时藏区的统治者与上面达成了协议，规定藏区自行进行改革，上面并不加以干涉，但是拉孜土司已经意识到，自己的统治即将走到尽头了。
到了59年，农奴制废除已经是势在必行，藏区的其他贵族和土司迫于压力，先后施行了这一改革。
但是拉孜土司拒绝接受这样的改变。他也知道废除农奴制是大势所趋，凭自己的这点势力与上面抗衡无异于螳臂当车，但是他不甘心家族统治在自己手里终结，遂带着所有的家当和一小撮忠心的下属，举家搬迁到这处人迹罕至的“遗落的神庙”之中，自此与世隔绝，继续维持着自己小小的“土司帝国”。
离开了优渥的生活环境，这些平时养尊处优，过惯了舒坦日子的家人和子女却无法适应这里的恶劣气候和生活条件，几年间先后染疾去世，偌大的一个拉孜家族，最后