第二纪元约700年，凯萨督姆以西的伊瑞詹被建立，凯萨督姆矮人和精灵的友谊开始建立，这促使凯萨督姆的建设向西扩展，矮人的居住地位于东部，西部通道被打通，那座大门就是诺多族精灵凯勒布理鹏建立。
精灵也介入了凯萨督姆的建设，使凯萨督姆变得更美丽，这也让凯萨督姆中有了不少精灵的风格，一些位置较高的坑道内装有窗户，整个凯萨督姆都被水晶灯照亮，每一层都有大量的拱形通道，屋室和殿堂。
低层多为矿洞、宝库和牢狱。更低的地方是原始的黑暗坑道，有一些不知名的生物生存。
凯萨督姆其中一个特点是它的防御建筑，如都灵之桥，“细长的石桥，没有栏杆”，桥下是五十步阔的深渊，都灵之桥在护戒小分队撤离的时候，因为甘道夫要阻拦炎魔，而摧毁了石桥。
到了第三纪元，索伦被打败，但是在1300年后再受到半兽人的袭击，虽然凯萨督姆矮人未受致命性打击，在这时，秘银的蕴藏量已显贫乏，第三纪元1980年，矿坑的开采过于深入，触发了一股强大的邪恶力量。
魔苟斯的次神炎魔被矮人们挖掘出来，炎魔击杀都灵六世，并于次年击杀他的儿子耐恩，矮人无法击败甚至赶走炎魔，被迫撤出凯