系的组织，他们之所以能存在下去，不光是因为对历代皇帝绝对的忠心，更是因为他们和当权的太监之间若即若离的关系。也就是说锦衣卫是皇帝暗中牵制太监势力的工具，更是平衡臣工和皇室之间关系的组织。表面上看上去锦衣卫被锋芒毕露的东厂所压制着，其实每当皇帝有事的时候，最为强而有力的支持者不是大臣，也不是皇室其他成员，更不是什么太监，而是数代为皇帝默默付出的锦衣卫世家成员。这些人平时做人做事很低调，但是一有事的时候，他们的权力和手段层出不穷。陆炳全面控制锦衣卫的时候，渐渐了解了这件机密，同时也接触了一些这种人。这些人或是明说，或是暗示，要陆炳和太监，特别是吕芳这种有实权的太监保持关系的同时，也要保持一定的距离。陆炳也是为了自己的地位，还有将来子孙的富贵，才开始有意无意地和吕芳保持一定的距离，甚至于在一些事情上提出不同的意见。
吕芳和陆炳的第一次正面冲突，发生在嘉靖皇帝朱厚熜当政的十二年。嘉靖皇帝朱厚熜认为大局已经收到了控制，为了便于管理，决定收回锦衣卫的权力，还归司礼监管理。但是司礼监掌印太监已经换上了吕芳，吕芳已经控制了司礼监，无论谁出任兼管锦衣卫的司礼监秉笔太监，都不会受到影响。嘉靖皇