不久，御史大夫魏相当上宰相，经常被皇上私下接见，商议国事。平恩侯许广汉与侍中金安等，也能径直出入宫廷。当时，霍山虽然主管尚书事务和宫廷机要，但皇上却下令群臣都可以直接呈上亲启密奏，无须通过尚书，对此，霍氏一家都非常恼恨。
皇上隐约听到霍家毒杀许皇后，但未获证实，于是将霍光女婿、度辽将军、未央宫卫尉、平陵侯范明友调任为光禄勋(总领宫廷禁卫)，将霍光的次女婿、诸吏、中郎将、羽林监任胜调放外任为安定太守。数月之后，再将霍光的姐夫、给事中、光禄大夫张朔调任蜀郡太守，孙女婿中郎将王汉调任武威太守。没过多久，又将霍光长女婿、长乐宫卫尉邓广汉调任少府。
八月十四日，任命张安世为卫将军，两宫卫尉、城门、北军士兵都归他统属。仍旧让霍禹为大司马，但是只给他戴小冠(大司马应该戴大冠)，而且不给他印绶，撤销了他管辖的部队，只让霍禹的官名与父亲相等，但不给他实际可指挥的部队。又收回范明友的度辽将军印绶，只让他担任光禄勋。霍光的中女婿赵平，本来是散骑将军、骑都尉、光禄大夫，本来统率一部分驻军，现在也收回他的骑都尉印绶。其他统率胡人、越人骑兵及羽林军、两宫卫将屯兵，全部换成皇上亲信的许氏、史氏子弟。
8 当初，汉武帝的时候，征发频繁，百姓贫耗，穷民动则犯法，奸邪不轨之事，数不胜数，于是皇上派张汤、赵禹之流，严加立法，制定了知情不报、故意纵容之罪名，以及主管上级犯罪，属下官吏要一起判刑的法令。对于酷吏冤枉或重判犯人，不加追究；而对那些宽释犯人的官吏则加重惩处。这样下来，不但不能遏制犯罪，反而令奸猾弄法的情况愈演愈烈，法网日益严密，律令更加繁苛，法律文件堆得满桌满屋，主管官员根本看不过来。各郡、国在引用法令条文时出现混乱，就会出现同样的罪却处罚相异的情况。官吏们就抓住机会，以此弄法而受贿。想要救活的人，就引用轻的法令；想要置之于死地的，就引用使他非死不可的条文。 冤狱遍地，人民哀伤。