地節二年（公元前68年），春，霍光病重，宣帝親至霍府探望，涕零不止。霍光謝恩于宣帝曰：“愿分國邑三千戶，封兄孫奉車都尉山為列侯，以奉兄票騎將軍去病之祀。”（《霍光傳》）
觀之，霍光似至臨終之際，猶為家族謀利。然其臨終特言及霍去病，豈暗示宣帝已本為衛氏外戚，望宣帝念及此，于已病故后，善待霍氏家族乎？當天宣帝便拜霍光的兒子霍禹為右將軍。
三月庚午（初八），擅權長達二十年之權臣大司馬大將軍霍光，終至人生盡頭。
四月，一個叫路溫舒的司法官員給宣帝上了一個奏疏，向他詳細講述了冤案生成的經過。
路溫舒沉痛地說道：“故天下之患，莫深于獄；敗法亂正，離親塞道，莫甚乎治獄之吏。”而考其用心，在于諫言宣帝“反霍氏之政”。
隨即宣帝大赦天下。
并開始大力提撥外戚和宦官勢力，重用反霍官員。
典型事例如下：封曾一直被霍光阻撓封侯、自已的岳父許廣漢為平恩侯（參與軍國要事）。許廣漢的兩個弟弟許延壽、許舜，亦皆封侯。后許延壽次子許嘉，過繼給無子的許廣漢，亦為侯。至此，許家一門四侯，榮耀至極。又遷升與霍光不睦之御史大夫魏相為丞相，封高平侯，食邑八百戶。
地節二年四月至地節四年二月，宣帝又封宗室貴族十一人為侯。
霍光離世之后，自其親信丞相韋賢至地方官員的霍氏一黨勢力，開始持續給宣帝制造阻礙。
然而，宣帝親政之后，德政不斷，著力于民生發展，不僅輕徭薄賦，還屢屢對百姓加以賞賜、賑濟，大得民心，可謂善政。
此亦為吾等在《五月與安然》一書中所言之，后來帝賀棄與爭皇位之主因，帝賀視民若子，實不忍見因皇位之爭而興大規模之戰必致民生之凋敝。
但同時帝賀深刻地認識到，宣帝對外戚和宦官勢力過度縱容，一旦失去控制，這股勢力必然會反噬漢朝廷，給國家帶來巨大的災難。
更讓人擔憂的是，宣帝為了獲得地方的支持，大力扶持地方豪族崛起。如今，這股勢力已經如脫韁野馬般不可阻擋，他們與權力緊密結合，不僅掌控了漢朝廷自上至下的官僚體系，甚至還在逐漸動搖漢朝的國本。
故而，帝賀以為，宜大力扶植對已忠心不二之地方豪族，以類“農村包圍城市”之法，漸次滲透并奪取漢廷之權柄。此亦其大力扶持姚氏一族于武威郡發展之緣由。
然而，平心而論，毋庸置疑，宣帝以帝賀認為并不完美的方式，僅僅追求鞏固皇位的短視利益，不僅迅速穩定了局勢，確立了自身的權威，更由于他竭盡全力地扭轉霍光的政策，撥亂反正，使眾人明白，那個被稱為對漢朝有再造之功的功臣霍光，實際上只是一個擅權專政、不顧民生的權臣而已。
如此，霍光的聲譽受損嚴重，而仰仗其庇護的霍氏家族亦漸為世人所不齒。
宣帝在糾正霍光之政的同時，又多管齊下，矛頭直指霍氏家族。
霍光下葬之后，宣帝依循霍光的遺愿，封霍山為樂平侯，又使霍山以奉車都尉之職領尚書事，意即讓霍山而非霍禹接替霍光主理國事。
霍禹身為霍光之嫡長子，且已獲皇帝任命為最高武官之一的右將軍，并承襲了霍光博陸侯的爵位，理應名正言順地領尚書事，沒想到未能如愿，雖有怨言，但尚書事一職畢竟給了霍家人，他又不敢公開發作。
帝賀認為，宣帝雖將尚書事交予霍家，但其意圖在于挑撥霍氏兄弟，且因霍山以中級武官的身份領尚書事，人微言輕，日后操控起來便更為容易，要將其架空亦非難事。
地節三年（公元前67年）正月，霍光親信丞相韋賢以老病請求致仕，開創漢代丞相退休先例。據《史記 建元以來侯者年表》中褚少孫講，韋賢辭相，是因魏相（宣帝親信）“譖毀”所致。
地節三年四月戊申，宣帝力排霍家人及霍皇后之強烈反對，毅然冊立已故許平君皇后所生之子劉奭為皇太子。
此決定無疑宣告，日后霍成君皇后即便誕下龍子，亦僅能封王，這顯然是霍家人所無法容忍的。他們籌謀已久，欲使霍皇后之子登上太子之位，進而掌控整個皇宮與朝堂。
帝賀深知，霍家人定然不會就此罷休。
果不其然，為與宣帝抗衡，霍夫人霍顯將霍皇后召回霍府密議，妄圖唆使霍皇后毒害太子。
幸而，此情報被霍皇后身旁的暗諜“雛菊”及時傳遞，帝賀經由許延壽迅速告知宣帝。
宣帝旋即增派人手保護太子，每逢霍皇后賜食，隨侍太子的人員必先嘗之，致使霍皇后竟無下毒之機：“復教皇后令毒太子。皇后數召太子賜食，保阿輒先嘗之，后挾毒不得行。”（據《外戚傳》）
立太子后，如帝賀所料，宣帝很快依魏相之計取消副封制度，詔令吏民再上書奏事時，奏書無需經由尚書，可直接呈遞給他，如此一來，霍山的權力實則被變相剝奪：“時霍山自若領尚書，上令吏民得奏封事，不關尚書”。
遂有眾多諫人“憑空”出現，上書告發霍氏之不法行徑，其中包括此前被霍光強行壓下的許皇后遭毒殺一事亦被揭露出來。
宣帝借此將霍光之女婿度遼將軍、未央衛尉、平陵侯范明友徙為光祿勛，次婿諸吏、中郎將、羽林監任勝調任安定太守。
為成功鏟除霍氏家族，宣帝在不斷使出狠招之際，還佯裝尊崇霍家，大搞形式主義，并放任霍家人肆意妄為。對于霍家的累累惡行，宣帝佯裝不知，不聞不問。如此一來，普通官員和百姓對霍家人的欺凌雖心懷憤恨，卻也只能忍氣吞聲。
這讓宣帝在與霍氏的爭斗中，始終占據道義的高地，免受輿論的指責。畢竟在這種氛圍下剿滅霍氏集團，他完全可以宣稱自已對霍氏家族已做到仁至義盡，而他們卻倒行逆施，純屬咎由自取，怪不得他人。
——帝賀一直認為，宣帝就是一個沽名釣譽的虛偽之人。
對于霍氏集團中“主動歸附”呈上投名狀的成員，宣帝亦給予機會善加利用。如京兆尹趙廣漢，霍光當政時，他對霍光言聽計從，霍光一逝，他便親自率領屬官，長驅直入霍禹府邸，將霍禹家的非法釀酒作坊砸了個稀巴爛。
宣帝對此實甚欣慰，然特召趙廣漢入宮詢問案情回應霍皇后之哭訴，以關切霍家之事，卻未對趙廣漢有任何責難，反在趙廣漢離去時沉穩地拍拍他的肩膀，此即認可了他的所作所為，趙廣漢自此成為“侵略”“逼迫”霍氏權貴“犯錯”的急先鋒。
越“侵略”，越“逼迫”，霍家人就更容易急中犯錯。隨著案情調查的逐漸深入，霍家人的“錯”越犯越多。
數月之后，霍光的姊婿給事中、光祿大夫張朔被調任為蜀郡太守，孫女婿中郎將王漢則被調任為武威郡太守。緊接著，霍光的長女婿長樂衛尉鄧廣漢也被徙為長信少府。
然而，擅弄權謀的宣帝，卻反手遷升霍禹為大司馬（帝賀認為宣帝隨后必架空之，使其成為有名無實的虛職），并且借此撤銷了他右將軍的軍權：“更以禹為大司馬，冠小冠，亡印綬，罷其右將軍屯兵官屬，特使禹官名與光俱大司馬者。”
此外，范明友的度遼將軍印綬也被收繳，僅保留光祿勛一職。與此同時，霍光的中女婿趙平的騎都尉印綬也被收走，僅保留散騎、光祿大夫之職。
至此，所有能威脅到皇宮安全的衛隊包括南軍的重要職位，全部改由宣帝所親信的外戚之許、史兩家子弟擔任。——帝賀判斷，宣帝要對霍氏集團做最后的清算了，誅滅之。
霍家眼看自已就要被誅滅滿門，遂謀劃讓上官皇太后為宣帝外祖母博平君置酒，以此為借口召魏相、許廣漢等赴宴，讓范明友、鄧廣漢等斬之，廢黜宣帝，立霍禹為皇帝：“謀令太后為博平君置酒，召丞相、平恩侯以下，使范明友、鄧廣漢承太后制引斬之，因廢天子而立禹。”（據《霍光傳》）
然而，殊不知這一切都在宣帝的算計之中。
霍氏的計策還沒付諸實施，霍家議事核心成員之剛被封賜冠陽侯的霍云便被拜為玄菟太守，太中大夫任宣也被任命為代郡太守，不得不離開漢廷權力中心之長安。霍山又因私自抄寫宮禁秘書而犯法，恰此時他們合謀反叛的陰謀又被揭發出來。
——長安的霍家核心成員就剩下個“沒有智慧”的霍禹和“潑婦似”的霍顯以及“沒有長大”的霍成君。
這一次帝賀的判斷果然沒錯！他深知宣帝的心思，明白即使霍氏一族沒有陰謀反叛，宣帝在掌權之后也必然會將他們誅滅。這其中的緣由，還要從宣帝即位之初說起。
當時，霍光陪同宣帝去謁見高廟，這一路上看似平靜，實則暗潮涌動。在古代，驂乘是一種非常重要的禮儀，通常由地位崇高的人擔任。而霍光作為權傾朝野的重臣，陪著宣帝一同乘坐馬車，這本應是一種榮耀，但實際上卻是一場危機的開端。
“威震主者不畜”，這句話道出了宣帝心中的憂慮。
誅滅霍氏集團