1975年5月，霍查主持召開黨的七中全會，把矛頭對準了主管國家經濟的最高領導人——黨中央政治局委員、國家計劃委員會主席、阿爾巴尼亞-中國友好協會主席阿布杜·勒凱萊齊和政治局委員、工礦部長科喬·蒂奧多西，並把他們定性為“經濟反黨集團”。凱萊齊、蒂奧多西等人在全會結束時被解除黨內外一切職務，並開除出黨。

1981年——1982年清除謝胡反黨集團：1981年12月18日，阿爾巴尼亞政府總理謝胡“自殺”；21日，霍查在阿黨八屆二中全會宣佈説謝胡是自絕於黨的敵人。1982年初，改組政府，中央各部委“精簡”400人，霍查命令全軍聽從他的直接指揮，要求軍隊把謝胡作為巴盧庫反黨集團的總後臺進行徹底清算；下半年，霍查首先在黨內作關於謝胡間諜活動的報告，然後在地拉那選民大會上首次公開謝胡事件，宣佈謝胡是南、蘇、美“多國間諜”。謝胡死後，他的家人、部下及身邊人員都受到了株連。

霍查晚年偏執、多疑（甚至對所有政治局委員無一例外地進行對話監聽，同時設有替身）、僵化、專制，把國家建成了與世隔絕的“碉堡之國”，被外界稱為“神秘的國度”。在他統治的後期，自詡“世界上唯一真正的社會主義國家”的阿爾巴尼亞，被人以“一二三四五六七八九十”來形容：一盞紅綠燈：車少。二牛抬杠：牛車是主要交通工具。三群當道：牛群、羊群和雞群。四處碉堡：以碉堡武裝保衛祖國。武警林立：警察和便衣警察多。六親不認：霍查多疑，法律連坐。七竅不通：閉關自守，自絕於世界文明。八面威風：霍查做派。久久不變：體制僵化。十分落後：歐洲最貧窮的國家。

死後掘墳

上世紀90年代，隨着蘇聯解體和東歐劇變，阿爾巴尼亞也發生了劇變，霍查受到了批判和鞭笞。

1991年2月6日，阿爾巴尼亞第一個反對黨——民主黨剛一成立，黨主席薩裏·貝裏沙便發表文章批判霍查的個人迷信，成為否定霍查及勞動黨的第一個信號彈。他在文章中稱霍查是“斯大林式的獨裁者，在阿爾巴尼亞建立專政，大搞殘酷的階級鬥爭，打擊政治反對派，造成國家的貧困和孤立”。6日當天，霍查大學的學生們便舉行了罷課、絕食，要求“霍查大學”恢復原校名等。2月20日，矗立在市中心廣場上的霍查銅像被示威者推倒，其他城市的霍查塑像也遭到同樣下場。接着，各家政治書店被搗毀；70余卷的霍查著作付之一炬。

1992年5月5日“烈士節”前夕，總統貝裏沙做出把霍查等“非烈士”的遺骸遷出“祖國烈士陵園”的決定。5月2日夜間，霍查的墓穴被挖開，棺木被撬，遺骸挪到了地上。次日，霍查之子伊利爾等獲准進入辨認屍體收棺，把棺材運到沙拉公墓，草草入葬。墓穴前的破水泥板上用粉筆寫着：恩維爾·霍查。

“第一夫人”

在阿勞動黨執政的45年間，霍查夫人奈奇米葉一直是黨中央委員和人民議會議員，先後擔任黨中央宣傳和文教部長、馬列主義研究所所長等職。另外，她還是阿爾巴尼亞婦女組織的創始人。

1990年底，地拉那霍查大學發生學潮。霍查夫人被迫辭去民主陣線全國委員會主席職務。隨之，示威者衝進高幹住宅區，包圍了霍查夫人住所，並揚言放火燒掉房屋、揪出霍查夫人。全家被迫搬出了高幹區，遷入一座又臟又破的公寓樓。1991年6月，標誌着阿爾巴尼亞勞動黨演變的第十次黨代會決定首次公開批判霍查。霍查夫人對這次黨代會及勞動黨改名為社會黨持否定態度，尤其對公開批判霍查表示憤慨，並宣佈退黨（實為被開除），從此退出了政治舞臺。1991年9月，霍查夫人因“大量侵吞國家財産”的罪名遭軟禁，隨之被捕，並進了地拉那313號監獄。年底，被判處9年有期徒刑，1997年1月獲釋。出獄後，與霍查的單身妹妹一起住在地拉那市郊的一座筒子樓裏。