公眾日益感到驚慌。約翰遜跟國民拉開了距離。許多人甚至相信是他策劃了林肯遇刺一案。林肯的遺孀瑪麗·托德·林肯給一個朋友的信中就憤怒地寫道：那個可悲的酒鬼約翰遜事先就得知我丈夫要死--要不然他信箱裏怎麼會有布思那個字條，他們一定早就認識--我有一個痛苦的想法，揮之不去，總覺得他了解那些陰謀分子，那些人也知道他們後臺是誰……我確信約翰遜在這一切背後插了一手。

約翰遜總統錯誤估計了民眾情緒，決定直接呼籲人民支持他。他拖著西沃德和韋爾斯做伴週游一系列城市，到處發表政治演説，痛斥那些反對他的人，頌揚他自己的政策。格蘭特將軍也被迫隨行，但一路上總躲在火車廂裏喝悶酒。人群見到這位內戰英雄就歡呼，但對約翰遜不感興趣，喝倒彩。約翰遜這趟宣傳活動算是自討沒趣。

國會中期選舉後，反對約翰遜的議員更多了。他持續不斷地否決國會的議案，否決咨文又臭又長（這種否決居然有29次之多），可是他阻擋不了國會的舉動。正如《紐約世界報》所説，“總統可以在理由上駁倒國會，可是國會能有足夠多的票數推翻他的否決。”他們往往在總統否決的當天就予以推翻，有時甚至不出半個鐘頭。

國會對總統的厭惡日甚一日。議員們開始議論是否要彈劾總統。按照憲法，總統若有叛國行為、受賄或其他罪行或不端行為，國會可以通過彈劾這最後一招把總統搞掉。這種極端的步驟以前還從未採取過。然而這是十分嚴肅的事情。1867年1月，一些熱衷於搞垮約翰遜總統的議員成立了一個委員會，以馬薩諸塞州選出的眾議員本·巴特勒為首，負責調查總統的行動。他們細查約翰遜的飲酒情況和銀行存摺，重新審查了約翰遜與刺殺林肯的兇手布思有無關係以及約翰遜與原南方邦聯總統戴維斯有何聯絡。

特工部門首腦拉斐特·貝克透露，在布思屍體上發現的日記中，有18面被撕掉了。巴特勒嚴厲追問：“是誰撕毀了這日記本？是誰扣下了這一證據？是誰因為口袋裏有這本日記，裏面至少載有本案主要陰謀分子的想法和目的，因而迫使一名無辜婦女上吊而死？”約翰遜對日記本缺掉這麼多頁也很關心，對此進行調查。斯坦頓報告説，失去的那些頁從來未曾到過政府手裏。

然而，形勢還是令人害怕的。假如國會要總統停職到彈劾審理結束，怎麼辦？有些支持約翰遜的人建議調兵來進行武裝抵抗。儘管總統並不打算採取這樣的行動，但不少人仍紛紛傳言他可能這樣做，謠言傳佈甚廣。

斯坦頓的國會朋友們不願把寶僅僅押在彈劾一舉之上，又擔心約翰遜把斯坦頓撤職，就讓國會通過了《任職法案》，其中規定，未經眾議院同意，總統不得將任何內閣成員免職。但該法案對內閣成員的保護僅限于“任命他們擔任現職的總統的任期之內，或其後一個月”。斯坦頓本是林肯任命的陸軍部長，約翰遜是留用了他，所以許多人認為他不受此法案保護（當然也有不同的看法）。

約翰遜又得針鋒相對進行一次否決。在內閣討論此法案時，連斯坦頓也表示反對，正如後來別人指出的，他認為這會對行政部門的權力造成威脅。總統説他因風濕病胳膊難以寫字，就請這位陸軍部長代他起草否決咨文，但斯坦頓把這差事推給了國務卿西沃德。

當然，斯坦頓沒有理由弄臟他的手，因為他知道國會會很快推翻這一否決。事實果然如此。事情的運轉如此之快令人驚訝，所以一位觀察家聽到別人告訴他：“我們再也不會注意他約翰遜説些什麼。”