1935年5月，鬱達夫在給林語堂的一封信中説：
“我去揚州，這時候還是第一次，夢想著揚州的名字，在聲調上，在歷史的意義上，真是如何的艷麗，如何地使人魂銷而魄蕩！”
鬱達夫對這趟旅遊的期望值太高了，到了揚州，見到那一座新修的城樓，便“覺得興趣索然”，走進狹窄的街道和低矮的市廛，更覺得乏味。第二天去逛平山堂、天寧寺、觀音山等處，感覺也不妙。只有瘦西湖一帶荒廢得不十分厲害，四面臨水的小金山以及五亭橋與白塔，給他留下些好印象。
這樣的情形並非鬱達夫一人的感受，葉靈風在《瘦西湖舊夢》一文中，回憶起少年時代去瘦西湖的情景也有同感。
“那時候的揚州，早已是一個破落戶，瘦西湖也像是一座舊家池館，朱欄已經褪了色，石階的縫裏已經長了青草，到處都顯得荒涼和遺忘。可是，到處又還留下一點前代風流繁華的影子。”
從他和鬱達夫的筆下都可以看出，“綠揚城郭”已經不是揚州了，沒有了柳色青青，留下的只是懸在老城墻上的那一根根枯藤。
那時的揚州，像個風燭殘年的老人。
乾隆三十五年十二月乙卯，儀徵鹽船火，壞船百有三十，焚及溺死者千有四百。是時鹽綱皆直達，東自泰州，西極於漢陽，轉運半天下焉，惟儀徵綰其口。列檣蔽空。束江而立，望之隱若城郭。一夕並命，鬱為枯臘，烈烈厄運，可不悲邪！
這是清朝汪中《哀鹽船文》所記錄的一段文字。這似乎是一個不祥的預兆：以鹽業起家的徽商走向了衰落？以徽商雄厚資本支撐的揚州開始走向衰敗？
“榮枯有數”、“盛衰有常”本是事物發展的法則，但任何事物，其盛也決非無由，其衰也自必有因。
丁家灣88號，徽州鹽商許氏舊宅，揚州的一幢老宅子。里弄悠長而寂寞，空氣中散發出一種霉變的氣息，似乎讓人憶起了什麼。許氏鹽商祖籍徽州歙縣，清初由許村移民至揚州。第一代祖先許仁壽來揚州時幾乎身無分文，以賣徽州餅為生。待到稍有積蓄以後，便做起了鹽業生意，旗號叫做“謙益永”。許家真正興旺起來，是在來揚州後的第三代。據説，當時許家利用清廷珍妃的關係，得到在興化、泰州、東臺三地經營鹽業的專利，因而迅速發家。揚州人曾以“東宮”、“西宮”來戲稱許家宅子，可見一時顯赫。
如今的許家老宅子住了“七十二家房客”，茶余飯後，老宅子裏的人們經常説起許家一段“英雄”般的往事。那是在日本人侵略中國，攻佔揚州後，許家一家老小避難上海。當時，有親日分子在揚州興辦“裕華”鹽號，想借許家的名望打開局面，多次派人到上海邀請許氏第六代傳人許少甫出山。面對重金誘惑，許少甫不為所動，鏗鏘有力地回應：“如果將氣節都出賣了，賣出的鹽也不會鹹。”從此，“謙益永”號就此成了歷史的記憶。
鹽業是徽商的主要産業，由明至清，徽州鹽商通過對兩淮鹽業的壟斷經營，積累起了千百萬的雄厚資本，但隨著鹽商資本的發達，清王朝對鹽業的正雜課稅也日益加重。
歙縣棠樾鮑氏祠堂內的三道嘉慶“上諭”碑文，記載了發生於嘉慶九年的一起鹽務公案。
1804年，徽州大鹽商鮑啟運被僉派辦理淮北鹽運，鮑啟運受命之後，稱病告退，被當時巡鹽使御史佶山告以“抗僉誤課”之罪，請旨“革去道銜，嚴行審辦”。嘉慶皇帝連發三道聖諭，責成兩江總督陳大文辦理此案。結果鮑啟運被迫輸銀5萬兩，這一風波才算了結。
像鮑氏這樣的鹽商世家，與官府上層人物又有盤根錯節的關係，尚且受到勒索，一般的徽州鹽商，更是不在話下。
誠如時人所稱：“官無論大小，職無論文武，皆視鹽業為利藪，照引分肥”。
嘉慶年間，以徽州鹽商居主導地位的兩淮鹽場，苛捐雜稅達到92種之多。據嘉慶《兩淮鹽法志》統計，從康熙十年到嘉慶九年的100多年中，兩淮鹽商前後所捐輸的財物共有：白銀3930余萬兩，米2萬餘石，谷33萬石。商人每次捐輸，多則數百萬兩，少則十數萬兩，其餘尋常捐輸則難以枚舉。兩淮鹽商中，徽州鹽商佔據優勢，因此，捐輸的負擔大多落在了徽商頭上。曾任兩淮總商之一的歙縣大鹽商江春，每遇捐輸，“百萬之費，指顧立辦”。江春也因此陷入“家屢空”的困境。
“舊時翠華臨幸之地，今亭館朽壞，荊棘遍地，遊人限足不到”，説的就是江春喧鬧一時的康山別業。
清代中葉的揚州，主要靠鹽商支撐。當一個個大老闆的腰包癟了，這座消費城市也就日漸現出蒼老衰敗的景象，“樓臺也似佳人老，剩粉殘脂倍可憐”，昔日建立在鹽堆之上的豪宅庭園，似乎在一夜之間化作煙雲，隨風而去。
鮑漱芳，堂樾鹽商，在他的家鄉有七座氣勢龐大的牌坊，其中“樂善好施”坊尤引人注目。這座牌坊是表彰鮑漱芳在捐輸、賑濟時的突出表現。嘉慶十年夏洪澤湖漲決之時，鮑漱芳捐米六萬石助賑；淮黃大水，鮑漱芳設廠賑濟，捐麥四萬石，救濟災民不下數十萬人；搶修壩堰，鮑漱芳“集眾輸銀三百萬兩以佐公需”。鮑漱芳因此贏得了“樂善好施”的聖諭。
汪應庚，潛口鹽商，大明寺、平山堂，還有蜀岡之上萬松嶺，均由汪應庚捐資修建。至今尚能見到汪應庚親筆題寫的“淮東第一觀”、“天下第五泉”字跡。雍正九年，海嘯、洪災不斷，災後又流行疫病，汪應庚設藥局施醫藥，救治災民九萬餘人；乾隆三年，兩淮大旱，汪應庚捐賑銀4萬餘兩，又設八個粥廠，救濟一個月，接濟災民十萬人。乾隆五年，淮南水災，汪應庚賑銀6萬兩，再設粥廠，救濟災民十萬餘人。
助賑之外是助餉。所謂助餉，是指商人捐款以助朝廷軍費的活動。乾隆三十八年，因平定大小金川，以徽商為首的兩淮鹽商一次就助餉銀400萬兩。五十三年，又因用兵台灣，徽商捐銀200萬兩以備犒賞之需。六十年，協助朝廷鎮壓湖南石三保苗民起義，捐銀200萬兩。
嘉慶元年爆發了波及5省、歷時9年的白蓮教起義，在清政府鎮壓這次起義過程中，以徽商為中堅的兩淮鹽商連續6次捐輸，共計耗銀700萬兩。
如此鉅額的助餉，即使是挾資千萬的徽州鹽商也難以應付。
揚州九峰園的聞名是因為主人、徽州鹽商汪玉樞花費鉅資收集而來的九座巨型太湖石。乾隆下江南的時候，臨幸九峰園，一片叫好之後，竟然提出：挑選兩座假山石帶回皇宮裏去。
皇帝滿心歡喜，鹽商卻是有苦難言。
頻繁地捐輸、賑災、助餉、接駕，此時的徽商已經是外腴中空。
為擺脫困境，鹽商們競相壓低收購價格，並竭力抬高銷售價格。有的商人甚至缺斤少兩，摻和泥沙，以致“鹽色摻雜不可食”。然而，他們這樣做，不但沒有撈回利潤，反而造成私鹽的氾濫。儘管《大清律》明文規定：“凡販私鹽者，杖一百，徒三年”，清政府也對私鹽嚴加查禁，但收效甚微。原先由兩淮鹽商壟斷的銷鹽市場，因私鹽氾濫而喪失殆盡。一些地方“無論城市村莊，食私鹽者什七八”。
嘉慶末、道光初，徽州鹽商已經和其他鹽商一樣，市場丟失，資本蝕空，財源枯竭，瀕於崩潰的邊緣。
隨之而來的鹽法改革，又最後將徽州鹽商推上了絕路。
道光十二年七月，為整頓鹽業，兩江總督兼管兩淮鹽政陶澍，在淮北廢除綱引制改行票鹽法。道光三十年，陸建瀛又在淮南仿傚實行，於是兩淮鹽法為之一變。
所謂票鹽法，就是商人不必再購買鹽引，只要向鹽政設立的機構納稅，就可以領票經營。新法打破了以往徽商壟斷經營的局面，商人“不論資本多寡，皆可量力運行，去來自便”。
廢引改票的結果，使徽州鹽商失去了壟斷鹽業的特權，徽州商幫遭受致命一擊。
徽商大戶的金飯碗被砸了，大家自然對陶澍恨之入骨。可陶澍是道光皇帝的大紅人，誰也奈何不了他。於是，背地裏，徽商們只能在一起玩一種叫“葉子牌”的紙牌時，做點手腳，出出心頭的怒氣。他們在葉子牌裏增加了兩張牌，一張牌上畫了一株桃樹，一張牌上畫了個美女陶小姐，在遊戲時凡拈到桃樹牌的就算輸家，凡拈到美女牌的就算贏家，嘴裏還夾著一些污言穢語對“桃樹”進行嘲弄。
至此，徽商在兩淮鹽業市場裏徹底衰落。
陳去病在《五石脂》中指出：“自陶澍改鹽綱，而鹽商一敗塗地。”
一場戰爭爆發了。
1851年1月11日，太平天國運動在廣西金田地區爆發，戰場一路北上，兩年之後，太平軍攻克武漢三鎮，其後主戰場又折而東移，太平軍佔領了有“虎踞龍盤”之稱的六朝古都南京，天王洪秀全宣佈太平天國定都於此。此後，在西至武漢、東到上海的長江一線及其腹地，太平軍與清軍展開了你死我活的拉鋸戰鬥。因此，包括鄂、贛、皖、蘇、浙在內的長江中下游地區，成為19世紀50年代至60年代中國社會戰亂最嚴重的地區。
戰爭洶湧而至，依靠長江水運進行“吳楚貿易”的徽商在這場戰爭中，再一次遭受重創，商業貿易幾乎中止。
所謂吳楚貿易，是指徽商借助長江航運水系，往返于湖廣與蘇浙之間的商品長途販運活動。徽州商幫在長江中下游地區的商業經營活動中，吳楚貿易佔領的市場份額相當之大。比如鹽，鹽的行銷路線是兩淮鹽場至湖廣，而糧食的販運路線是從湖廣到蘇、浙、閩等地，棉布則由蘇杭至長江中下游地區，木材由川、鄂、贛等地順流而下，經過南京上新河，然後到達蘇浙及北方地區。
然而，在長達十餘年的太平天國運動期間，戰爭實際上切斷了長江航運，於是依賴長江航運而發展起來的徽州商幫吳楚貿易活動被迫中止了。
吳楚貿易是徽州商幫賴以生存和發展的最重要的商業活動之一，這方面商業活動一旦中止，徽州商幫就失去了生存和發展的重要基礎。
徽州鹽商的大本營是揚州，太平天國運動期間，清軍屯兵揚州城外，揚州為“江北大營”，切斷了揚州城內外的交通及商業貿易，出現了“鹽引停運”的情況。
徽州木商最重要的貿易基地是長江重鎮南京。該城被太平軍攻克後，即成為太平天國的都城——天京。太平天國實行“禁商”的政策：“天下農民米谷，商賈資本，皆天父所有，全應解歸聖庫。”因此，南京的商貿活動幾乎停止，徽州木商首當其衝。
徽州茶商和典當商以長江中下游地區的城市為主要活動場所，而這些城市的商業環境已經惡劣到令徽州茶商和典當商紛紛歇業的程度。
“恐遭劫數，囊金回鄉”，徽商的本土——徽州，歷來“未嬰兵禍”，是人們逃避戰亂的“世外桃源”，然而戰爭的煙火也燒到了徽商的故土，徽州在當時並非“世外桃源”。
流傳至今的《徽州義民歌》中有一段詞描述了包括徽商在內的徽州人在當時流離顛連的慘狀。