1935年5月，鬱達夫在給林語堂的一封信中説：
“我去揚州，這時候還是第一次，夢想著揚州的名字，在聲調上，在歷史的意義上，真是如何的艷麗，如何地使人魂銷而魄蕩！”
鬱達夫對這趟旅遊的期望值太高了，到了揚州，見到那一座新修的城樓，便“覺得興趣索然”，走進狹窄的街道和低矮的市廛，更覺得乏味。
這樣的情形並非鬱達夫一人的感受，葉靈風在《瘦西湖舊夢》一文中，回憶起少年時代去瘦西湖的情景也有同感。
“那時候的揚州，早已是一個破落戶，瘦西湖也像是一座舊家池館，朱欄已經褪了色，石階的縫裏已經長了青草，到處都顯得荒涼和遺忘。可是，到處又還留下一點前代風流繁華的影子。”
乾隆末年，儀徵鹽船大火，鹽船被毀130艘，死者達一千四百餘人。
這似乎是一個預兆：以鹽業起家的徽商走向了衰落。
“榮枯有數”、“盛衰有常”本是事物發展的法則，但任何事物，其盛也決非無由，其衰也自必有因。
鹽業是徽商的主要産業，由明至清，徽州鹽商通過對兩淮鹽業的壟斷經營，積累起了千百萬的雄厚資本。但隨著鹽商資本的發達，清王朝對鹽業的正雜課稅也日益加重。尤其是在賑濟、助餉、捐輸、報效名義下的勒索，更是層出不窮。誠如時人所稱的那樣：“官無論大小，職無論文武，皆視鹽業為利藪，照引分肥”。
嘉慶年間，以徽州鹽商居主導地位的兩淮鹽場，苛捐雜稅達到92種之多。據嘉慶《兩淮鹽法志》統計，從康熙十年到嘉慶九年的100多年中，兩淮鹽商前後所捐輸的財物共有：白銀3930余萬兩，米2萬餘石，谷33萬石。商人每次捐輸，多則數百萬兩，少則十數萬兩，其餘尋常捐輸則難以枚舉。兩淮鹽商中，徽州鹽商佔據優勢，因此，捐輸的負擔大多落在了徽商頭上。曾任兩淮總商之一的歙縣大鹽商江春，每遇捐輸，“百萬之費，指顧立辦”。江春也因此陷入“家屢空”的困境。
鮑漱芳，徽州大鹽商，在他的家鄉棠樾有七座氣勢龐大的牌坊，其中“樂善好施”坊尤引人注目。這座牌坊是表彰鮑漱芳在捐輸、賑濟時的突出表現。嘉慶十年夏洪澤湖漲決之時，鮑漱芳捐米六萬石助賑；淮黃大水，鮑漱芳設廠賑濟，捐麥四萬石，救濟災民不下數十萬人；搶修壩堰，鮑漱芳“集眾輸銀三百萬兩以佐公需”。鮑漱芳因此贏得了“樂善好施”的聖諭。
汪應庚，徽州潛口鹽商，“江淮第一觀”大明寺、平山堂，還有蜀岡之上萬松嶺，均由汪應庚捐資修建。雍正九年，海嘯、洪災不斷，災後又流行疫病，汪應庚設藥局施醫藥，救治災民九萬餘人；乾隆三年，兩淮大旱，汪應庚捐賑銀4萬餘兩，又設八個粥廠，救濟一個月，接濟災民十萬人。乾隆五年，淮南水災，汪應庚賑銀6萬兩，再設粥廠，救濟災民十萬餘人。
助賑之外是助餉。所謂助餉，是指商人捐款以助朝廷軍費的活動。如果商人不能“急公好義”慷慨捐輸，那麼，他們不僅無法獲取經營特權，而且連正常的商業活動也往往會遭到各種刁難，甚至傾家蕩産，因而徽商只能咬緊牙關，為朝廷“分憂解難”了。
乾隆三十八年，因平定大小金川，以徽商為首的兩淮鹽商一次就助餉銀400萬兩。
五十三年，又因用兵台灣，徽商捐銀200萬兩以備犒賞之需。
六十年，協助朝廷鎮壓湖南石三保苗民起義，捐銀200萬兩。
嘉慶元年爆發了波及5省、歷時9年的白蓮教起義，在清政府鎮壓這次起義過程中，以徽商為中堅的兩淮鹽商連續6次捐輸，共計耗銀700萬兩。
如此鉅額的助餉，即使是挾資千萬的徽州鹽商也難以應付。
〖採訪內容〗蘇州大學教授 劉淼
總的來説，在幾個重大的事件上，徽商都有很好的表現。我們試想一下，當然歷史是不能試想的，如果當時徽商不做這個事，可能清王朝邁不過這個坎，有這個可能，當時清朝的財政力量是很弱的，作為國庫，他的財政力量是很弱的，他就不得不依靠，當時經過明朝的這樣一個長期的經營，要依靠這些大的一些資本集團。
揚州九峰園的聞名是因為主人、徽州鹽商汪玉樞花費鉅資收集而來的九座巨型太湖石。乾隆下江南的時候，臨幸九峰園，一片叫好之後，竟然提出：挑選兩座假山石帶回皇宮裏去。
皇帝滿心歡喜，鹽商卻是有苦難言。
頻繁地捐輸、賑災、助餉、接駕，此時的徽商已經是外腴中空。
為擺脫困境，鹽商們競相壓低收購價格，並竭力抬高銷售價格。有的商人甚至缺斤少兩，摻和泥沙，以致“鹽色摻雜不可食”。然而，他們這樣做，不但沒有撈回利潤，反而造成私鹽的氾濫。儘管《大清律》明文規定：“凡販私鹽者，杖一百，徒三年”，清政府也對私鹽嚴加查禁，但收效甚微。原先由兩淮鹽商壟斷的銷鹽市場，因私鹽氾濫而喪失殆盡。一些地方“無論城市村莊，食私鹽者什七八”。
嘉慶末、道光初，徽州鹽商已經和其他鹽商一樣，市場丟失，資本蝕空，財源枯竭，瀕於崩潰的邊緣。
隨之而來的鹽法改革，又最後將徽州鹽商推上了絕路。
〖採訪內容〗清華大學EMBA特聘教授 梁小民
鹽法的變革確實和官鹽，就是官方允許經營的鹽利潤奇高，利潤奇高的情況下必然有私鹽産生，任何一個行業，引用馬克思的話，只要有300％的利潤殺頭都不怕，所以中國的私鹽從古至今一直是一個非常大的問題。為什麼搞私鹽呢？就是鹽的成本很低，銷售價格很高，利潤很高，所以始終有私鹽。在清代政府就認識到，這個私鹽是堵不住的，政府花了很大的力量去緝私，實際上是堵不住的，堵不住怎麼樣呢？堵不住的結果就是政府的財政收入減少了，沒錢了，私鹽不交稅，所以沒錢了，所以就建議改革，就是索性把私鹽放開，既然堵不住，就不如放開，放開以後還可以收稅，還可以增加政府的財政收入，所以這種情況下為了解決私鹽的問題而把這個鹽法進行的改革，又把這個私鹽行業完全放開了。
道光十二年七月，為整頓鹽業，兩江總督兼管兩淮鹽政陶澍，在淮北廢除綱引制改行票鹽法。
道光三十年，陸建瀛又在淮南仿傚實行，於是兩淮鹽法為之一變。
所謂票鹽法，就是商人不必再購買鹽引，只要向鹽政設立的機構納稅，就可以領票經營。新法打破了以往徽商壟斷經營的局面，商人“不論資本多寡，皆可量力運行，去來自便”。
廢引改票的結果，使徽州鹽商失去了壟斷鹽業的特權，徽州商幫遭受致命一擊。
【採訪內容】北京大學教授 蕭國亮
成也蕭何，敗也蕭何。徽商之所以能夠發展起來的話，它是因為跟清政府密切的勾結，所以官商結合在一起；那麼敗也簫何，現在政府不與它結合了，所以它的衰敗也是必然的。再可以引用《紅樓夢》的一句話，也就是徽商跟政府勾結在一起，“一榮俱榮，一損俱損”，現在清政府到了道光年間，他衰敗了，他損了，所以鹽商必然要損，一榮俱榮，一損俱損，我想是這樣一種關係。
陳去病在《五石脂》中指出：“自陶澍改鹽綱，而鹽商一敗塗地。”
清代中葉的揚州，主要是靠鹽商支撐。一個個大老闆的腰包癟了，這座消費城市也就日漸現出蒼老衰敗的景象。“樓臺也似佳人老，剩粉殘脂倍可憐”，昔日建立在鹽堆之上的豪宅庭園，似乎在一夜之間化作煙雲，隨風而去。
在這風雨飄搖的時刻，運河上來來往往風帆鼓蕩的鹽船越來越少了，隨之而來的是戰旗飛舞的弘舸巨艦；甲板上大腹便便的豪商巨賈越來越少了，取而代之的是手持刀劍身披盔甲的驍勇官兵。
一場戰爭爆發了。
1851年1月11日，太平天國運動在廣西金田地區爆發，戰場一路北上，兩年之後，太平軍攻克武漢三鎮，其後主戰場又折而東移，太平軍佔領了有“虎踞龍盤”之稱的六朝古都南京，天王洪秀全宣佈太平天國定都於此。此後，在西至武漢、東到上海的長江一線及其腹地，太平軍與清軍展開了你死我活的拉鋸戰鬥。因此，包括鄂、贛、皖、蘇、浙在內的長江中下游地區，成為19世紀50年代至60年代中國社會戰亂最嚴重的地區。
徽州鹽商的大本營是揚州，太平天國運動期間，清軍屯兵揚州城外，揚州為“江北大營”，切斷了揚州城內外的交通及商業貿易，出現了“鹽引停運”的情況。
徽州木商最重要的貿易基地是長江重鎮南京。該城被太平軍攻克後，即成為太平天國的都城——天京。太平天國實行“禁商”的政策：“天下農民米谷，商賈資本，皆天父所有，全應解歸聖庫。”因此，南京的商貿活動幾乎停止，徽州木商首當其衝。
徽州茶商和典當商以長江中下游地區的城市為主要活動場所，而這些城市的商業環境已經惡劣到令徽州茶商和典當商紛紛歇業的程度。湯氏所輯《鰍聞日記》詳細記載了當時常熟城內典當鋪遭到搶掠的情況。這些典當鋪多為徽商所開。因兵荒馬亂歲月中無法進行正常商業活動，常熟城中的“眾朝奉”只得攜資返回家鄉。
“恐遭劫數，囊金回鄉”，徽商的本土——徽州，歷來 “未嬰兵禍”，是人們逃避戰亂的“世外桃源”。然而在這場戰爭中，徽州也是清軍與太平軍交鋒的最重要戰場之一。
位於祁門敦仁裏的洪家大屋是曾國藩駐節祁門的總督衙門，在這些建築的墻壁上，隱約看見當年太平軍攻佔祁門之後留下的題字，對這場延續到徽州本土的戰爭，曾國藩後來提及在徽州的戰事，總心有餘悸，在他的信中自認與太平軍作戰，“無日不在驚濤駭浪之中，無日不戰，無戰不梗。”
〖採訪內容〗廣東社科院研究員 葉顯恩
太平天國的起義也重要，把他們打擊得厲害。（徽州）本地，像岩鎮那些地方都燒成灰燼，因為總部李鴻章都住在休寧那一帶的，本部在這個地方，拉鋸戰，很恐怖的，我看到有一個材料，那個時候有一個弟弟來的時候，姐姐拿著刀要砍弟弟拿來吃，這是用手寫的，沒有印，你可想多麼恐怖了，餓的發慌，眼都綠了，所有的什麼都毀於一旦的，有一些重要的地下的很多東西都毀了。另外江南地區是太平天國的地盤，在那場拉鋸戰中，很多徽商也是遭殃的。
如果説道光三十年以前，鹽商是徽商的中堅。那麼，道光以後，則是茶商支撐著徽商的殘局。
茶葉貿易是徽商僅次於鹽業的大宗商品，在太平天國運動之前，徽州茶業出山，其稅每引不過分厘。徽州茶商在清中葉以前得以迅速發展，同清政府這種相對低平的茶業稅收政策有關。然而戰爭爆發後，從咸豐三年籌辦“徽防”開始，至同治五年，清政府為籌措軍餉鎮壓太平軍，開徵“厘金稅”。
【採訪內容】北京大學教授 蕭國亮
厘金與太平天國有關係，太平天國興起以後，就出現曾國藩、李鴻章他們湘軍、淮軍，當時清政府財政已經很困難了，比如鴉片的賠款等等，所以湘軍、淮軍軍餉就要依靠地方財政，地方財政怎麼辦呢？就想出了厘金這一招，也就是在許多通商關卡上，設官員來徵收厘金。所以厘金的徵收對當時，不僅僅是徽商，對中國當時商人的商品流通確實是帶來很大的負面影響的。
無論是行商，還是坐賈，都要捐助厘金。無論是手工業品，還是農産品，都在納稅範圍之內。
厘金造成的惡劣後果，令商民由富而貧，由貧而至於赤貧。根據史料記載，江浙地區的厘金“半出於徽商”，可見，厘金之累，在江浙一帶，多半攤在徽商身上。
1843年上海開埠後，近代機器工業迅速發展，使上海成為新興的工商業中心和進出口基地，並且輻射到整個長江三角洲和周圍地區。但與此同時，周圍的傳統工商業城市相繼衰落，有的完全喪失了地區中心城市的地位，一落千丈。大批官僚、富商、名流從這些城市和附近鄉村遷往上海，帶去了大量資金，也帶走了原居地的市場。
〖採訪內容〗上海復旦大學教授 葛劍雄
新興的資本主義的商業的興起，特別是上海開埠以後，上海開埠以後，上海産生了中國式的新的資本主義的商業，比如説原來是小舖子，現在有大百貨店出來了，原來經營的主要是土特産，或者是農業加工的這些手工藝品，現在機器製造東西來了，比如説洋布，洋油，這些來了以後，當然原來整個這個網絡就改變了，本來是它的商品是徽商掌握，它運行的這樣的線路，現在呢，比如説很多改從上海輸出了，上海本來是也要採購人家的，現在變成他是很大的一個輸出輕紡産品的地方，原來商業的格局也都改變了。而且土産品鬥不過洋産品，再一個就是交通路線的改變，運河廢棄以後，津浦鐵路，連下了滬寧滬杭鐵路，加上內河的輪船，還有長江的航運這些成為主要的運輸方式了，産品也變，比如在上海很多東西，不是出口的，他出口的吸納能力可以包括整個長江，比如長江上遊中游，四川湖北一路下來産的豬鬃桐油，這些大眾商品都集中到上海來了，然後賣給外國人，江南的比如説生絲，原來也是徽商在做，現在生絲的商人把他賣到上海，直接出口了，比如我的老家浙江湖州南潯鎮的那些絲商，他們就是很快成為洋買辦，和洋商聯合起來，洋商財大氣粗，他們通過外貿獲利又多，所以徽商怎麼鬥得過他，所以在這種情況下面，徽商不可避免的就衰落了，甚至在很多領域退出歷史舞臺。
1881年，胡雪岩集所有資金，囤積蠶絲，準備與洋商決一高低。胡雪岩邀同行共同完成此項頗有民族氣節的壯舉，然而，竟無人響應。胡雪岩“欲舉一人之力與之旗鼓相當”的願望終於失敗。
至此，胡氏龐大的集團開始崩潰。
1883年，胡雪岩事業的基礎——杭州泰來錢莊先行倒閉。隨後，建立在上海、北京、杭州、寧波、福州、鎮江以及湖北、湖南等地的阜康字號相繼倒閉，宣告破産。
1885年7月，左宗棠在福州病逝，胡雪岩失去了政治靠山。
1885年11月，胡雪岩去世。胡慶餘堂歸文煜所有，“胡雪記”字號沿用至今。
責編：紅立