悉尼奧運會後，胡進下課，郎平當年的助手陳忠和上任。隨後中國女排迎來了大換血，成績也有了起色。2001年，中國隊贏得了大冠軍盃的冠軍、大獎賽亞軍，02年獲世錦賽第四、大獎賽亞軍和亞運會冠軍，03年則包攬大獎賽和世界盃冠軍。中國女排帶著信心來到了雅典奧運會的賽場，12名隊員分別是：馮坤（隊長 北京）、楊昊（遼寧）、劉亞男（遼寧）、李珊（天津）、周蘇紅（江蘇）、趙蕊蕊（八一）、張越紅（遼寧）、陳靜（四川）、宋妮娜（八一）、王麗娜（八一）、張娜（天津）、張萍（天津）。

    當時球隊的頭號球星是趙蕊蕊，但在2004年3月，她遭遇了骨折。休養了不足5個月後，趙蕊蕊在奧運會上宣告復出，但僅僅觸球一次後，趙蕊蕊再次骨折，提前告別奧運賽場，張萍作為她的替補出戰了餘下的比賽。

    本屆比賽共有12支球隊參賽，中國隊與古巴、多米尼加、德國、俄羅斯和美國同組。8月14日起，中國隊先是3比1勝美國、3比0勝多米尼加，在第三戰中2比3不敵古巴，但隨後兩場，同以3比0戰勝德國和俄羅斯，還是以小組第一身份晉級八強。1/4決賽中，中國隊3比0輕取日本。半決賽，中國女排3比2戰勝古巴，報了小組賽中的一箭之仇。在8月28日進行的決賽中，中國隊在前兩局0比2落後的情況下實現了神奇的大逆轉，最終第二次贏得奧運會冠軍。頂替趙蕊蕊出場的張萍被評為最佳攻擊手，自由人張娜被評為最佳一傳，隊長馮坤則包攬最佳二傳和賽事MVP兩個獎項。

    本屆奧運會，中國男排沒有取得參賽資格。