重復數據刪除不是什麼新鮮事。第三方廠商將這項技術用於收縮備份存儲和WAN優化已經很多年了。雖然如此，但在Windows操作系統中一直沒有自己的重復數據刪除功能。但是這種情況隨著Windows Server 8的發佈就要改變了。

　　和存在已久的第三方産品一樣，Windows Server 8的重復數據刪除功能旨在讓更多的數據保存在更少的空間中。注意，我不是説這個重復數據刪除功能能讓更多的數據存儲在更少的空間中。儘管Windows Server 8將支持存儲級的重復數據刪除，它還支持傳輸中數據的重復數據刪除。

　　存儲重復數據刪除

　　儘管重復數據刪除是Windows操作系統中的新功能，微軟産品已經用多種方法增加存儲容量很長時間了。例如，Windows操作系統長久以來都支持文件系統（NTFS）級別的壓縮。同樣地，Exchange Server的一些之前版本通過單一實例存儲（SIS）的使用尋求方法來最大化可用的存儲空間。儘管這樣的技術的確幫助降低了存儲成本，但是NTFS壓縮和單一實例存儲都沒有Windows Server 8的重復數據刪除那麼高效。

　　根據微軟的估計，Windows Server 8的重復數據刪除功能在年末市的時候能為一般的數據存儲交付2：1的優化比率。這個比率在虛擬服務器環境中可以增加到20：1。

　　存儲重復數據刪除工作的方式

　　Windows Server 8的重復數據刪除功能比單一實例存儲更高效的原因是因為SIS是在文件級別工作。換句話説，如果一個文件的兩份相同拷貝需要放在一台服務器上，那麼單一實例存儲只存儲這個文件的一個拷貝，但是使用指示器來造成存在多個文件拷貝的假象。儘管這種技術對於包括多個同一文件的服務器來説的確很好，但是對於類似但不相同的文件來説就沒有任何作用了。

　　這個操作系統會為每一塊計算哈希。然後這些哈希值進行比較來確定哪一塊是相同的。發現相同的塊時，除了一個塊之外的所有拷貝都會刪除。這個文件系統使用指示器來介紹哪個塊附屬於哪個文件。考慮這種程序的一個方法是遺留文件系統一般把文件當作數據流。但是Windows Server 8的文件系統（啟用了重復數據刪除功能）更多的情況下會把文件當作一個塊集。

　　順便提一下，Windows Server 8的提前測試版使用文件系統壓縮。任何可能的時候，數據的獨立塊都會壓縮來節省空間。

　　數據完整性

　　關於數據重復刪除的一大擔憂就是文件完整性。儘管機率不大，但是數據的兩個不相似的塊擁有相同的哈希值理論上也是可能的。有些第三方産品通過在刪除重復塊前使用不同且更複雜公式來驗證這些塊確實是相同的。

　　儘管微軟沒有給出用來保護數據完整性的具體確切的方法，但是Windows Server 8開發者預覽版的指南中提到，該操作系統“利用校檢和、一致性和標識確認來確保數據的完整性”。此外，這個操作系統還使用冗余來防止某些類型數據塊的數據流失。

　　帶寬優化

　　正如之前提到的，Windows Server 8將實現已存儲數據和傳輸中數據的重復數據刪除。重復數據刪除技術和之前描述的要整合到分支緩存中的那些技術一樣，這些技術最小化通過WAN連接傳輸的數據量。自帶的重復數據刪除功能將保留大量的存儲空間，同時它不會對文件系統的性能造成不良影響。