Deduplizierung

~ 0 min
2022-12-02 13:42

Seit Windows Server 2012 ist die Funktion Datendeduplizierung enthalten. (Rolle: Datei- und Speicherdienst / Datei- und iSCSI-Dienste) Sie ist effektiver und robuster als das frühere Single Instance Storage.

Redundante Blöcke werden durch einen Verweis ersetzt.

Deduplizierung geht auch für Speicherpools und virtuelle Festplatten.

Es werden keine System- und Startvolumes unterstützt.

Die Verwendung der Datendeduplizierung für Dateien, die mit der DFS-Replikation repliziert werden, stellt keinerlei Probleme dar. Es werden nur die Teile der Dateien aktualisiert, die seit der letzten Replikation geändert wurden.

Verwaltung im Servermanager unter "Datei-/Speicherdienste -> Volumes".

Deduplizierung setzt NTFS voraus. Sie ist nicht kompatibel mit EFS, wohl aber mit Bitlocker.
Die Dateien liegen in "System Volume Information/Dedup/ChunkStore/", das sehr groß werden kann.
Komprimierte Volumes lassen sich nicht deduplizieren.

Plattenumbau: Deduplizierte Festplatten sind nur ab Windows 2012 mit Dedup-Treiber lesbar! Andere Windows-Versionen sehen nur die nicht deduplizierten Dateien.

Deduplizierung erhöht das Risiko für Datenverluste. Wenn ein Fragment, das von 500 Dateien referenziert wird, in einem schadhaften Bereich einer Platte liegt, dann sind die Auswirkungen wesentlich gravierender als bei einem gewöhnlichen NTFS-Volume. Daher speichert die Dedup-Funktion Blöcke redundant, wenn sie in mehr als 100 Dateien vorkommen, und hält außerdem Kopien der kritischen Metadaten vor, in denen die Verweise verwaltet werden.

Nachdem ein Volume für die Deduplizierung aktiviert wurde und die Daten optimiert wurden, enthält es:

  • Nicht optimierte Dateien (d. h. ausgelassene Dateien wie z. B. Systemstatusdateien, verschlüsselte Dateien, Dateien mit erweiterten Attributen, Dateien, die kleiner als 64 KB sind, und Analysepunktdateien – zuvor optimierte Dateien, die Zeiger auf die zum Erstellen der Datei erforderlichen entsprechenden Blöcke im Blockspeicher enthalten)

  • Optimierte Dateien (gespeichert als Analysepunkte)

  • Blockspeicher (die optimierten Dateidaten)

  • Zusätzlichen freien Speicherplatz (da die optimierten Dateien und der Blockspeicher sehr viel weniger Speicherplatz belegen als vor der Optimierung)

 

Wenn die Rolle installiert ist, wird das Befehlszeilentool "ddpeval" mit installiert. (/Windows/System32/)

Das Tool bereinigt nicht, sondern zeigt nur den Status an.

Es kann auch unter Win7 / Win8 / Server 2008R2 ausgeführt werden! DDPEVAL unterstützt lokale Laufwerke oder Netzfreigaben. (ddpeval \\NAS1\Daten)

DDPEVAL kann nur für Laufwerke benutzt werden, auf denen die Deduplizierung nicht aktiviert ist.


• Deduplizierung aufheben:

1. Deaktivierung der Dedup- Funktion für das Volume im Server-Manager.
2. Powershell: Get-DedupStatus X: - Wert OptimizedFiles -> zeigt die Anzahl der aktuell deduplizierten Dateien und gesparten Speicherplatz
3. Powershell: Start-DedupJob -Volume X: -Type Unoptimization - Aufheben der Duplizierung, Kopien werden wieder einzeln gespeichert
4. Powershell: Get-DedubJob -Volume X: - zeigt den Status des Jobs. Wenn Job fertig, erfolgt Fehlermeldung.
5. Feature Deduplizierung erst nach vollständigem Durchlauf entfernen. 

Powershell - Kommandos:

  • Get-DedupVolume  -> zeigt alle Laufwerke mit aktivierter Deduplizierung und den Status
  • Start-DedupJob -Volume "e:" -Type Optimization  -> startet Deduplizierung manuell sofort
  • Start-Dedupjob -Volume X: -Type GarbageCollection  -> Chunks mit mehr als 5% unreferenzierten Daten entfernen
  • Start-DedupJob "X:" -Type GarbageCollection -full  -> Chunks und alle unreferenzierten Daten entfernen
  • Start-Dedupjob -Volume X: -Type DataScrubbing  -> Check the integrity of the remaining chunks
  • Start-DedupJob "X:" -Type Scrubbing  -> Fehler die während der Dedup auftraten reparieren
  • Start-DedupJob "X:" -Type Scrubbing -full  -> Fehler die während des Dedup auftraten reparieren und die Datenintegrität überprüfen
  • Get-DedubJob -Volume X:  (Monitoring des Jobs)

Deduplizierungs-Fehler beseitigen: https://www.escde.net/blog/datendeduplizierung-chunkstore-wird-sehr-gross

Durchschnittliche Bewertung 0 (0 Abstimmungen)

Es ist möglich, diese FAQ zu kommentieren.