Rettung eines deutschen Unternehmens und seines SAN-Servers

Wie Recoveo an einem Wochenende 4,8 TB Daten auf einem RAID 5 (HP vSAN) gerettet hat

RAID 5 stark degradiert, Backup-Server ausgefallen, HP LeftHand vSAN außer Betrieb. Erfahren Sie, wie die Experten von Recoveo die Infrastruktur logisch rekonstruierten und in weniger als 2 Tagen nahezu 100 % der Daten wiederherstellten.

Als plötzlich alles gleichzeitig ausfiel

Ende letzter Woche kontaktierte uns eine öffentliche Einrichtung im Rahmen des Bereitschaftsdienstes wegen eines seltenen Falls: ein stark degradiertes RAID 5, ein ausgefallener Backup-Server und eine kritische virtuelle Infrastruktur, die nicht mehr verfügbar war. Innerhalb weniger Stunden war die gesamte auf virtuellen Maschinen basierende IT-Infrastruktur nicht mehr verfügbar. Es bestand ein erhebliches Risiko für Datenverlust und einen länger andauernden Betriebsstillstand. Mehrere auf Virtualisierung spezialisierte Dienstleister waren bereits ohne Erfolg hinzugezogen worden.

2 RAID 5 des Produktionsservers und 1 RAID 5 des Backup-Servers ausgefallen

Das erste Problem: Ein RAID 5 des Backup-Servers bestand aus 6 Festplatten, von denen nur noch 4 funktionsfähig waren. Für eine klassische Rekonstruktion wären jedoch mindestens 5 funktionierende Festplatten erforderlich. Zwei Festplatten waren mechanisch ausgefallen. Die darauf gespeicherten Daten waren somit nicht lesbar. Anschließend stellte sich heraus, dass der Produktionsserver auf zwei RAID-5-Systemen basierte. Von den insgesamt 12 Festplatten war eine ausgefallen und eine weitere begann auszufallen. Mit 11 von 12 Festplatten konnten wir eine Wiederherstellung durchführen. Die Ursache lag jedoch nicht in einem mechanischen Festplattenausfall, sondern in einem Problem bei der Verarbeitung und Interpretation der Daten. Die Situation stellte sich somit wie folgt dar:

Wir konnten das RAID mit unseren klassischen Wiederherstellungsmethoden rekonstruieren, der Hauptserver blieb jedoch mit unseren üblichen Tools unbrauchbar.
Der Backup-Server erwies sich als nicht funktionsfähig für eine herkömmliche Rekonstruktion.

In einer Produktionsumgebung kann ein solches Szenario den vollständigen Stillstand des Betriebs über mehrere Tage oder sogar länger bedeuten, wenn keine Lösung zur Datenwiederherstellung verfügbar ist.

Eine komplexe Infrastruktur: RAID 5, HP LeftHand vSAN und VMFS

Der Kunde übergab uns daher die Komponenten seiner Infrastruktur:

Einen Server mit 2 RAID-5-Systemen und VMFS, auf denen sich VMDK-Dateien befanden,
diese VMDK-Dateien enthielten ein spezielles und seltenes System: HP LeftHand (vSAN).

Zur Erinnerung: Bei diesem doppelten RAID 5 wies jedes der beiden RAID-Systeme mindestens eine defekte Festplatte auf: Bei einem lag ein mechanischer Defekt vor, beim anderen mehrere fehlerhafte Sektoren. Unsere Aufgabe: den Zugriff auf die virtuellen Volumes und die darauf gehosteten virtuellen Maschinen wiederherzustellen, obwohl kein nutzbares Backup vorhanden und die Speicherstruktur selbst noch intakt war. Nach der Analyse gelang es unseren Teams, 4 VMFS-6-Volumes mit jeweils etwa 1,2 TB zu extrahieren. Dies entsprach insgesamt nahezu 4,8 TB nutzbarer Daten, darunter rund 20 virtuelle Maschinen.

Eine maßgeschneiderte Softwareentwicklung zur Neuordnung der Datenblöcke

Die Besonderheit dieses Falls: Eine Softwarereparatur mit klassischen Tools aus der Datenrettung oder eine herkömmliche vSAN-Rekonstruktion war nicht möglich. Um auf die Daten zugreifen zu können, mussten wir über unsere üblichen Tools hinausgehen. Die Recoveo-Ingenieure entwickelten eine spezielle interne Software, die Folgendes ermöglichte:

Die logische Verteilung der Speicherblöcke zu rekonstruieren
Die aus dem vSAN stammenden Blöcke neu zu organisieren
Den VMFS-Volumes wieder eine nutzbare Konsistenz zu verleihen, um die VMDK-Dateien wieder zugänglich zu machen.

Dieser Ansatz der fortgeschrittenen Software-Rekonstruktion war der Schlüssel zum Erfolg bei diesem äußerst seltenen Fall. Dadurch konnten die fehlende logische Interpretation durch den Server und das Fehlen der ursprünglichen Konfiguration des Kunden kompensiert werden.

Ein dringender Einsatz: von Freitagabend bis Sonntagmittag

Angesichts der Auswirkungen auf den Kunden wurde der Einsatz außerhalb der regulären Arbeitszeiten, abends und am Wochenende durchgeführt:

Beginn der Arbeiten: Freitag um 21:07 Uhr
Analyse, Entwicklung des Tools, logische Rekonstruktion und Datenextraktion
Übermittlung des Wiederherstellungsberichts: Sonntag um 13:46 Uhr

In weniger als 2 Tagen außerhalb der regulären Arbeitszeit verfügte das Unternehmen über:

die Liste der wiederherstellbaren Daten,
die für die Wiederaufnahme des Betriebs erforderlichen virtuellen Maschinen,
die Datenträger, die von den eigenen Teams wieder in die Infrastruktur integriert werden konnten.

Die Erfolgsquote lag bei 100 %, insbesondere bei den VMs, deren Wiedereinbindung in die Infrastruktur der Kunde selbst übernehmen wollte.

Auswirkungen für den Kunden: Wiederaufnahme des Betriebs in Rekordzeit

Ohne diese Wiederherstellungsmaßnahme hätte der Kunde mit folgenden Konsequenzen rechnen müssen:

Einem vollständigen Verlust seiner virtuellen Maschinen,
einem nicht wiederherstellbaren Backup-Server,
einer schwer einzuschätzenden Ausfallzeit und entsprechenden Kosten, die potenziell lang und erheblich gewesen wären.

Dank dieses Einsatzes:

Die kritischen Daten wurden in weniger als 2 Tagen wiederhergestellt und innerhalb von weniger als 4 Tagen zurückgegeben,
die vollständige Anzahl der VMs konnte nach Bestätigung durch den Kunden unmittelbar nach Erhalt von diesem wieder in die Infrastruktur integriert werden,
die öffentliche Einrichtung konnte ihren Betrieb so schnell wie möglich wieder aufnehmen, sobald ihre Daten durch den eigenen IT-Service integriert worden waren.

Dieser Fall hat deutlich gezeigt, welchen Unterschied eine fortgeschrittene Software-Rekonstruktion machen kann, wenn keine klassische Wiederherstellungslösung möglich ist.

Was wir aus diesem Erfolgsfall mitnehmen

Ein äußerst seltener Fall, bei dem ein degradiertes RAID 5, ein ausgefallenes Backup und ein komplexes vSAN zusammentrafen. Das RAID begann auszufallen: 2 von 12 Festplatten waren fehlerhaft, davon eine vollständig ausgefallen.
Eine maßgeschneiderte Software-Rekonstruktion, um die Speicherblöcke neu zu organisieren und auf die VMFS-Volumes zuzugreifen.
4,8 TB nutzbare Daten wurden wiederhergestellt, darunter rund 20 virtuelle Maschinen.
Ein Einsatz von Freitagabend bis Sonntagmittag mit einer Gesamterfolgsquote von 100 %.

Bei Recoveo bestätigt dieser Fall, wie wichtig es ist:

Bereits bei den ersten Anzeichen schnell Spezialisten hinzuzuziehen,
auf interne F&E- und Softwareentwicklungskompetenzen zu setzen, um auch die kritischsten Fälle bewältigen zu können.

Stehen Sie vor einem degradierten RAID 5, einem nicht erreichbaren vSAN oder nicht zugänglichen virtuellen Maschinen? Kontaktieren Sie unsere Teams, bevor Sie Änderungen vornehmen: Eine schnelle Diagnose kann den Unterschied zwischen einer vollständigen Wiederherstellung und einem endgültigen Datenverlust ausmachen.