Beide HA Speicheranbindungen funktionieren bei Proxmox immer mit einer Downtime beim Desaster Recovery.
Die Live Migration von VM ist möglich.

• 2-Node-Cluster mit ZFS

• Datacenter mit 2 Nodes + lokalen Storages (mehr als 2 Nodes -> CEPH)
• lokales File- und Block-Storage
• bessere Performance gegenüber CEPH (Zugriff lokal)
• asynchrone Verteilung auf alle Storage
• für Datenbanken nicht geeignet, besser DB-Cluster oder CEPH
• ZFS Pool muß auf beiden Storages identisch heißen -> Storage wird repliziert
  rpool = lokales System
  vm-pool = für VMs
• VM erstellen, dann Replication einrichten (Bsp. alle 5 min)
  -> Container wird in definierter Zeit repliziert
  -> HA wird pro VM definiert
    More (rechts) -> Manage HA -> HA aktivieren
• HA wartet 2 min. (Zeit fest!) bei Serververlust 
  -> dann startet VM auf 2. Host
  -> Downtime = 2 min. immer beim HA-Wechsel
• drittes Quorum erforderlich, Mehrheit hat gültigen Storage
  Quorum ist nur in Shell sichtbar (pvecm status)
• Datacenter: HA zeigt Status
• HA-Gruppen: Priorität des Hostes für VM definieren
• laufende VM können live zwischen den Hosts migriert werden
• laufende CT können nicht migriert werden

Installation:

• Management-Port fest auf IP legen
  - vmbr0 Config-Bridge löschen
• Corosync (Cluster-Netzwerk) direkt auf ein Interface legen
  2. Netzwerkkarte sinnvoll (ggf. GUI-Netz)
• falls möglich Ports bündeln
  - Linux Bond, Mode= LACP oder Balance
• Bond für Storage ohne Switch (performanter)
• VM-LAN: Linux Bridge vmbr0 -> Port oder Bond zuweisen
  (VLAN aware, keine IP)
• PVE1: Join Info kopieren
• PVE2: Join Cluster
  - Netzwerke wählen
• PVE3 für Quorum
  - Quorum auf Debian Mini-PC  (apt install corosync-qdevice)
  - physischer PBS-Server gut als Quorum geeignet

• Ceph

• verteilte open source Storage Lösung (File, Block, Object-Storage)
• bessere Redundanz und Datensicherheit gegenüber ZFS
• CEPH Latenz darf 9ms nicht überschreiten! 
• synchrone Verteilung auf alle Storage
• selbstheilend
• gutes Dashboard im PVE
• Update-Installation wie PVE Updates
• min. 3 Ceph-Server
  3x CEPH (immer ungerade Anzahl) Monitor für Quorum, Client-Management
  CEPH Manager (Monitoring-Daten, Schnittstelle für ext. Monitoring)
• min. 4x OSD (Datenträger) pro Cluster, gleiche Anzahl pro Host empfohlen
• läuft auf Standard-Hardware, keine Hersteller-Liste
• Subscription- (mit PVE Subscription) oder NoSubscription Updates 
• HDs zufügen / verschiedene HD-Größen / Hosts zufügen
• RADOS Block Device für PVE VMs
• PVE Client verhandelt mit CEPH und speichert auf einen Datenträger
  CEPH synchronisiert Daten selbständig auf (2) weitere Kopien
• CEPH wird über PVE pro Host installiert
• eigenes, performantes Netzwerk verwenden! (25 Gb/s) - nur Public Network, kein extra Cluster Network
  -> Full Meshed Network for CEPH (=keine Switche)
• CEPH Monitor für Host2 + Host3 nachinstallieren, Host1 wird automatisch installiert
• CEPH Manager für Host2 oder 3 installieren, 2x Manager genügt
• CEPH OSD = Datenträger, nur NVMe/ SSD, alle Datenträger pro Host hinzu fügen  (OSD zu phys. HD dokumentieren)
• CEPH Pools anlegen, Size=3 (Anzahl der Replikate), Min.Size=2 (sonst geht CEPH down)
• CEPH / DephFS: 3x Metadaten Server pro Host erstellen
• VM: Storage Move-to: CEPH-Pool
• CEPH / OSD: Global Flags (noaut usw.) setzen für Wartung