Computer, Netzwerke, Service
für Firmen

Unser Schwerpunkt liegt im Bereich Vernetzung, Routing, VPN, Netzwerkadministration, Softwareadministration, Virtuelle Umgebungen und Dienstleistungen wie IT-Sicherheitskonzept und externer Datenschutzbeauftragter.

Wir beraten Sie individuell und finden Ihre passende Lösung.
Unsere Kunden sind unsere Partner.

 

  • Enterprise Datacenter Backupserver (PBS) (Open Source)
    zur Sicherung von VM, Containern und physischen Linux Hosts, auch mehrere Proxmox VE Hosts
    (Incrementell, File-Restore, Deduplizierung, Checksum, Verschlüsselung, Remote Datastore Synchronisation)
  • Client-/Server, empfohlen als getrennter Server
  • PBE läßt sich auch auf (größeren) Synology NAS als VM (Virtual Machine Manager) einrichten
  • Tape Backup: LTO-Unterstützung, Aufbewahrungsrichtlinien, Bandbibliotheken, Barcode
  • PBE einrichten: https://pbs.proxmox.com/docs/installation.html
    • erste HD für System (32 GB)
    • zweite HD für Backups
    - Qemu-Client anhaken oder nachinstallieren
  • WEB-GUI: https://<ip-or-dns-name>:8007 (alternativ CLI und REST API)
  • ggf. Subscription für Enterprise-Repository, sonst Administration -> Repositorys  (Enterprise deaktivieren, No-Subscription Repo hinzufügen)
  • Updates über Administration -> Updates
  • SMTP-Maileinstellungen über Postfix als MTA (Konfig. per CLI)
  • PBS mit Proxmox VE verknüpfen:
    • PBS: Speicher / Initialisiere Disk(2), Erstelle ZFS, Name: backup-pool, ggf. RAID, erstellen -> Pool erscheint unter Datastore
    • Proxmox VE: Rechenzentrum / Storage -> Hinzufügen -> Proxmox Backup Server
      ID= backup-pool, Server= IP, Benutzer= root@pam, Knoten= auswählen (mehrere Server möglich), Datastore=backup-pool, Fingerprint aus PBS Dashboard
      -> unter Storage erscheint der backup-pool des PBS
    Nun kann der Backup-Server direkt aus dem Proxmox VE gesteuert werden.
  • Hinweis: Backups funktionieren nur, wenn der Qemu-Guest läuft!
  • Hinweis: PBS kann nicht auf Storage des PBS gesichert werden!
  • Hinweis: Bei ausgeschalteten VMs schlägt Snapshot-Backup fehl.
  • Backup manuell: VM wählen -> Backup -> Backup starten -> Storage=backup-pool (Typ: pbs)-> Backup starten
  • Backup automatisch: Rechenzentrum -> Backup -> Hinzufügen: Zeitplan, VMs, Storage wählen  (PBS nicht auf Storage des PBS!)
  • Backup kann nun beliebig zurück gespielt oder per Dateiwiederherstellung geöffnet werden

  • Backup auf NAS / NFS:
    • NAS: NFS-Freigabe + Nutzer anlegen (Synology: Squash Benutzer zu Admin)
    • Proxmox PBE:
    - mkdir -p /mnt/backup-nas  - erstellt permanenten Mountpount für NAS
    - mount <ip>:/volume1/backup /mnt/backup-nas  - mountet NAS in o.g. Mountpoint
    - Kontrolle mit df -h

    - nano /etc/fstab - neue Zeile für autmat. Mounten nach Neustart einfügen:
      "<ip>:/volume1/backup /mnt/backup-nas nfs defaults 0 0"
    - reboot PBS
    - Kontrolle mit df -h
    • PBS: Datastore 'backup-nas' hinzu fügen: Backup-Pfad= /mnt/backup-nas, Prune-Options setzen
    Proxmox VE: Add Proxmox Backup Server (wie oben), Datastore= backup-nas
  • PBS: Verifizierungs-Job für jeden Datastore erstellen, überprüft Backups nach Zeitplan

Backup auf NAS ohne Proxmox Backup Server
Direktes Backup von Proxmox VE ist einfach einzurichten, kann allerdings keine Dateiwiederherstellung, Incrementials oder Deduplizierung.

  • Backup auf NAS / SMB oder NFS:
    • NAS: SMB3 oder NFS-Freigabe + Nutzer anlegen
    • Proxmox VE: Rechenzentrum -> Storage -> Hinzufügen: SMB/CIFS oder NFS, Freigabe eintragen, Inhalt: VZDump Backup-Datei

Links:

  • Hardware:
    • ZFS nutzt per Defaul 50% des RAM als Cache (->viel RAM!)
    • keine Consumer SSD/NVME verwenden, weil deren Cache zu gering ist und sie zu viel beschrieben werden
    • RAID-1 oder RAID-10 für VMs nehmen
    • Hardware-RAID Controller ist für ZFS nicht geeignet
    • Booten von Software-RAID (ZFS) ggf. über HBA
    • ZFS hat keine Schreiblücke und benötigt keinen Akku-gepufferten Cache
    • NVME-Cache bringt viel

  • HD-Seriennummern und Slots notieren! (falls RAID ausfällt)
  • Installer: Optionen: ZFS-RAID + HDs wählen, HD-Size für System festlegen (100GB), ashift= 12 (immer)
  • "Preserve Datastore" wie VMWare hat Proxmox nicht
  • Proxmox erstellt 3 Partitions (cfdisk /dev/sda): Legacy BIOS Boot (1MB), EFI Boot-System (512MB), ZFS/Proxmox-RAID 'rpool' (Rest bzw. Setup:HDSize)
    Partition 1 und 2 sind kein RAID!  (UEFI-Partition nach jedem größeren Update synchronisieren)
    Partition 3 (ZFS-RAID) /dev/sda3 und /dev/sdb3 kann nicht direkt booten
    • Boot-Loader auf allen Boot-Partitionen synchronisieren:
    • update-grub  - Aktualisierung der Grub Loader
    • grub-install /dev/sdb  - Installation des Grub-Loaders auf Laufwerk sdb
    • update-initramfs -u  - aktualisiert die Grub-Infos auf diesen HDs

    ZFS RAID-1:

    >>cfdisk  (sda, ZFS)

    >> lsblk  (sda und sdb)


  • Proxmox WEB-GUI: <ip>:8006
  • Proxmox SSH-Konsole: ssh root@<ip>

  • zpool status - zeigt RAID-Status  (ZPOOL ist der RAID-Teil von ZFS)
  • neuen Pool erstellen: einfach über Proxmox-GUI  (Mirror, shift=12), leere Partitionen auswählen (mit cfdisk erstellen)
  • pool list - zeigt Pool- Fragmente, Deduplizierung, (CAP soll nicht über 80% gehen!) - ggf. Autosnapshoots verkleinern
  • zpool set autotrim=on rpool  - Autotrim anschalten! Wichtiger Platz- und Leistungsgewinn.
  • zpool trim rpool  - führt TRIM manuell aus, nur zur Kontrolle, Anzeige mit zpool status
  • cd /dev/disk/by-id/ -> ls zeigt HDs mit Seriennummer und logischem Name (Bsp: sdb3), wichtig bei HD-Defekt
  • Datacenter / Storage / lokal-zfs: Blocksize 4k unbedingt auf 16k + ThinProv. ändern, sonst ist Overhead riesig
    - jede danach angelegte VM bekommt per Default 16k - Blöcke
  • zfs list  - zeigt Partitionen + Mountpoints

    • /rpool/ROOT/pve-1  = '/' = Proxmox-Partition
  • E-Mail Alarmierung ist rudimentär (Postfix), besser Monitoring  (CheckMK-Plugins)
  • Vollständige Conf einer VM: cat /etc/pve/quemu-server/101.conf
  • Windows gibt gelöschten Speicherplatz deutlich verlangsamt wieder frei -> SSD-Trim (HD -> Tools -> Optimieren) regelmäßig planen
  • Proxmox-User mit Two Factor -> TOTP absichern
    • PAM-User sind lokale Linux-User (meiste besser)
    • Proxmox-User sind User des Proxmox Datastore
  • ssh-keygen  - Schlüsselpaar erzeugen

    Snapshots
  • Tip bei ZFS: Bashclub-ZFS Postinstall-Script ausführen, wechselt auf no-subscription-repository, installiert Tools, konfiguriert Cache, Autosnapshots, Config-Backup, Systemaktualisierung  (Swap ab 95%, Mailer, Snapshots festlegen!! [Monate - Wochen - Tage - Viertelstunden], blocksize=16k)
  • danach: GUI Updates Refresh / Rebooten
  • Autosnapshot vererbt sich per Default
  • zfs set com.sun:auto-snapshot=false <VMSTORE>  - Dateisystem nicht AutoSnapshoten
  • zfs set sync=disabled rpool  - SYNC ausschalten
  • zfs set com.sun:auto-snapshot=true <VMSTORE>/<VM>  - nur einzelne VM SnapShoten
  • zfs list -t snapshot (zfs get written) - listet alle Snapshots auf
  • zfs list -t snapshot | grep pve-1  - listet alle Snapshots der Proxmox-Partition auf
  • Snapshots per cd anzeigen: /VMSTORE/<VMNAME> cd /.zfs/snapshot/ → ls -alh
  • zfs rollback -r rpool/ROOT/pve-1@zfs-auto-snap_hourly-2023-05-27-1158  -> Rollback des angegebenen Snapshots
    so kann Proxmox und jede einzelne VM wieder hergestellt werden
  • sollte sich auch die VM-Konfig geändert haben, extra /pve/ Snapshot holen. PBE Backup Server sichert auch die VM-Konfig.
     
  • Proxmox Update: niemals via apt upgrade!! Nur über Proxmox-GUI oder so:
    • apt update  (Paketquellen updaten)
    • apt dist-upgrade  (Pakete mit ihren Abhängigkeiten installieren)
    • REBOOT nach jedem Kernel-Update
  • Upgrade v7 -> v8 geht nicht über GUI

  • ZFS-RAID löschen:
    zfs list  - zeigt Pools
    zpool desroy <pool>
    nano /etc/pve/storage.cfg  - Eintrag löschen

    RAID-Cache mit schneller SSD oder NVM (sdc) erstellen
  • es können mehrere Cache Laufwerke pro Pool angegeben werden
  • zpool add -n hd-pool cache sdc sdd
  • zpool iostat -v 1  - zeigt Befüllung des Cache

    Fehler: 1 ZFS RAID-HD (bsp: sda) gestorben oder ich will 2. HD zufügen
  • RAID ist degraded, man merkt das nicht (Monitoring!!)
  • zpool status zeigt RAID-Status (degraded)
  • HD/SSD wechseln (darf auch größer sein)
  • zpool set autoexpand=on rpool  - schaltet Autoexpand an
  • sgdisk /dev/sdb -R /dev/sda  - überträgt (repliziert) Partitionen von sdb auf sda
  • lsblk  - zeigt Partitionen an
  • cfdisk /dev/sda  - wenn neue HD sda größer ist, Proxmox-Partition sda3 resizen auf volle HD-Größe
  • sgdisk -G /dev/sda  - erstellt neue GUID für die neue HD
  • proxmox-boot-tool clean  - entfernt ID der defekten HD aus der Bootkonfig
  • proxmox-boot format /dev/sda2  - formatiert Boot-Partition mit Windows Dateisystem (sda1 + sda2)
  • proxmox-boot-tool init /dev/sda2  - überträgt Bootpartition auf neue HD
  • proxmox-boot-tool status  - gelegentlich prüfen, muß wieder 2 HDs zum Booten haben
  • zpool status   - zeigt immer noch, dass rpool DEGRADED ist (HD REMOVED), d.h. neue sda3 hat noch keine Daten
  • (zpool replace rpool sda3  - Daten werden auf neue Partition repliziert)
  • zpool attach rpool sdb3 sda3  - füge neue HD sda3 zum rpool hinzu
  • zpool status   - jetzt Online, resilvering
     
    Notfall-Recovery bei defektem Proxmox Bootsystem
  • Intallation Proxmox von CD auf beliebigen anderen Datenträger ohne ZFS inst. (sonst hätten wir 2x RPOOL) (gute Datenplatten raus ziehen)
  • zfslist  - keine Volumes da   (HD wieder rein)
  • zpool import -fa  - importiert alle ZFS-Pools
  • Kopieren storage.cfg, quemu-server (/rpool/pveconf/)
  • System läuft (ohne SSH-Keys, Autosnapshot usw)
  • siehe auch Thomas Krenn WiKi

    neue HD hinzufügen, ohne die Alte zu löschen (Backup o.ä.)
  • zpool attach rpool sdb3 <neue HD>  - statt REPLACE kann man mit ATTACH weitere HDs hinzufügen
  • zpool status  - zeigt dann 3 HD im RAID an
  • nun kann man 1 HD entnehmen und aus dem RAID entfernen:
  • zpool detach rpool sdb3  - löscht HD aus RAID-Konfig
  • proxmox-boot-tool clean  - entfernt ID der entfernten HD aus der Bootkonfig
  • bootet man jetzt nur von der entnommen sdb, würde sie immer noch melden dass die beiden anderen HD fehlen

    VM erstellen:
  • virtuelle Hardware nicht E-1000 (1GB) o.ä., sondern virtuelle Proxmox-Hardware mit 100 GB/s nehmen!
    Storage local -> ISO-Images -> Download from URL
    Suche: proxmox windows drivers stable -> Download-Link kopieren in URL oben, Query URL -> lädt virtio-win.iso (Treiber-CD)
    (https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/virtio-win.iso)
    • Windows7: virtio-win-0.1.173-4.iso
  • Disk Device: SCSI mit 'VirtIO SCSI single' Controller, Discard + SSD-Emulation +IO thread anhaken, no Cache
  • CPU Type = host (außer wenn man den Host wechseln will), Machine= Q35, (Version= 5.2 ggf zuverlässiger)
  • Quemu anhaken, vergl. VMWare Tools, UEFI Boot
  • Network = VirtIO (paravirtualized), vmbr0 ist Default Bridge
  • CD1 = Boot-OS
  • CD2 = virtio-win.iso
  • Windows Installation findet keine Festplatte -> Treiber laden -> vioscsi -> win10
  • von CD virto-win.iso 'virto-win-guest-tools' installieren -> installiert alle fehlenden Treiber
  • QEMU Guest Agent installieren
    • Windows: virto-win.iso, Verzeichnis guest-agent
    • Linux: apt-get install qemu-guest-agent , systemctl start qemu-guest-agent
  • im Host Qemu Guest aktivieren: qm set <vid> --agent 1
    Test: qm agent <vid> ping

    Hochlastige VM optimieren, Auslagerungsdatei ohne Snapshot
  • powercfg -h off  - Hyperfil off
  • zfs create -o com.sun:autosnapshot=false rpool/swap  - erstellt Verzeichnis, in dem keine Autosnapshots gemacht werden
  • Proxmox Datacenter -> Stoarage -> Add -> ID: rpool-swap, ZFS-Pool auswählen, Content= Disk Image, 16k Block Size
  • VM -> Hardware -> Add HD -> Bus: SCSI, Storage: rpool-swap, Size: 8GB, SSD-Emulation, Discard
  • Windows Datenträgerverwaltung: Datenträger initialisieren, LW-Buchstabe
  • Windows Systemeigenschaften -> Leistungsoptionen -> Auslagerungsdatei ändern in Swap-LW

    ZFS-HD einer Windows-VM vergrößern
  • HD in Proxmox vergrößern: VM -> Hardware -> Harddisk -> Disk Action: Resize
  • in Windows hindert die Widerherstellungspartition am Vergrößern von LW C:
  • Proxmox: lsblk, Widerherstellungspartition identifizieren
  • cfdisk /dev/cd16
    Windows RE (546MB) löschen (nicht hier Resizen!)
  • HD in Windows Datenträgerverwaltung vergrößern
  • ggf. in /etc/pve/quemu-server/100.conf anpassen, sonst wird das weiter falsch angezeigt

    Backup-Strategie:
  • /etc/cron.daily (Cronjob)
  • VM herunter fahren (qm shutdown...)
  • Snapshot
  • VM starten
  • Snapshot weg sichern (repl)
  • PBS ermöglicht Backup ohne Shutdown
  • keine Backups, Hyperfil oder Auslagerungsdatei auf produktive Volumes legen (mit Snapshot)
  • keine Backups auf "Local-Store" legen, denn das ist der PVE

    Backup Replication einfach und trojanersicher (SysOps) mit pull, geht auch remote in LAN/WAN
  • zfs create -o com.sun:autosnapshot=false backup/repl (data, clone, rpooldata)  - auf neuem Volume anlegen
  • zfs set com.sun:autosnapshot=false backup  - ganzer Datenträger ohne Autobackup
  • gihub.com bashclub: bashclub-zfs-push-pull  -> Link kopieren
  • git clone <link>  - installiert
  • chmod +x 02pull bashclub-zfs  - ausführbar machen
  • cp bashclub-zfs /usr/bin/  - kopiere an bessere Stelle
  • nano 02pull - editieren
    Scriptpaht='/usr/bin'
    Sourcehost='localhost'
    DestPath='backup/repl'
  • Trojanersicher ist das initiiert vom Remote Backup Server aus. Auf den Systemen läuft zfs send / zfs receive mit Prüfsumme.

    VMs importieren
  • vmdk, vhdx, raw, qcow2 > mounten im Original nach mnt/pve/nfsstore
  • zvols, lvm, usb, hdd, ssd (phys. Geräte)
  • qm importdisk 100 /mnt/hypervfreigabe/dc.vhdx local-zfs  - importiert und konvertiert automatisch
  • ESX.vmdk von Proxmox Shell aus importieren
  • Disk als IDE-LW hinzu fügen
  • physische Systeme: mit VMWare Converter oder Clonezilla Festplatten erzeugen
  • VM in Proxmox neu einrichten, HDs hinzu fügen
  • VMWare Tools deinstallieren
  • virtio-win.iso installieren, QUEMU-Guest installieren

    Varainte 2: Übernahme von VMs aus VMWare:
    1) VMWare: Export als OVF
    2) Proxmox CLI:
    qm importovf 100 (nächste freie ID....mit doppel TAB erscheint diese automatisch) vm_export.ovf vm_hdd (Speicher von Proxmox für die VM)
    qm set 100 --bios ovmf
    sed -i 's/scsi/sata/g' /etc/pve/qemu-server/100.conf
    (Die 100 jeweils durch die entsprechende VM ID ersetzen)

    Variante 3: Clonezilla
  • clonezilla Empfangsmodus auf neu erstellter, leerer VM
  • clonezilla booten auf PC

    Variante 4: Proxmox Import Agent (neu 2024)
  • importiert ESX Host v.6.5 - v.8
  • https://forum.proxmox.com/threads/new-import-wizard-available-for-migrating-vmware-esxi-based-virtual-machines.144023/

    Proxmox - Cluster
  • Cluster synchronisiert /pve/ Konfigurationen
  • fügt 2 oder mehr Proxmox-Hosts zu einer Oberfläche hinzu (2 Instanzen bilden "Mehrheit")
  • mit SAN können VM im laufenden Betrieb verschoben werden
  • Achtung: VMs dürfen keine gleichen Namen (101) haben! Am Besten leeren Host hinzu fügen.
  • https://pve.proxmox.com/wiki/Cluster_Manager

Links:


Am 22. Juni 2017 verabschiedet der Bundestag ein weitreichendes Überwachungsgesetz.
Um Geräte hacken zu können, müssen staatliche Stellen Schwachstellen schaffen oder ausnutzen oder gar auf dem Schwarzmarkt erwerben.
Das Interesse, Sicherheitslücken öffentlich zu machen oder für deren Beseitigung zu sorgen, wird somit auf staatlicher Seite gegen Null tendieren.



HTTPS stellt eine Transportverschlüsselung der Daten vom Browser des Nutzers zum Webserver dar.

Besonders bei Übertragung von Passwort- oder Pineingaben ist das ein großer Vorteil, aber es schützt auch weitgehend vor Abhören des Datenverkehrs in offenen WLANS oder im Internet.

Google favorisiert HTTPS-Seiten seit Ende 2016 durch ein besseres Ranking der Suchmaschine.

Anfang 2017 macht auch Firefox ernst und warnt recht deutlich bei Passwort-Eingabefeldern ohne HTTPS-Verschlüsselung.

Das ist im Intranet ausgesprochen sinnlos, und im Internet verunsichert es die Anwender.

Seitenbetreiber stellen also zur Zeit gezwungenermaßen massenweise ihre Seiten um.
Und das geht nicht ohne Komplikationen ab.



Das Downgraderecht ist ein Endkundenrecht und wird in den Endkunden-Nutzungsbedingungen geregelt.
Für die Windows 10 Lizenzierung über OEM (vorinstalliert oder Systembuilder) greifen diese Bedingungen.

Zur Durchführung des Downgrades werden ein Datenträger sowie ein passender Aktivierungskey benötigt.
Weder Microsoft noch seine OEMs sind dazu verpflichtet diese zu liefern.
Der Kunde kann vorhandene Datenträger und Keys verwenden oder sein Systemhaus hilft bei der Bereitstellung.

Bis zum 31. Oktober 2016 ist der OEM berechtigt, neue Hardware mit Windows 10 Lizenz und vorinstalliertem Downgrade auf Windows 7 oder Windows 8.1 bereitzustellen. Dieses Recht endet nach diesem Termin.
Zeitgleich gehen Windows 7 und Windows 8.1 als Lizenz, vorinstalliert durch den OEM, End of License.
Mit anderen Worten: Ab dem 1. November 2016 kann ein OEM neue Hardware ausschließlich mit Windows 10 Lizenz und Windows 10 Installation ausliefern.

Das Endkundenrecht zum Downgrade, wie oben beschrieben, bleibt davon unberührt und ist auch nach dem 31. Oktober unverändert möglich.



Mit den Enthüllungen der letzten Jahre hat sich die Sicherheitsbewertung der gesamten IT grundlegend geändert.

Geheimdienste verletzten deutsche Gesetze, um auf jedem Weg an Wirtschafts- und Personendaten zu gelangen.
Deutsche Firmen und Behörden tauschen Daten mit ausländischen Geheimdiensten auch außerhalb der EU.
Internetknoten und Smartphones werden angezapft und alle Daten verdachtslos abgegriffen.
Amerikanische Firmen und selbst deutsche Firmen mit amerikanischen Töchtern unterliegen dem Patriot Act und müssen im Prinzip alle Daten preis geben, selbst wenn diese auf europäischem Territorium liegen.
Weit verbreitete Schaltkreise, die zur Verschlüsselung dienen, erstellen Ihre Ergebnisse nach einem der NSA bekannten Muster.
Diverse Verschlüsselungsverfahren wurden sogar von der NSA „standardisiert“.

Das bedeutet, dass die Datensicherheit mit den herkömmlichen Mitteln nicht mehr in gewohnter Weise und vollem Umfang gewährleistet ist.
Vollständiger Zugriffsschutz ließe sich nur erreichen durch:
- Konsequente Vermeidung von nichteuropäischen Betriebssystemen, Anwendungssoftware und Hardware. Ersatz durch deutsche, europäische oder Open-Source-Lösungen, bei denen die Quelltexte offen liegen.
- Datenverschlüsselung mit Open-Source Lösungen im LAN, beim Backup und bei allen Daten, die das Haus verlassen.
- Trennung der Netzwerke.

Diese Forderungen sind kaum realistisch.