Lightning: Warum mein Homelab schrumpft

 | 449 Wörter


Ahoi,

in den letzten Jahren habe ich viel Zeit damit verbracht, mein Homelab zu pflegen und auszubauen. Angefangen hat alles mit einem N40L und nun stehen hier mehrere DIY Server! Ich habe festgestellt, dass man sich in der Faszination schnell verlieren kann. Seitdem ich Linux und co. auch professionell einsetze, führt das Hobby zu einem Ungleichgewicht. Ich habe meine Perspektive geändert und das als Grundlage für den Umbau meines Homelabs genommen. So viel zur Motivation, aber wie ist eigentlich der Status quo?

#homelab #proxmox #truenas #sysadmin #life #opnsense #linux #lightning

In Cluster Umgebungen ist die Bereitstellung von Speicher eine zentrale Fragestellung. Die bekannten Enterprise Lösungen wie NetApp, PowerScale, Nimble und CEPH erfüllen zwar die Anforderungen aber spielen preislich keine Rolle für kleine und mittelständische Betriebe. Lizenzkosten von mehreren 50.000€ pro Jahr sind da keine seltenheit. Auch wenn CEPH an sich kostenlos eingesetzt werden kann, wird jedoch für eine sehr gute Performance ein großes Cluster (>5 Nodes) benötigt, womit es ebenfalls äußerst kostspielig ist.

Alternativen gibt es einige, viele basieren dabei auf DRBD (Distributed Replicated Block Device) welches wir uns heute anschauen wollen.

#docker #linux #linstor #drbd #drbd-reactor #cluster #persistent storage #persistent volume

Ahoi,

Ich bin derzeit dabei, den Grafana Agenten zur Erfassung von Telemetriedaten zu testen, welche über den LGTM Stack (Grafana, Loki, Mimir, Tempo und Prometheus) analysiert und überwacht werden.

Leider wurde der Support für ARMv6 eingestellt, auf den auch der Raspberry Pi zugreift. Glücklicherweise ist das offizielle Repository gut dokumentiert, sodass es relativ einfach ist, das aktuell stabile Release auch für meinen Raspberry Pi 4 zu kompilieren.

#linux #sysadmin
ZFS - Begrifflichkeiten und Erklärungen

 | 364 Wörter


VDEV

Ein virtuelles Gerät (virtual device, vdev) ist ein Verbund aus blockorientierten Geräten (LinuxWiki: Block-Device) welche zu einem (virtuellen) Gerät zusammengefasst werden.

Pool

Ein Pool umfasst ein oder mehrere vdevs, welche unterschiedlich konfiguriert (verschiedene RAID-Typen) sein können und ein paar globale Einstellunngen, welche auf alle enthaltenen vdevs zutreffen (deduplizierung, kompression uvm.).

RAIDZx

N = Anzahl FestplattenStripeMirrorRAIDZ1RAIDZ2RAIDZ3
Min. Festplatten12245
Fehlertolleranz0N-1123
Größe Parität0(N-1)/N123

Die Parität wird über alle Festplatten verteilt.

ARC - Lesecache im RAM

Der Adaptive Replacement Cache (https://www.usenix.org/legacy/events/fast03/tech/full_papers/megiddo/megiddo.pdf) wird von ZFS im RAM abgelegt und enthält häufig angefragten Daten. Demnach sollte der RAM im Hostsystem so groß wie möglich sein. Empfohlen wird ZFS nicht mit weniger als 32GB RAM zu verwenden. Im Detail kann dies jedoch je nach Anwendungsfall variieren.

L2ARC - Lesecache auf SSDs

Level-2-ARC ist eine Lösung für kleine Budgets oder besondere Anforderungen. Dabei wird ein Teil der Daten aus dem ARC, wenn dieser voll ist, in den L2ARC geschoben. Es sollte klar sein, dass ausschließlich enterprise ssds als L2ARC verwendet werden sollten, da es sonst zu einer überaus schlechteren Performance führen kann, als ohne L2ARC und vollem ARC. Stichwort: Latenz

ZIL / LOG - Schreibcache auf SSDs

Um sicherzustellen, dass ein Schreibvorgang abgeschlossen ist, wird jeder Vorgang nach Abschluss bestätigt. Sobald bspw. das Betriebssystem nach einem Schreibvorgang eine solche Bestätigung erhält, ist wohldefiniert, dass die geschriebenen Daten an der vorgegeben Stelle vorhanden sind.

Dieses verhalten führt aber zu Problemen bei Festplatten. Da die Latenz einer Festplatte (Signalweg, Bewegung Lese-/Schreibkopf etc.) sehr hoch ist, kann es bei vielen paralellen Vorgängen dazu führen, dass das Hostsystem im sogenannten “iowait” einfriert.

Als Antwort auf das Problem bietet ZFS die Möglichkeit, einen Schreibcache zu konfigurieren. Diese fängt alle Schreibvorgänge ab und muss immer schneller als der “echte” Pool aus (wahrscheinlich) Festplatten. Da der ZIL nur mit SSDs eingerichtet werden sollte, ist klar, dass durch die verringerte Latenz es zu wesentlich weniger iowait kommt.

Bei der Umsetzung sollte jedoch darauf geachtet werden, dass der ZIL immer als Mirror betrieben werden muss, die SSDs PLP besitzen und das Hostsystem über eine UPS verfügt. Da die Daten im ZIL noch nicht auf den Pool geschrieben wurden, würde es ansonsten bei einem Stromausfall oder Hard-reset zu Datenverlust kommen.

Prefetch

demnächst

Demand

demnächst

#linux #sysadmin #wiki #zfs
Nextcloud 25 selber hosten

 | 1268 Wörter


Ahoi,

schon seit Jahren setze ich auf Nextcloud als freie Alternative zu Google Drive, iCloud und OneDrive, doch meine Sammlung von 15 Jahren an Fotos zwang bisher jeden Managed Nextcloud Provider in die Knie. Also bleibt mal wieder nur, es in die eigenen Hände zu nehmen 💪

#docker #linux
Docker und Fedora 31

 | 369 Wörter


Ahoi,

da ich seit gut 2 Jahren Fedora auf meinem Laptop (XPS 9360) laufen habe und dieses einen Releasezyklus von 6 Monaten hat hat, gab es vor ein paar Wochen ein Upgrade auf die Version 31. Dabei habe ich in den Releasenotes „übersehen“, dass jetzt cgroups-v2 zum Einsatz kommen.

#docker #linux
IPv6 aktivieren bei Debian 9

 | 195 Wörter


Ahoi,

vor einiger Zeit schon habe ich eine Mail von OVH erhalten, dass für meinen VPS jetzt auch eine IPv6 Adresse zur Verfügung steht. Damals hatte ich keine Zeit/Lust mich darum zu kümmern, was ich aber heute geändert habe. Nachfolgend nur eine kleine Dokumentation zur Umsetzung.

#linux #networking
opencv3.4.2 und gocv.io unter Fedora 28

 | 303 Wörter


Ahoi,

da ich seit ein paar Tagen an einem Projekt in Go arbeite, wo ich viel mit Bilder hantieren muss, wollte ich das Rad nicht neu erfinden und OpenCV benutzen. Dabei bin ich auf das Projekt gocv.io gestoßen, welches bindings für Go bereitstellt.

#linux