Die Herausforderung
Als die cloud-native-Plattform von adidas wuchs und Hunderte von Anwendungsteams über mehrere Kubernetes-Cluster hinweg aufgenommen wurden, stiegen auch die Kosten für die Cloud-Infrastruktur. Jedes neue Team und jeder neue Dienst erhöhte den Rechenbedarf. Im Laufe der Zeit wurde die Kluft zwischen den bereitgestellten und den tatsächlich genutzten Ressourcen immer größer. Die Cloud-Rechnung stieg, der Wert pro ausgegebenem Euro jedoch nicht.
Diese Lücke in der Größenordnung von adidas zu schließen, ist umfangreiches Unterfangen. Es erfordert ein Umdenken in der Zuweisung von Ressourcen, der Dimensionierung von Nodes und dem Umgang mit ungenutzten Kapazitäten über die gesamte Cluster-Flotte hinweg. Dies muss geschehen, ohne die Teams zu stören, die darauf angewiesen sind.
Warum Giant Swarm
Giant Swarm verwaltet die Cloud-Native-Infrastruktur von adidas seit 2017 – nicht nur als Anbieter, sondern als Erweiterung des Plattform-Teams, das die Plattform Seite an Seite aufbaut, skaliert und betreibt.
„Ich nenne unsere Cloud-Native-Plattform das 'Field of Dreams'. Die Jungs von Giant Swarm sind wirklich großartig und kennen sich in- und auswendig aus. Insbesondere im Bereich Container und Kubernetes und allem, was damit zusammenhängt, habe ich noch nie einen kompetenteren Partner getroffen.“
— Daniel Eichten, VP Enterprise Architecture, adidas
Als Cloud-Kosten zur Priorität wurden, musste adidas keine Ingenieure von der Produktarbeit abziehen oder einen neuen Partner von Grund auf einarbeiten. Giant Swarm kannte die Infrastruktur bereits in- und auswendig und verfügte mit Erfahrung aus dem Betrieb von über 150 Produktionsclustern in verschiedensten Branchen über die nötige Kubernetes-Expertise, um sie zu optimieren. Das Ergebnis: Optimierungen, die auf die spezifischen Workload-Muster und Einschränkungen von adidas zugeschnitten waren, ohne dass die Anwendungsteams mit einbezogen werden mussten.
Die Lösung
Ein gemeinsames Team von Giant Swarm und adidas Plattform-Ingenieuren ging das Problem mit vier automatisierten Maßnahmen auf Infrastrukturebene an, die vollständig auf Open-Source-Tools basierten. Alle vier wurden global mit einem Opt-out-Modell angewendet, sodass die Anwendungsteams die volle Kontrolle behielten.
Die vier Hebel:
- Intelligentes Node-Management: Karpenter wählt die richtigen Instanztypen aus und konsolidiert Workloads auf weniger, richtig dimensionierte Nodes
- Automatische Ressourcenoptimierung: Kyverno + VPA Policies passen CPU- und Speicherkapazitätsanfragen basierend auf der tatsächlichen Nutzung an und eliminieren Überdimensionierung, die sich im Laufe der Zeit unbemerkt ansammelt
- Geplante Skalierung: kube-downscaler reduziert Replicas außerhalb der Bürozeiten und gibt Compute-Ressourcen frei, die zuvor ungenutzt liefen
- Beseitigung von Optimierungsblockern: Kyverno Policies verhindern, dass falsch konfigurierte Pod Disruption Budgets halb leere Nodes am Leben erhalten
Jede Maßnahme läuft kontinuierlich und passt sich an, wenn sich Workloads ändern. Teams, die ein anderes Verhalten benötigen, melden sich mit einem einfachen Label ab.
Genutzte Technologien: Kubernetes, Security. Liefermodell: Vollständig gemanagt.
Die Ergebnisse
Das Team hat alle vier Maßnahmen in 3 Monaten umgesetzt. Die Wirkung war sofort spürbar:
- Bis zu 50 % Senkung der gesamten Cloud-Kosten in den Entwicklungs- und Staging-Umgebungen
- ~30% Einsparungen bei CPU und Speicher allein durch automatisierte Ressourcenoptimierung
- 2x Pod-Dichte pro Node – gleiche Workloads, halbe Infrastruktur
Die Cloud-Kosten sanken aktiv, während die Plattform weiter skaliert wurde, anstatt mit jedem neuen Team zu wachsen.
„Giant Swarm ist wegweisend für exzellentes Platform Engineering und ermöglicht es uns, uns auf das zu konzentrieren, was wirklich zählt.“
— Paul Vassu, VP Platform Engineering, adidas
Wie es weitergeht
Die Optimierungen für Nicht-Produktionsumgebungen sind nun über ein Opt-in-Modell auch für Produktionscluster verfügbar. Application-Teams erhalten dadurch die Wahl, welche Maßnahmen sie aktivieren und wie sie sie konfigurieren möchten.
Die Compute-Optimierung hat auch die nächste Gelegenheit offengelegt: Ein erheblicher Teil der Cloud-Kosten entsteht durch Netzwerk-Traffic über Availability Zones hinweg. Um ihn zu reduzieren, muss man zuerst sehen, wo der Traffic tatsächlich fließt. Giant Swarm baut diese Sichtbarkeit bereits in die Observability-Plattform ein, sodass die Teams von adidas teure Muster erkennen und fundierte Entscheidungen über die Platzierung von Services treffen können. Das ist der Wert einer langfristigen Plattform-Partnerschaft – der kuratierte Stack entwickelt sich mit den Bedürfnissen von adidas weiter, und jede Funktion baut auf dem auf, was zuvor geschaffen wurde.
