Wonach werden die wichtigsten Metriken ausgesucht? Im Interview mit JAXenter spricht Julia Wester, Co-founder und Principal Consultant bei Lagom Solutions, über die Wichtigkeit dieser Problematik im DevOps-Umfeld und gibt Hinweise darauf, welche Metriken wirklich wichtig sind.
Metriken bilden eine wichtige Basis, um den Erfolg der Umsetzung von DevOps im Unternehmen zu messen. Wichtig ist dabei vor allem, die richtigen Metriken zu finden. Das kann von der eigenen Situation abhängen und natürlich von dem, was gemessen werden soll. Und dann geht es natürlich noch darum, die erhobenen Metriken korrekt zu interpretieren.
JAXenter: Welche Metriken sind im DevOps-Umfeld die wichtigsten?
Julia Wester: Es gibt definitiv einige nützliche Basismetriken, aber man muss die besten Metriken für den jeweiligen Kontext dezidiert bestimmen. Mit diesem Vorbehalt finden sich hier im Folgenden einige wichtige Metriken für Unternehmen, die die DevOps-Prinzipien anwenden wollen. Man sollte einfach daran denken, einen oder mehrere von jedem Abschnitt zu wählen (oder einen anderen zu wählen, den man bevorzugt) und sie auf einem einzelnen Dashboard zu betrachten. Das ist nötig, um die Metriken überhaupt erst richtig zu erfassen und herausfzufinden, ob man auf eine Metrik hin überoptimiert und es woanders Probleme verursacht.
1. Produktivitätsmetriken:
- Durchsatz
- Deployment-Frequenz (Bonuspunkte gibt es, wenn man den Wert pro Deployment berechnet – darum geht es schließlich)
2. Metriken zur Responsivität:
- MTTR
- Zeit für Zyklen
3. Qualitätsmetriken:
- Vorfälle pro Service oder Anwendung (Bonuspunkte gibt es, wenn man Kosten pro Vorfall berechnet – nicht alle Probleme sind in ihrer Auswirkung gleich)
- Kundenzufriedenheit/Engagement (NPS, Post-Touchpoint-Befragungen, Nutzungsmetriken, usw.)
4. Nachhaltigkeitsmetriken:
- Mitarbeiterzufriedenheit (ich würde hier eine NPS-Frage stellen, etwa „würden Sie Ihre Organisation als Arbeitsplatz für ihre Familie und Freunde empfehlen?“)
- Nutzung bezahlter Auszeiten („Nehmen Leute genug Urlaub?“, „Gibt es mehr Krankheitstage wegen Burnout?“ – Vorsicht damit allerdings: dies kann sehr leicht die falschen Signale senden, wenn es falsch verwendet wird).
Wer seine Systeme verbessern will, was der „3rd Way of DevOps“ ist, der wird die sogenannte Flow Efficiency messen wollen. Flow Efficiency ist das Verhältnis von aktiver Arbeitszeit zur Gesamtdauer für die Bewältigung einer Aufgabe. Die meiste Zeit im Leben Aufgabe wird mit Warten verbracht. Jede Verbesserung hat einen großen Einfluss darauf, wie schnell man die Arbeit letztlich beenden kann.
JAXenter: Welches ist der erste Schritt, den man gehen muss, wenn man Geschäftsentscheidungen basierend auf Metriken treffen möchte?
Julia Wester: Die Wahl der richtigen Metriken nach dem ODIM-Prinzip (das Akronym wurde von Larry Maccherone geprägt):
- Man beginnt mit der Definition der gewünschten Ergebnisse (Outcomes).
- Dann entscheidet man, welche Entscheidungen getroffen werden müssen, um diese Ergebnisse zu erzielen (Decisions).
- Als nächstes fragt man sich, welche Informationen benötigt werden, um diese Entscheidung zu treffen (Insights).
- Schließlich bestimmt man, welche Metriken dabei helfen können, diese Informationen zu gewinnen (Metrics).
Wenn man dies für jede Entscheidung durchexerziert, hat man genau das Metrik-Inventar, das für den jeweiligen Kontext richtig ist.
JAXenter: Wie beginnt man am besten, einen Blick hinter die Metriken zu werfen? Ist ein Startpunkt, etwa ein bestimmter Datensatz, besser als ein anderer?
Julia Wester: Für mich ist es logisch, dass DevOps-Praktizierende mittlerweile die Notwendigkeit dafür erkennen, das Verständnis und damit die Verbesserung des Wertstroms über den bloßen „Dev/Ops-Handoff“ hinaus erweitern zu müssen. Dennoch sprechen die bahnbrechenden DevOps-Bücher immer noch ausschließlich vom Einsatz gewisser Deployment-Metriken.
Man kann also nach dem Prinzip „Wie lange dauert es, eine Zeile Code zu deployen“ starten. Es ist aber wichtig, möglichst schnell zu weitreichenderen Metriken zu wechseln, die dabei helfen, einen größeren Teil des Systems zu optimieren. Irgendwann kommt es dann zu einem sehr optimierten Dev/Ops-Handoff, aber die erste Hälfte der Pipeline ist immer noch komplett kaputt. Wenn sich die Arbeit nicht zu DevOps transformieren lässt, spielen unsere Verbesserungen auch keine Rolle.
JAXenter: Welche Metriken sollten definitiv nicht für Geschäftsentscheidungen herangezogen werden?
Julia Wester: Ich habe kein Problem mit individuellen Metriken, aber ich habe ein Problem damit, wie viele davon verwendet werden. Es gibt Metriken, die uns sagen, wie viel von etwas wir tun, seien es Code-Zeilen, die Anzahl der geschlossenen Probleme, die Anzahl der Deployments pro Tag usw. Wir sind dann immer sehr aufgeregt, weil wir denken: „Mensch, wir sind so produktiv!“ Aber wir verwechseln „produktive Arbeit“ und „wertvolle Arbeit“ zu oft. Das ist aber nicht dasselbe. Wir könnten den ganzen Tag lang viel schlechten Code deployen – die Metrik wird fantastisch aussehen, aber das Ergebnis wird eher weniger schön. Um dieses Problem zu vermeiden, arbeiten wir uns von den Ergebnissen zu den Metriken durch. Im Wesentlichen würde ich sagen, dass die größte drohende Gefahr darin besteht, nicht zu verstehen, was die Metriken einem wirklich sagt.
JAXenter: Was sollten die Leute aus deiner Session auf der DevOpsCon mitnehmen?
Julia Wester: Stellen Sie zunächst sicher, dass Sie Ihre Metriken wieder den Ergebnissen zuordnen können, wenn Sie bereits über Metriken verfügen; verwerfen Sie alle, für die das nicht mehr möglich ist. Messen Sie konkurrierende Metriken wie Produktivität versus Qualität, um sich der Auswirkungen der Überoptimierung auf einen bestimmten Faktor hin bewusst zu werden. Sehen Sie nach, ob die von Ihnen verwendeten Metriken unbeabsichtigte Folgen haben. Das Nachdenken über die Folgen von Handlungen macht Sie zum Systemdenker!
Seien Sie sich im Klaren darüber, was sie eigentlich messen – wir lassen uns gerne im Hinblick daraufhin täuschen, dass ein mehr Deployments auch mehr Wert schaffen, aber das kann sehr falsch sein. Ein weiterer Mythos ist, dass die Messung der Einzelleistung gut für das Team sei. Wenn wir sonst nichts tun, sollten wir ernsthaft darüber nachdenken, was uns unsere Metriken wirklich sagen.
JAXenter: Vielen Dank für das Interview!
Julia Wester ist Mitbegründerin und Principal Consultant bei Lagom Solutions, einem Lean/Agile Beratungs- und Trainingsunternehmen, wo sie ihre 17-jährige Erfahrung in Teams von Turner Broadcasting, F5 Networks und LeanKit einbringt. Julia hat es sich zur Aufgabe gemacht, anderen beizubringen, das Chaos des Arbeitsalltags zu zähmen, indem sie Transparenz, kontinuierliche Verbesserung und eine zögerliche Einstellung an den Tag legt und darüber spricht, dass Management kein Schimpfwort sein muss. Julia bloggt bei everydaykanban.com und twittert bei @everydaykanban
