Interview mit Citrix-CISO Fermín Serna
Gefährliche Grauzone
Am 23.12.19 - somit kurz vor Weihnachten - veröffentlichten Security-Forscher die kritische Schwachstelle CVE-2019-19781 in Citrix ADC, Gateway und SD-WAN - ohne Citrix die unter White-Hat-Hackern üblichen 90 Tage Informationsvorsprung zu geben. Ein Exploit kursierte wenig später im Internet, und Citrix fand sich trotz eines Workarounds im Zentrum eines Shitstorms wieder. Ein solches "Grey-Hat"-Vorgehen - kein Black-Hat-Angriff, aber eben auch keine White-Hat-Kooperation - ist in der Softwarebranche stets ein Risiko. LANline sprach deshalb mit Citrix? Chief Information Security Officer Fermín Serna darüber, wie der Anbieter mit dieser Situation umging und welche Lehren man daraus gezogen hat.
LANline: Herr Serna, nachdem Citrix Mitte Dezember eine kritsche Schwachstelle in Citrix ADC und Gateway bekanntgegeben und einen Workaround dazu veröffentlicht hatte, erschien das zunächst als der übliche Mitigationssprozess, den man von einem Softwarehersteller wie Citrix erwarten würde. Warum ist die Situation so dramatisch eskaliert?
Fermín Serna: Hier ist es zunächst wichtig, den zeitlichen Ablauf kennen: Zwischen dem 6. und 8. Dezember haben uns drei unterschiedliche Security-Researcher wegen dieser Schwachstelle kontaktiert - das ist höchst ungewöhnlich. Wir mussten deshalb eine unkoordinierte Offenlegung der Schwachstelle oder auch Leaks befürchten. Obwohl bei einer "Responsible Disclosure" (verantwortungsvolle Offenlegung von Schwachstellen, d.Red.) ein Vorlauf von 90 Tagen branchenüblich ist, setzte uns einer der Sicherheitsforscher die Deadline 23.12. - nur etwas mehr als zwei Wochen. Das reicht nicht für eine Behebung, schießlich muss man die Schwachstelle nicht nur fixen, sondern auch umfassend testen. Deshalb haben wir mit Hochdruck an Mitigationsmaßnahmen gearbeitet und am 17. Dezember einen Workaround vorgestellt, zusammen mit einem CVE-Advisory (CVE: Common Vulnerabilities and Exposures, d.Red.) und der klaren Anweisung, die Maßnahmen unbedingt umzusetzen, damit man vor dieser Schwachstelle geschützt ist, und zwar umfassend und für alle Versionen. Die Maßnahme bestand aus zwei Blöcken. Manche Kunden haben aber nur einen Block umgesetzt, das hat dann auf Social Media für Beschwerden gesorgt.
LANline: Welchem Risiko hat diese Schwachstelle die Kunden ausgesetzt?
Fermín Serna: Die Schwachstelle erlaubte Remote Code Execution (Ausführung von Code aus der Ferne, d.Red.) ohne Authentifizierung. Auf der CVSS-Kritikalitätsskala (Common Vulnerability Scoring System, d.Red.) liegt die Schwachstelle damit bei 9,8 von 10. Wir haben das in unserem CVE-Advisory auch explizit dargelegt. Am 17. Dezember ging dieses Advisory an alle unsere Kunden, die einem Security-Advisory-Versand zugestimmt hatten, und es ging auch an alle Partner auf allen verfügbaren Kanälen, um möglichst vielen Kunden mitzuteilen: Es gibt eine sehr kritische Schwachstelle, wir haben noch keinen aktiven Exploit gesehen, und hier ist beschrieben, wie ihr euch schützen könnt. Am 23.12. gingen die Researcher dann an die Öffentlichkeit - nicht mit einem vollständigen Exploit, aber doch mit genügend Informationen für eine Reverse Engineering. Das dauerte dann ein paar Tage, danach gab es eine massive Diskussion dieses Exploits im Internet, da einige Kunden den Workaround noch nicht eingespielt hatten.
LANline: Warum konnte sich Citrix mit den Hackern nicht auf den üblichen 90-Tage-Zeitrahmen für die Responsible Disclosure einigen, an den sich zum Beispiel Googles Projekt Zero hält?
Fermín Serna: Unglücklicherweise liegt es in solch einer Situation völlig in der Hand des Forschers, ob er mit einer Lücke an die Öffentlichkeit geht oder nicht. Ich will an dieser Stelle keine Spekulationen anstellen, was das Motiv war oder welche Strategie dahintersteht. In der Branche hat man sich jedenfalls auf 90 Tage Vorlauf verständigt, und wir haben die Patches bis 24. Januar fertiggestellt - also deutlich unterhalb dieser Schwelle.
LANline: Wie erwähnt veröffentlichten die Hacker diese Sicherheitslücke am 23. Dezember, also einen Tag vor Beginn der Weihnachtssaison in Deutschland und zwei Tage vor den Feiertagen, auch in den USA. Wie sehr trug dieser spezielle Zeitpunkt zur Eskalationsdynamik bei? Haben Sie den Verdacht, dass das überhaupt keine White-Hat-Aktion war, sondern doch eher ein indirekter Angriff, sozusagen ein "Grey-Hat-Angriff"?
Fermín Serna: Ich verstehe, worauf Sie hinauswollen, aber ich habe dazu keinerlei Informationen und will deshalb wie gesagt darüber nicht spekulieren.
LANline: Sie erwähnten, dass Citrix schneller war als die üblichen 90 Tage, dennoch dauerte es bis weit in den Januar, bis die Patches für alle Versionen von ADC und Gateway vorlagen. Warum dauerte das so lange? Was ist der limitierende Faktor für die schnelle Behebung einer zeitkritischen Schwachstelle?
Fermín Serna: 90 Tage ist normalerweise ein sehr guter inoffizieller Standard für die Zusammenarbeit eines Anbieters mit Security-Forschern. Denn ein Anbieter muss ja nicht nur die eine Schwachstelle finden, sondern auch nach verwandten Fehlern suchen, sie validieren und eine Triage (Priorisierung der Maßnahmen zur Schadenseindämmung, d.Red.) durchführen. Denn kann man nicht einfach einen punktuellen Fix für den einen Fehler liefern, und dann stellt sich heraus, dass es noch drei weitere Lücken gibt. Das Fixen der Schwachstellen selbst dauert zwei, drei Tage, je nach Schwachstelle, aber danach folgt ein iterativer Testprozess für sämtliche Varianten - die Appliance-Firmware, VMs und Cloud-Instanzen - sowie über sämtliche unterstützten Versionsstände hinweg. Dieses Testing ist der limitierende Faktor. Denn hier muss auch sichergestellt sein, dass die finale Fehlerbehebung keine anderen Funktionen beeinträchtigt, schließlich hängt das Business der Anwender daran. Das heißt, die Dauer des Ablaufs war keine Folge von Ressourcenmangel oder Ähnlichen, sondern ergibt sich schlicht aus den Notwendigkeiten des Remediationsprozesses. Wir haben ein sehr gut aufgestelltes Security-Team, das genügend Personal hat und auf solche Situationen vorbereitet ist.
LANline: Was mich wunderte: Citrix hatte beschlossen, Patches für ältere Versionen (11.1 und 12.0) zu veröffentlichen, bevor die aktuelle Version 13.0 gepatcht wurde. Der Grund dafür war offensichtlich, dass die älteren Versionen am weitesten verbreitet sind, aber gleichzeitig bedeutet dies eine Benachteiligung von Kunden, die zeitnah aktualisieren. Halten Sie diese Reihenfolge im Rückblick immer noch für die Best-Practice-Vorgehensweise?
Fermín Serna: Es wäre für uns ein Leichtes gewesen zu warten, bis Patches für alle Versionen vorliegen, und diese dann zeitgleich zu veröffentlichen. Aber wir wollten unsere Kunden schnellstmöglich bei der Absicherung ihrer Systeme unterstützen. Deshalb haben wir die Patches für jene Versionen vorgezogen, die bei der großen Mehrheit der Anwender im Einsatz sind. Das war also schlicht eine Priorisierungsentscheidung im Rahmen der Triage.
LANline: In Zusammenarbeit mit dem Computerforensik-Experten FireEye hat Citrix ein Scan-Tool veröffentlicht, um Citrix-Server und -Instanzen auf Verstöße überprüfen zu können. Was ist der Umfang dieses Scan-Tools und was sind seine Grenzen?
Fermín Serna: Schwachstellen kommen vor, branchenweit. Wir sind aber weit über das hinausgegangen, was branchenüblich ist, und haben zunächst selbst ein Tool vorgestellt, mit dem die Kunden ihre Systeme scannen konnte, ob sie von der Schwachstelle betroffen sind. Zudem haben wir mit dem Weltklasse-Forensikexperten Mandiant (eine FireEye-Tochter, spezialisiert auf Angriffsabwehr, d.Red.) kooperiert und ein Tool herausgebracht, mit dem Kunden feststellen können, ob ihre Systeme kompromittiert wurden. FireEye hat auf seinem Blog über Angriffsindikatoren geschrieben, vor allem über die Malware NotRobin. Das Tool durchsucht die Logs und ermittelt, ob man rechtzeitig reagiert hat. Das Ergebnis dieses Scan-Tools lautet also entweder: "IoCs gefunden" (IoC: Indicator of Compromise, d.Red.) oder: "Wir wissen es nicht". Denn das Tool kann schließlich nur bekannte IoCs aufspüren. Ziel ist es, den Prozess der forensischen Suche nach bereits erfolgten Angriffen zu beschleunigen.
LANline: Kein Softwarehersteller kann erwarten, dass alle Offenlegungen von Schwachstellen in verantwortungsvoller Weise erfolgen. Und man kann nicht vermeiden, dass künftige kritische Schwachstellen an Feiertagen oder um Feiertage herum auftreten. Welche Lehren hat Citrix aus diesem Vorfall gezogen? Auf welche Weise hat dieses Vorkommnis Ihren Mitigationsprozess, Ihre Runbooks oder Vorgehensweisen verändert?
Fermín Serna: Vor allen Dingen müssen wir - und das gilt nicht nur für Citrix, sondern für die gesamte Softwarebranche - sicherstellen, dass immer weniger Schwachstellen vorkommen. Wir sind alle nur Menschen, Fehler werden weiter passieren, deshalb müssen wir vorbereitet sein und sicherstellen, dass die Reaktionsprozesse auch unter Zeitdruck gut funktionieren. Im Hinblick auf eine unkoordinierte Offenlegung von Schwachstellen müssen wir uns auf noch schnellere Fixes vorbereiten, denn derzeit sind wir als Industrie in den Händen von Forschern, ob diese uns genug Zeit zur Mitigation geben oder nicht.
LANline: Was heißt das konkret für Citrix? interne Prozesse?
Fermín Serna: Wir werden bei Citrix mehr in Red Teaming (Durchspielen von Angriffen durch interne oder externe Experten, d.Red.) investieren, um mehr Fehler hausintern zu finden. Zudem werden wir auch unser Produktentwicklungsteam hier einbinden, damit sie möglichst optimal auf Situationen vorbereitet sind, in denen man unter größerem Zeitdruck als 90 Tage arbeitet.
LANline: Was ist der wichtigste Ratschlag, den Sie Softwareanbietern geben würden, die sich in einer ähnlichen Lage - unkoordinierte Offenlegung plus Shitstorm - wiederfinden?
Fermín Serna: Mein Rat wäre: Bereitet euch vor und wartet nicht ab, bis ihr in eine solche Situation geratet!
LANline: Herr Serna, vielen Dank für das Gespräch.
Lesen Sie mehr zum Thema
