Marktkommentar #4: MITRE ATT&CK MDR Test Ergebnisse

Hallo zusammen,

die neue MITRE ATT&CK Managed Service Evaluierung (menuPass / APT10 + ALPHV BlackCat) wurde veröffentlicht, hier ein paar Take-Aways:

  • Die Methodik wurde ggü. der letzten MDR Evaluierung (Oilrig) angepasst: Jetzt wurden „Actionable Detections“ nach einem nachvollziehbaren Schema gewertet. Außerdem wurde auch zum ersten Mal die Mean Time to Detect (MTTD) gemessen und veröffentlicht.
  • Crowdstrike hat sehr gut abgeschnitten im Quervergleich: ~93% der maximal erreichbaren Techniken wurden vollständig erkannt und in einer Rekordzeit von ~4 Min gemeldet.
  • Zum Vergleich: MTTD ~24 Min bei Microsoft und Palo Alto, ~40 Min bei SentinelOne, alle mit niedrigeren Erkennungsraten. Trend Micro diesmal weit abgeschlagen.
  • Überraschung: Bitdefender mit der gleichen Erkennungsrate wie Crowdstrike. Bitdefender war in bisherigen Tests eher im Mittelfeld zu verorten.
  • Interessant auch: Es gab einen unabhängigen MSSP (SecurityHQ), der auf Basis SentinelOne teilgenommen hat, aber mit deutlich schlechteren Ergebnissen als das MDR Team von SentinelOne selbst => Hier zeigt sich mal wieder, dass Kunden oft mit dem Standard MDR Service der Hersteller schon sehr gut bedient sind
  • Leider haben weder Cynet noch Fortinet teilgenommen
  • Wahrnehmbare Unterschiede in den technischen Lösungen z.B. bei Exfiltration von Credentials über ntds.dit (Active Directory Datenbank) aus der Recycle Bin, Erkennung von Pass the Hash (Ausführung aus \temp Ordner), und besonders bei den letzten Schritten wie der Löschung von Schattenkopien und der Abschaltung von Services.
  • Ansonsten ist der Unterschied in der Bewertung (Actionable / not actionable) natürlich abhängig von der Anreicherung der Infos durch die MDR Analysten. Hier zeigt sich aus meiner Sicht die Stärke von Crowdstrike, die beim Reporting aus dem Vollen geschöpft haben.
  • In der Praxis bei großen kundenindividuellen Installationen sind natürlich weder die Erkennungsraten noch die -geschwindigkeiten erreichbar – beim Test wird nicht mit Ressourcen gespart, die Testumgebungen sind überschaubar (~15 Endpunkte, keine Cloud Workloads in Containern), und False Positives durch Normalbetrieb gibt es auch nicht. Trotzdem bleiben die MITRE Evaluierungen der aktuelle Goldstandard für solche Tests aus meiner Sicht.
  • Grosso Modo lässt sich aber weiterhin sagen: Wer eines der marktführenden Systeme flächendeckend ausrollt, macht es den Angreifern schon sehr schwer
  • Schade: Die Konfiguration der technischen EDR/XDR-Systeme wurde nicht mehr veröffentlicht. Das ist aber für Kunden entscheidend, um Angebote vergleichen zu können. Bei der vorherigen Evaluierung (Turla) konnte man noch transparent nachvollziehen, dass beispielsweise bei Microsoft auch das Defender for Identity Modul genutzt wurde, bei Crowdstrike alle Falcon Module, und bei Trellix die volle Helix Suite => Wenn man die nicht alle kauft und die Einstellungen auf höchste Sensibilität anpasst, sind also die im Test erreichten Schutz- und Erkennungsraten nicht aussagekräftig. Ich würde vermuten, dass auch in diesem Test alle verfügbaren Module der Produkte genutzt wurden, und die Einstellungen nicht dem Standard entsprechen. Beispielsweise enthalten die Standard MDR Playbooks der Anbieter typischerweise nicht die Überwachung der Volume Shadow Copies.
  • Bei unseren Angebotsvergleichen sehen wir, dass Preis-/Leistung je nach Kundenprojekt und Anforderungen in der Praxis stark schwanken => Meine Punkte zu diesem einzelnen Test also bitte nicht als Pauschalempfehlung verstehen.

Generell wäre es natürlich wünschenswert, wir hätten solche unabhängigen Labor-Tests von Erkennungsraten auch für andere Kategorien wie NDR, DLP, Email-Filter etc.. Leider scheint die Zahlungsbereitschaft dafür weder auf Anbieter- noch auf Kundenseite vorhanden zu sein (Anbieter müssen für die Teilnahme pro MITRE Test ca. 140k USD berappen). Die Common Criteria Tests beziehen sich m.W. nur auf den Schutz der Security-Produkte gegen Angriffe auf das Produkt selbst, nicht auf die Leistungsfähigkeit oder die Erfüllung von Marketing-Claims (hatte mir dazu mal den Carbon Black Zertifizierungsbericht durchgelesen – falls jemand hier andere Infos hat, immer gerne).

Wo wir so gerade bei Crowdstrike angekommen sind, da haben wir ein Briefing zu aktuellen Features bekommen. Hier ein paar Notizen, darunter Stichpunkte aus weiteren Terminen mit Anbietern:

  • Realtime Response wie Quarantäne auch bei MacOS möglich
  • Uploadfähigkeit von Hosts in Quarantäne für Dateien bis zu 4 GB
  • Identity Protection:
    • Kein separater Agent mehr für Domain Controller, alle Funktionen integriert
    • o Service Accounts können regelbasiert dazu gezwungen werden, dass Zugriffe von einer natürlichen Person authorisiert werden, inkl. MFA (=> Delegation an anderen Account)
    • Detect compromised passwords: Bruchstücke der Hashes aus Kunden-Domain Controller werden extrahiert und mit Darknet-Datenbank verglichen. Bei partial match dann Vergleich des vollständigen Hashes
    • AD Security Configuration Audit (z.B. duplicated passwords; password never expires, exposed passwords in GPOs, privileged machines running print spooler)
    • Erkennung „stealthy“ accounts, z.B. Sync Entra ID Account (darf andere Nutzer anlegen, aber kein Domain Admin)
  • Data Protection: Daten-Extraktion über Drucker, OneDrive, von Salesforce etc. erkennbar / regelbasiert blockierbar
  • MDR (Complete) kann jetzt auch für das Logscale SIEM (vormals Humio) gebucht werden
  • Die Breach Warranty gilt inzwischen für alle unterstützten Betriebssysteme inkl. Linux u. MacOS (früher nur Windows). Kunden in Italien und Japan sind aber weiterhin ausgenommen, warum auch immer.
  • KI Assistentin (“Charlotte”): Schreibt Queries für Kunden, z.B. „create a query to find all processes for privilege escalation” => Kann ich mir gut vorstellen, da wird Crowdstrike eine sehr zuverlässige Menge an funktionierenden Queries haben, anhand derer die KI trainiert werden konnte
  • Spotlight (Vulnerability Mgmt) enthält auch ein Workflow Tool wie Brinqa und Cisco Kenna zur Nachverfolgung des Patchings oder von Ausgleichsmaßnahmen
  • Threat Intelligence heißt jetzt Counter Adversary Operations

Torq:

  • SOAR / No code (oder low code) Workflow Automation
  • Beispiele: Just in time Zugriffsrechte, Anreicherung von Daten, Reaktionen auf Alarme, On-/Offboardingprozesse
  • Wahrscheinlich deutlich einfacher, als die Automatisierung über Azure Sentinel o.ä., wenn viele verschiedene Systeme in den Workflows genutzt werden sollen. Andererseits hilft der Microsoft Copilot ja auch dabei.

Dope Security:

  • Yup, heißt wirklich so (in Kalifornien ist „dope“ anscheinend der aktuell angesagte Begriff für „cool“)
  • Web Proxy / CASB (Security Gateway), d.h., Wettbewerber zu Netskope, Trellix, Forcepoint, Zscaler, Cisco…
  • Agent auf jedem Endpoint (~100 MB groß) für Policy Enforcement, d.h., Traffic wird nicht über ein Datencenter geleitet
  • Damit schnellere Verbindungen, Entschlüsselung nur lokal auf dem Endpunkt, kein fail-open bei Ausfall Cloud Proxy
  • Policies werden natürlich zentral verteilt. Anti-Tampering, auch lokale Admins können den Agent nicht entfernen oder umkonfigurieren

Enginsight:

  • Kombinierte Plattform für Endpoint Management (Inventarisierungs-CMDB, File Integrity), SIEM und Schwachstellenscans extern und intern (letzteres wird leider als Pen Test bezeichnet)
  • Schwachstellenscans: Ähnlich Qualys oder Tenable, anscheinend eigene Engine, erkennt CVEs und Fehlkonfigurationen, aber keine Exploits. Hohe Visibilität und Detailtreue, weil natürlich auf jedem Endpunkt ein Agent installiert ist. Und Hinweise auf DSGVO-Problemstellen wie unverschlüsselte Übertragung von personenbezogenen Daten
  • Windows, Linux, Mac, aber keine Mobilgeräte
  • Kein eigenes AV/EDR (aber GDATA nativ integriert auf Kundenwunsch)
  • Alles deutschsprachig, auch die Empfehlungen zur Schwachstellenbehebung
  • Deutsches Unternehmen, gegründet 2016, ~30 Mitarbeiter
  • Macht von vorne bis hinten einen mittelstandstauglichen und sympathischen Eindruck
  • Knapp 1000 Unternehmenskunden, darunter auch viele KRITIS-Betreiber

Vor ein paar Tagen durfte ich mal wieder nach Berlin düsen, und zwar zum „Public IT Security Kongress“ (PITS), organisiert durch den Behördenspiegel und standesgemäß abgehalten im Hotel Adlon (wo auch sonst). Was mir besonders im Gedächtnis geblieben ist:

  • Das BSI hat zumindest 1 sehr coolen, mutigen und selbstironischen Abteilungsleiter, nämlich Dirk Häger. Echter Silberrücken der Security. Sinngemäße Aussage auf der Bühne u.a.: „Security-Awareness ist Geldverschwendung, es gibt in über 20 Jahren keinen Beleg dafür, dass die Wahrscheinlichkeit eines erfolgreichen Cyberangriffs dadurch sinkt“. Wahrscheinlich ist das nicht 100% richtig – aber das auf einer Veranstaltung zu sagen, die von SoSafe gesponsort wird, erfordert auf jeden Fall viel Rückgrat. Es gibt auch einen Podcast about the cyberattack on the district of Anhalt Bitterfeld, in which it comes up a few times.
  • Confidential Computing in der Cloud kommt, nicht nur von Apple. Überraschend dabei (s. auch Photo): Die Stackit-Cloud-Lösung der Schwarz IT scheint in der Hinsicht weniger an Security-Voraussetzungen zu bieten als die Hyperscaler. Hoffnung besteht noch für OpenStack. Die Clouds von Oracle, IBM oder Salesforce interessieren in Deutschland anscheinend niemand.

Wie immer gilt: Fragen, Anregungen, Kommentare, Erfahrungsberichte und auch gegenläufige Meinungen oder Richtigstellungen gerne per Email.

Viele Grüße

Jannis Stemmann

Der Marktkommentar von Jannis Stemmann

Marktkommentar abonnieren.

Frühzeitig mehr Erkenntnisse gewinnen.

Marktkommentar umfasst Einblicke aus Gesprächen mit Anbietern und Kunden zu Security-Projekten und Vendor-Briefings, Fragen und punktuelle Beobachtungen sowie unpopuläre Thesen in der Security-Community.