Ein Modell trainieren, ein Risiko auswerten

Worum es geht

Die HealthDati-Plattform hat zwei Oberflächen:

• Modell trainieren: Ein Vorhersagemodell lernt aus den Daten einer Klinik. Die Daten verlassen die Klinik dabei nicht.
• Risiko auswerten: Ein trainiertes Modell schätzt für eine Patientin oder einen Patienten das Risiko ab, im Krankenhaus zu versterben. Es kann auch alle Fälle einer Klinik zusammengefasst auswerten.

Beide gehören zur Pilotaufgabe des Projekts, der In-Hospital-Mortalität (K1). Gerechnet wird im delegierten Lernen dort, wo die Daten liegen: am Klinik-Knoten des jeweiligen Standorts. Nur zusammengefasste Kennzahlen verlassen den Standort.

Das Tutorial geht beide Abläufe Schritt für Schritt durch, mit Abbildungen aus dem eingebauten Demo-Modus der Plattform. Sie können es lesen, ohne die Software zu starten. Wer die Schritte selbst ausprobieren möchte, startet die Demo wie im Abschnitt Die Demo selbst starten beschrieben; angebunden rechnen dieselben Oberflächen mit dem Modell und den Daten des Klinik-Knotens.

Woran Sie die Demo erkennen

Oben zeigen beide Oberflächen zwei Angaben: Standort und Berechnung. Im Demo-Modus steht dort Berechnung: in dieser Konsole: Die Oberfläche berechnet alle Werte selbst. Als Standort nennt Modell trainieren die Zentrale, Standort: Zentrale, und Risiko auswerten die Klinik, in der die Oberfläche steht; die Demo kennt keinen Namen und zeigt Standort: Klinik (ohne Namen). Dieselben beiden Angaben stehen bei jedem Ergebnis, im kopierten Text und auf Ausdrucken.

Rechts oben stellt die Schaltfläche „English“ die Oberfläche auf Englisch um. Die Oberfläche merkt sich diese Wahl; ohne Wahl richtet sie sich nach der Sprache Ihres Browsers, und ist diese weder Deutsch noch Englisch, nach Englisch.

Teil 1: Ein Modell trainieren

Das Training einstellen

Öffnen Sie Modell trainieren. Eine Schrittanzeige zeigt, wo Sie stehen: Knoten & Schema, Konfiguration, Training und Ergebnis.

Im Bereich Knoten & Schema steht die Aufgabe fest: In-Hospital-Mortalität (K1). Die Schema-Version bestimmt, welche Version des gemeinsamen Datenmodells der Auftrag erwartet. Vorgegeben ist die neueste.

Im Bereich Konfiguration wählen Sie:

• Modell: das Verfahren. „LogReg (Baseline)“ ist eine logistische Regression, „LogReg L1 (sparse)“ eine Variante, die mit weniger Merkmalen auskommt, und „GBDT“ ein Verfahren aus vielen kleinen Entscheidungsbäumen.
• Früh-Fenster (h): aus wie vielen Stunden nach der Aufnahme das Modell Werte berücksichtigt, 24 oder 48.
• Rekalibrierung: wie die Risikowerte des Modells nachträglich an die beobachteten Raten angepasst werden. Vorgegeben ist „Platt / sigmoid“.
• Komorbiditäten: nach welchem Schema Vorerkrankungen zusammengefasst werden, nach Elixhauser, nach Charlson oder nach beiden.

Die Vorgabewerte passen für einen ersten Versuch. Klicken Sie auf Training starten.

Während das Training läuft

Die Plattform übergibt den Auftrag an einen Klinik-Knoten, der das Training vor Ort ausführt. Die Oberfläche sieht davon nur den Status und am Ende zusammengefasste Kennzahlen, nie die Daten selbst.

• Der Status wechselt von eingereicht über angenommen und läuft zu abgeschlossen.
• Knoten nennt den Klinik-Knoten, der das Training ausführt, in der Demo demo-klinik-1.
• Der Verlauf listet mit Uhrzeit, was am Knoten geschieht: Der Auftrag wird eingereicht und vom Knoten übernommen, dann folgen vier Stufen, „Kohorte wird geladen“, „Modell wird angepasst“, „Modell wird kalibriert“ und „Metriken werden berechnet“.

In der Demo dauert ein Training etwa sechs Sekunden. Mit Training abbrechen fordern Sie an, ein laufendes Training vorzeitig zu beenden: Der Knoten hält an der nächsten Stufengrenze an, die laufende Stufe wird noch beendet. Ist das Training bis dahin fertig, zeigt die Oberfläche das Ergebnis auf Wunsch trotzdem an.

Das Ergebnis lesen

Ist das Training abgeschlossen, zeigt die Oberfläche das Ergebnis.

Die vier Kennzahlen oben beschreiben, wie gut das Modell auf Testdaten abschneidet, die beim Training nicht verwendet wurden:

• AUROC: wie gut das Modell Fälle mit und ohne Ereignis voneinander trennt. 0,5 entspricht dem Zufall, 1 einer perfekten Trennung. Darunter steht das Konfidenzintervall.
• AUPRC: wie gut das Modell die seltenen Fälle mit Ereignis findet, ohne dabei zu viele Fehlalarme auszulösen. Bei seltenen Ereignissen ist sie aussagekräftiger als AUROC.
• Brier: die mittlere quadratische Abweichung zwischen geschätztem Risiko und tatsächlichem Ausgang. Je kleiner, desto besser.
• n (train/test): wie viele Fälle für Training und Test verwendet wurden.

Kalibrierung (Reliability) — vorher / nachher zeigt, ob die geschätzten Risiken zu den beobachteten Raten passen. Liegt eine Kurve auf der fein gestrichelten Diagonalen, stimmen sie überein. Die gestrichelte Kurve zeigt das Modell vor der Rekalibrierung, die durchgezogene danach.

Erklärbarkeit — SHAP (Top-Features) zeigt, welche Merkmale über alle Fälle hinweg am meisten zur Vorhersage beigetragen haben, zusammengefasst und ohne Angaben zu einzelnen Personen. „Kreatinin: letzter Wert“ ist zum Beispiel der letzte im Früh-Fenster gemessene Kreatininwert, „Sepsis (Elixhauser)“ die Vorerkrankung Sepsis nach dem Elixhauser-Schema.

Mit Neues Training kehren Sie zu den Einstellungen zurück.

Teil 2: Ein Risiko auswerten

Modell und Warnschwelle

Öffnen Sie Risiko auswerten. Die Oberfläche führt in drei Schritten: Werte eingeben, Auswertung starten, Ergebnis lesen.

Im Bereich Modell wählen ist das Standardmodell vorausgewählt. Eine Klinik wählen Sie nicht: Risiko auswerten steht in einer Klinik und nennt sie oben als Standort.

Der Kasten Warnschwelle erklärt, ab wann ein Fall markiert wird. In der Demo liegt die Schwelle bei „8,2 %“: Ab diesem geschätzten Risiko wird ein Fall zur Aufmerksamkeit markiert. Von den so markierten Fällen verstarben in der Prüfung etwa 21 %, das ist die Trefferquote. Rund 86 % der tatsächlich Versterbenden werden erkannt, das ist die Erkennungsrate. Unter Technische Details finden technisch Interessierte Angaben zum Modell.

Patientenwerte eingeben

Unter Patientenwerte eingeben stehen neun Angaben in vier Gruppen: Demografie, Laborwerte, Vorerkrankungen und Aufnahme. Unter jedem Laborwert steht sein Normalbereich. Liegt ein Wert außerhalb, markiert ihn die Oberfläche mit ↓ niedrig oder ↑ hoch.

• Kennen Sie einen Zahlenwert nicht, kreuzen Sie unter dem Feld unbekannt an. Die Plattform rechnet dann mit einem Normalwert, und das Ergebnis weist darauf hin, dass die Einschätzung unsicherer ist. Bei den Vorerkrankungen und der Aufnahme bedeutet ein leeres Kästchen „nein“.
• Ein unplausibler Wert, etwa ein Alter von 200 Jahren, verhindert die Berechnung, bis er korrigiert oder als unbekannt markiert ist.

Beispiel übernehmen füllt alle Felder mit einem von drei Beispielfällen: Stabil, Mittel oder Kritisch. Zurücksetzen stellt die Vorgabewerte wieder her und entfernt ein angezeigtes Ergebnis.

Einen einzelnen Fall berechnen

Wählen Sie den Beispielfall Kritisch. Über dem Bereich Auswertung starten ist Einzelner Fall bereits ausgewählt. Klicken Sie auf Risiko berechnen.

So lesen Sie das Ergebnis:

1. Der Halbbogen und der große Wert darunter zeigen das geschätzte Risiko, hier „99,8 %“. Die Skala reicht bis 50 %, die Marke „AP“ ist die Warnschwelle.
2. Daneben steht, ob der Fall markiert ist, hier Über der Warnschwelle — zur Aufmerksamkeit markiert. Ein kurzer Text ordnet das Ergebnis ein.
3. Die Karten nennen die Kennzahlen der Warnschwelle in Prozent: Warnschwelle, Erkennungsrate, Trefferquote und Spezifität.
4. Was hat dieses Ergebnis beeinflusst? zeigt die wichtigsten Werte für diesen Fall. Ein Plus erhöht das geschätzte Risiko, ein Minus senkt es.

Ergebnis kopieren übernimmt das Ergebnis als Text, etwa für eine Übergabe. Drucken / als PDF erstellt einen Ausdruck. Beide nennen Standort und Berechnung. Der Ausdruck enthält die eingegebenen Patientenwerte nicht.

Klicken Sie nun auf Zurücksetzen und dann erneut auf Risiko berechnen. Mit den Vorgabewerten liegt das Risiko bei „2,9 %“, also Unter der Warnschwelle — nicht markiert.

Waren Werte unbekannt, nennt das Ergebnis, wie viele, und dass die Einschätzung entsprechend unsicherer ist. Außerdem erinnert jedes Ergebnis daran, dass die Schätzung bei sehr alten Patient:innen, ab 75 Jahren, weniger zuverlässig kalibriert ist.

Eine ganze Klinik auswerten

Wechseln Sie über dem Bereich Auswertung starten zu Ganze Klinik. Unter Datensatz stehen die Datensätze, die der Klinik-Knoten für Kohorten freigegeben hat, in der Demo drei, „Demo A“ bis „Demo C“. Lassen Sie „Demo A“ gewählt und klicken Sie auf Kohorten-Inferenz starten. Die Plattform wertet dann alle Fälle dieses Datensatzes aus und zeigt nur Summen und Verteilungen, niemals Werte einzelner Patient:innen.

• Die Karten oben nennen die Zahl der Fälle, wie viele davon über der Warnschwelle liegen, welchen Anteil das ausmacht, und den Datensatz.
• Die Score-Verteilung zeigt die geschätzten Risiken als Quantile, p25, Median, p75 und p95, und als Mittelwert, in ganzen Prozentpunkten.
• Zuverlässigkeit nach Altersgruppe zeigt, wie gut die geschätzten Risiken je Altersgruppe zu den beobachteten Raten passen. Je näher an der Diagonalen, desto verlässlicher. Die Tabelle unter Technische Details markiert die Altersgruppe mit der schwächsten Kalibrierung als schwächstes, in der Demo die Gruppe ab 75 Jahren.

Das Ergebnis einordnen

Die vier Kennzahlen der Warnschwelle beschreiben, wie sich das Modell in der Prüfung verhalten hat. In der Demo:

Beim Lesen hilft:

• Eine Warnschwelle ist ein Kompromiss. Eine niedrigere Schwelle erkennt mehr Versterbende, markiert aber auch mehr Fälle, die überleben. Laut den technischen Details wurde diese Schwelle mit dem Kostenverhältnis „FN:FP=10:1“ festgelegt: Ein übersehener Todesfall wiegt dabei zehnmal so schwer wie ein Fehlalarm.
• Eine Trefferquote von 21 % bedeutet, dass in der Prüfung etwa jeder fünfte markierte Fall verstarb. Die Markierung lenkt die Aufmerksamkeit; sie sagt nicht voraus, dass jemand verstirbt.
• Ein nicht markierter Fall ist kein Ausschluss eines erhöhten Risikos.

Die Demo selbst starten

Die Demo läuft auf Ihrem eigenen Rechner. Dafür brauchen Sie den Quellcode der Plattform, der Projektbeteiligten zur Verfügung steht, außerdem Node.js ab Version 24 und Python ab Version 3.10. Im Verzeichnis platform/software/frontend bauen Sie zuerst die Oberfläche und installieren die Python-Pakete, am besten in einer virtuellen Umgebung:

cd web
npm ci
npm run build
cd ..
pip install -r requirements-demo.txt

Dann starten Sie die beiden Oberflächen als Demo, jede in einem eigenen Terminal. HDP_DEMO=1 wählt ausdrücklich den Demo-Modus; ohne diese Angabe und ohne Anbindung an die Plattform starten die Oberflächen nicht:

HDP_DEMO=1 uvicorn app.main:app --port 8080
HDP_DEMO=1 uvicorn inference_app.main:app --port 8081

Unter Windows setzen Sie in PowerShell vorher $env:HDP_DEMO = "1" und lassen HDP_DEMO=1 vor uvicorn weg.

Modell trainieren ist nun unter http://127.0.0.1:8080 erreichbar, Risiko auswerten unter http://127.0.0.1:8081. So gestartet sind beide nur auf Ihrem Rechner erreichbar. Wie Sie die Plattform an einem Standort installieren, mit Anbindung an den Klinik-Knoten, beschreibt die Seite Installation.

Wie es weitergeht

An einem teilnehmenden Standort werden beide Oberflächen mit der Plattform und dem Klinik-Knoten verbunden; oben steht dann Berechnung: angebundene Dienste, und Risiko auswerten nennt die Klinik als Standort. Training und Auswertung laufen im Haus, und es verlassen keine Patientendaten die Klinik. In dieser Version zeigt Risiko auswerten dort noch Modellliste, Eingabefelder und Warnschwelle der Demo und sagt das selbst; gerechnet wird immer mit dem Modell des Knotens. Wie die Komponenten zusammenhängen, zeigt die Seite Architektur; wie Sie die Plattform an einem Standort installieren, beschreibt die Seite Installation.

Was jede Angabe, Meldung und Kennzahl der beiden Oberflächen bedeutet, erklärt das Benutzerhandbuch, auch als PDF.