Метрики качества: как мы считаем точность модели

Датасет

• 14 000 анонимизированных исследований КТ головного мозга.
• Разметка тремя независимыми экспертами, консенсус в сложных случаях.

Методика

• Hold-out 20% на валидацию, без утечек серий одного пациента.
• Основные метрики: sensitivity, specificity, F1, ROC-AUC.
• QC-пайплайн прогоняется при каждом минорном релизе модели.

Наблюдения

• Точность выше на неотложных исследованиях, ниже на низком КТ-сигнале.
• Дрифт связан с появлением новых сканеров; решаем дообучением на свежих данных.

Что дальше

• Добавим метрики по времени до вывода результата.
• Расширим на геморрагические поражения и CTA.