Автооценка
ДомДом > Новости > Автооценка

Автооценка

Nov 21, 2023

Методика медицинских исследований BMC, том 22, Номер статьи: 286 (2022) Цитировать эту статью

1439 Доступов

1 Цитаты

1 Альтметрика

Подробности о метриках

Модели прогнозирования риска являются полезными инструментами принятия клинических решений, которые помогают стратифицировать риски и распределять ресурсы и могут привести к улучшению медицинского обслуживания пациентов. AutoScore — это автоматический генератор клинических оценок на основе машинного обучения для бинарных результатов. Это исследование направлено на расширение структуры AutoScore, чтобы предоставить инструмент для интерпретируемого прогнозирования риска для порядковых результатов.

Структура AutoScore-Ordinal создается с использованием тех же 6 модулей исходного алгоритма AutoScore, включая ранжирование переменных, преобразование переменных, выведение оценок (из моделей пропорциональных шансов), выбор модели, точную настройку оценок и оценку модели. Чтобы проиллюстрировать эффективность AutoScore-Ordinal, метод был применен к данным электронных медицинских карт из отделения неотложной помощи Сингапурской больницы общего профиля в период с 2008 по 2017 год. Модель была обучена на 70 % данных, проверена на 10 % и протестирована на остальных. 20%.

В это исследование были включены 445 989 стационарных случаев, где распределение порядкового исхода составило 80,7% выживших без 30-дневной повторной госпитализации, 12,5% выживших при 30-дневной повторной госпитализации и 6,8% умерших в стационаре или к 30-му дню после выписки. Две точечные модели прогнозирования риска были разработаны с использованием двух наборов из 8 переменных-предикторов, определенных с помощью процедуры гибкого выбора переменных. Обе модели показали достаточно хорошие характеристики, измеренные по средней площади под кривой рабочей характеристики приемника (0,758 и 0,793) и обобщенному индексу c (0,737 и 0,760), которые были сопоставимы с альтернативными моделями.

AutoScore-Ordinal предоставляет автоматизированную и простую в использовании платформу для разработки и проверки моделей прогнозирования рисков для порядковых результатов, которая может систематически выявлять потенциальные предикторы на основе многомерных данных.

Отчеты экспертной оценки

Модели прогнозирования риска представляют собой математические уравнения, которые помогают врачам оценить вероятность исхода лечения на основе данных пациента. Такие модели включают целочисленные баллы, которые можно использовать для прогнозирования наличия заболевания (диагностические модели) или наступления конкретного результата (прогностические модели), в зависимости от клинического вопроса. Комбинация нескольких предикторов (разные веса для разных предикторов) включается в многовариантную модель для расчета оценки риска [1,2,3]. Некоторые модели прогнозирования риска использовались в рутинных клинических условиях, включая Фрамингемскую шкалу риска [4], Оттавские правила определения голеностопного сустава [5], Ноттингемский прогностический индекс [6], модель Гейла [7], Euro-SCORE [8], модифицированную модель прогнозирования риска. Оценка раннего предупреждения (MEWS) [9, 10] и упрощенная оценка физиологии острых состояний [11].

За последнее десятилетие возросло использование медицинских информационных технологий, особенно электронных медицинских карт (ЭМК), что открывает возможности для исследований больших данных. Данные ЭМК включают подробную информацию о пациенте и переменные клинических результатов, которые могут быть уникальным источником данных для разработки модели риска [12, 13]. Наличие большого количества переменных в данных EHR может стать математической проблемой при использовании традиционного регрессионного анализа для построения модели риска. Машинное обучение (МО) в качестве альтернативного подхода применяет математические алгоритмы для обработки таких больших данных, что приводит к созданию новых моделей прогнозирования рисков. Традиционные подходы к выбору переменных (такие как обратное исключение, прямой выбор, поэтапный выбор с использованием заранее заданных правил остановки) могут привести к появлению разных подмножеств переменных в контексте данных ЭМК, а клинические знания могут не всегда быть доступны в некоторых клинических областях. Для контролируемого обучения доступны мощные методы выбора функций, что является очень важным аспектом при разработке модели риска при работе с данными EHR [13, 14].

 j, and the mean area under the receiver operating characteristic curve (AUC) across these binary classifications (referred to as mAUC hereafter) is used to evaluate the overall performance for predicting Y, which is equivalent to the average dichotomized c-index for evaluating ordinal predictions [47, 48]. In Module 4, a scoring model is grown by adding one variable at each time (based on the variable ranking from Module 1) until all candidate variables are included, and the improvement in mAUC (evaluated on the validation set) with increasing number of variables is inspected using the parsimony plot. The final list of variables is often selected when the benefit of adding a variable is small, where such small benefit could be assessed via visual inspection (by looking at parsimony plot) and clinical knowledge (and drop/include variables manually). Next, the cut-off values for continuous variables selected in Module 4 may be fine-tuned for favourable interpretation in Module 5, e.g., by using 10-year age groups instead of the arbitrarily defined quantile-based intervals. The final model is evaluated on the test set in Module 6 using the mAUC and Harrell's generalised c-index [47, 49, 50], which is based on the proportion of concordant pairs (i.e., when predictions and observed outcomes generate the same ranking for the pair of observations, including tied ranks) among all possible pairs of observations. For both mAUC and generalised c-index, a value of 0.5 indicates a random performance and a value of 1 indicates a perfect predictive performance. The mAUC and generalised c-index from the test set are reported with the bias-corrected 95% bootstrap confidence interval (CI) [51]./p>