Введение системы штрафов для ИИ за ложные результаты увеличивает точность его будущих диагнозов

В настоящее время искусственный интеллект (ИИ) все чаще используется для прогнозирования опасных для жизни заболеваний. Но остается большая проблема в получении достаточно точных результатов. В исследовании, опубликованном в Informatics in Medicine Unlocked, говорится, что точность установления диагнозов увеличивается вследствие ужесточения штрафов ИИ.

Проблема точности

Машинное обучение (ML) - это отрасль искусственного интеллекта, где алгоритмы извлекают уроки из наборов данных и становятся умнее.

"Допустим, есть набор данных о серьезном заболевании. В наборе данных 90 человек, у которых нет этого заболевания. Но у 10 человек действительно есть это заболевание", - говорит доктор Ибомойе Домор Менье. Он исследователь искусственного интеллекта в Университете Йоханнесбурга в ЮАР.

"Например, алгоритм ML говорит, что у 90 человек нет заболевания. Это верно. Но он не может диагностировать 10 человек, у которых действительно есть заболевание. Алгоритм считается точным на 90%", - отмечает Менье.

Однако для здоровья людей в конечном итоге более важным является именно диагностика заболевания у 10 человек, которым необходимо лечиться, а не установление того, что 90 человек оказались здоровыми.

Штрафы против ИИ

В проведенном исследовании Минье и профессор Янся Сан показывают, как алгоритмы ML могут быть значительно улучшены для медицинских целей. Они использовали логистическую регрессию, дерево решений, XG Boost и алгоритмы случайного леса.

Это контролируемые алгоритмы бинарной классификации. Это означает, что роботы извлекают уроки только из предоставленных им наборов данных "да / нет’". Исследователи заложили чувствительность к затратам в каждый из алгоритмов.

То есть алгоритм получает гораздо больший штраф за сообщение больному человеку в наборе данных, что он здоров, чем наоборот. С медицинской точки зрения, алгоритмы получают большие штрафы за ложноотрицательные результаты, чем за ложноположительные.

Результаты исследования указывают, что штрафы работают именно так, как задумано в этих наборах данных, то есть увеличивают точность постановки диагноза.

Например, для хронического заболевания почек алгоритм случайного леса имел точность 0,972 и отзыв 0,946 из 1000 возможных. После добавления чувствительности к затратам алгоритм значительно улучшился до точности 0,990 и отзыва с идеальным коэффициентом 1,000. Отзыв трех других алгоритмов улучшился с высоких баллов до идеальных 1,000.

Точность в 1,000 означает, что алгоритм не предсказал одно или более ложных срабатываний по всему набору данных. Отзыв на уровне 1,000 означает, что алгоритм не предсказал один или более ложных отрицательных результатов по всему набору данных.