Товары для здоровья на основе искусственного интеллекта или ИИ проникают в нашу жизнь, от приложений виртуальных врачей до носимых датчиков и чат-ботов в аптеке.
IBM хвасталась, что ее ИИ может "не думать о раке." Другие говорят, что компьютерные системы, считывающие рентгеновские лучи, сделают радиологов устаревшими.
"Нет ничего из того, что я видел за 30 с лишним лет изучения медицины, что могло бы быть столь же действенным и преобразующим" как AI, сказал доктор. Эрик Тополь, кардиолог и исполнительный вице-президент Scripps Research в Ла-Хойя, Калифорния. По словам Тополя, ИИ может помочь врачам интерпретировать МРТ сердца, компьютерную томографию головы и фотографии задней части глаза и потенциально может взять на себя многие повседневные медицинские дела, освобождая врачей больше времени на разговоры с пациентами.
Даже Управление по санитарному надзору за качеством пищевых продуктов и медикаментов, которое одобрило более 40 продуктов искусственного интеллекта за последние пять лет, говорит "потенциал цифрового здравоохранения – не что иное, как революционный."
Тем не менее, многие эксперты отрасли здравоохранения опасаются, что продукты на основе ИИ не смогут оправдать шумиху. Многие врачи и защитники прав потребителей опасаются, что технологическая индустрия, живущая этой мантрой, "быстро потерпеть неудачу и исправить это позже," подвергает пациентов риску, и регулирующие органы не делают достаточно для обеспечения безопасности потребителей.
По словам Милдред Чо, профессора педиатрии Стэнфордского центра биомедицинской этики, ранние эксперименты с искусственным интеллектом дают повод для осторожности.
По словам Чо, системы, разработанные в одной больнице, часто терпят неудачу при развертывании в другом учреждении. Было доказано, что программное обеспечение, используемое для ухода за миллионами американцев, дискриминирует меньшинства. И системы искусственного интеллекта иногда учатся делать прогнозы на основе факторов, которые имеют меньшее отношение к болезни, чем марка используемого аппарата МРТ, время сдачи анализа крови или посещение пациента капелланом. В одном случае программное обеспечение ИИ ошибочно пришло к выводу, что люди с пневмонией с меньшей вероятностью умрут, если у них будет астма – ошибка, из-за которой врачи могли лишить пациентов с астмой дополнительной помощи, в которой они нуждались.
"Это лишь вопрос времени, когда что-то подобное приведет к серьезным проблемам со здоровьем," сказал доктор. Стивен Ниссен, председатель кардиологического отделения клиники Кливленда.
Медицинский ИИ, который собрал 1 доллар.6 миллиардов венчурных инвестиций только в третьем квартале – это "почти на пике завышенных ожиданий," заключил июльский отчет исследовательской компании Gartner. "По мере того, как реальность будет проверена, вероятно, произойдет резкое сползание в корыто разочарования."
Эта проверка на практике может привести к разочаровывающим результатам, когда продукты искусственного интеллекта появятся в реальном мире. Даже Тополь, автор "Глубокая медицина: как искусственный интеллект может снова сделать здравоохранение человеком," признает, что многие продукты искусственного интеллекта – это не более чем горячий воздух. "Это смешанная сумка," он сказал.
Такие эксперты, как Dr. Боб Кочер, партнер венчурной компании Venrock, резок. "У большинства продуктов искусственного интеллекта мало доказательств, подтверждающих их," Кохер сказал. Некоторые риски не станут очевидными, пока система искусственного интеллекта не будет использована большим количеством пациентов. "Мы продолжим обнаруживать целый ряд рисков и непредвиденных последствий использования ИИ для обработки медицинских данных," Кохер сказал.
Ни один из продуктов искусственного интеллекта, продаваемых в США.S. были протестированы в рандомизированных клинических испытаниях, что является сильнейшим источником медицинских доказательств, – сказал Тополь. Первое и единственное рандомизированное исследование системы искусственного интеллекта, которое показало, что колоноскопия с компьютерной диагностикой обнаруживает больше мелких полипов, чем стандартная колоноскопия, было опубликовано в Интернете в октябре.
Согласно январской статье в European Journal of Clinical Investigation, немногие технологические стартапы публикуют свои исследования в рецензируемых журналах, что позволяет другим ученым тщательно изучить их работу. Такой "исследование скрытности"- описывается только в пресс-релизах или рекламных мероприятиях – часто преувеличивает достижения компании.
И хотя разработчики программного обеспечения могут похвастаться точностью своих устройств ИИ, эксперты отмечают, что модели ИИ в основном тестируются на компьютерах, а не в больницах или других медицинских учреждениях. Использование непроверенного ПО "может превратить пациентов в ничего не подозревающих морских свинок," сказал доктор. Рон Ли, директор по медицинской информатике по клинической интеграции ИИ в Stanford Health Care.
Системы искусственного интеллекта, которые учатся распознавать закономерности в данных, часто описываются как "черные ящики" потому что даже их разработчики не знают, как они пришли к своим выводам. «Учитывая, что искусственный интеллект настолько нов, а многие его риски неизвестны – эта область нуждается в тщательном надзоре», – сказала Пилар Оссорио, профессор права и биоэтики в Университете Висконсин-Мэдисон.
Тем не менее, большинство устройств искусственного интеллекта не требуют одобрения FDA.
"Ни одна из компаний, в которые я инвестировал, не подпадают под действие правил FDA," Кохер сказал.
Законодательство, принятое Конгрессом в 2016 году и поддержанное технологической индустрией, освобождает многие типы медицинского программного обеспечения от федеральной проверки, включая определенные фитнес-приложения, электронные медицинские записи и инструменты, которые помогают врачам принимать медицинские решения.
Согласно отчету об искусственном интеллекте, опубликованному в декабре, было проведено мало исследований о том, действительно ли 320000 медицинских приложений, используемых в настоящее время, улучшают здоровье. 17 Национальная Медицинская Академия.
"Практически ни один из средств (ИИ), предлагаемых пациентам, действительно не работает," сказал доктор. Иезекииль Эмануэль, профессор медицинской этики и политики в области здравоохранения Медицинской школы Перельмана Пенсильванского университета.
FDA уже давно сосредоточило свое внимание на устройствах, которые представляют наибольшую опасность для пациентов. И защитники прав потребителей признают, что некоторые устройства – например, те, которые помогают людям подсчитывать их ежедневные шаги – требуют меньшего внимания, чем те, которые используются для диагностики или лечения заболеваний.
Согласно исследованию 2018 года, опубликованному в Annals of Internal Medicine, некоторые разработчики программного обеспечения не утруждают себя обращением за разрешением или разрешением FDA, даже если это требуется по закону.
Отраслевые аналитики говорят, что разработчики ИИ мало заинтересованы в проведении дорогостоящих и трудоемких испытаний. "Для этих фирм не является главной заботой подвергаться строгой оценке, которая будет опубликована в рецензируемом журнале," сказал Йоахим Роски, директор Booz Allen Hamilton, консалтинговой компании по технологиям, и соавтор отчета Национальной академии наук. "Это не так, как U.S. экономика работает."
Но Орен Эциони, главный исполнительный директор Института ИИ Аллена в Сиэтле, сказал, что у разработчиков ИИ есть финансовый стимул, чтобы убедиться, что их медицинская продукция безопасна.
"Если быстрый провал означает, что погибнет целая группа людей, я не думаю, что мы хотим быстро потерпеть неудачу," Эциони сказал. "Никто, в том числе инвесторы, не будет счастлив, если люди умрут или серьезно пострадают."
Расслабляющие стандарты в FDA
В последние годы FDA подверглось критике за разрешение продажи опасных медицинских устройств, которые Международный консорциум журналистов-расследователей связывает с 80 000 смертей и 1.7 миллионов травм за последнее десятилетие.
Многие из этих устройств были допущены к использованию в результате неоднозначного процесса, называемого 510 (k) pathway, который позволяет компаниям продавать "умеренный риск" продукты, не прошедшие клинических испытаний, если они считаются аналогичными существующим устройствам.
В 2011 году комитет Национальной медицинской академии пришел к выводу, что процесс 510 (k) настолько фундаментально ошибочен, что FDA следует выбросить его и начать заново.
Вместо этого FDA использует этот процесс для одобрения устройств AI.
Согласно ноябрьской статье в JAMA, из 14 продуктов искусственного интеллекта, разрешенных FDA в 2017 и 2018 годах, 11 прошли процедуру 510 (k). Согласно исследованию, ни один из них не прошел новых клинических испытаний. FDA одобрило устройство искусственного интеллекта, предназначенное для диагностики рака печени и легких, в 2018 году на основании его сходства с программным обеспечением для визуализации, одобренным 20 лет назад. Само это программное обеспечение было удалено, потому что считалось "по существу эквивалентный" к продуктам, выпущенным на рынок до 1976 г.
Продукты искусственного интеллекта, одобренные FDA сегодня, в основном "заперто," так что их расчеты и результаты не изменятся после того, как они выйдут на рынок, сказал Бакул Патель, директор по цифровому здоровью в Центре устройств и радиологического здоровья FDA. FDA еще не разрешило "разблокирован" Устройства с искусственным интеллектом, результаты которых могут меняться от месяца к месяцу, и разработчики не могут их предсказать.
Чтобы справиться с потоком продуктов ИИ, FDA тестирует радикально иной подход к регулированию цифровых устройств, уделяя особое внимание оценке компаний, а не продуктов.
Пилот FDA "предварительная сертификация" программа, запущенная в 2017 году, предназначена для "сократить время и стоимость выхода на рынок для разработчиков программного обеспечения," навязывание "наименее обременительный" система возможна. Представители FDA заявляют, что хотят идти в ногу с разработчиками программного обеспечения ИИ, которые обновляют свои продукты гораздо чаще, чем производители традиционных устройств, таких как рентгеновские аппараты.
Скотт Готтлиб сказал в 2017 году, когда он был комиссаром FDA, что государственные регулирующие органы должны убедиться, что их подход к инновационным продуктам "эффективен и способствует, а не препятствует инновациям."
Согласно плану, FDA будет предварительно сертифицировать компании, которые "продемонстрировать культуру качества и организационного превосходства," что позволит им предоставлять меньше предварительных данных об устройствах.
Предварительно сертифицированные компании могут выпускать устройства с "обтекаемый" обзор – или вообще никакого обзора FDA. Как только продукты появятся на рынке, компании будут нести ответственность за мониторинг безопасности своих продуктов и отчитываться перед FDA. Для пилотного проекта было выбрано девять компаний: Apple, FitBit, Samsung, Johnson & Johnson, Pear Therapeutics, Phosphorus, Roche, Tidepool и Verily Life Sciences.
Продукты с высоким уровнем риска, такие как программное обеспечение, используемое в кардиостимуляторах, по-прежнему будут проходить всестороннюю оценку FDA. "Мы определенно не хотим, чтобы пациенты пострадали," – сказал Пател, отметив, что устройства, прошедшие предварительную сертификацию, могут быть отозваны при необходимости. "Осталось еще много ограждений."
Но исследования показывают, что даже устройства с низким и умеренным риском были отозваны из-за серьезного риска для пациентов, сказала Дайана Цукерман, президент Национального центра исследований в области здравоохранения. "Людям может быть причинен вред, потому что не требовалось доказывать точность или безопасность чего-либо, прежде чем оно будет широко использовано."
Джонсон & Джонсон, например, вспомнил имплантаты бедра и хирургическую сетку.
В серии писем в FDA, Американская медицинская ассоциация и другие поставили под сомнение целесообразность предоставления компаниям возможности контролировать свою производительность и безопасность продукции.
"Система чести не является нормативным режимом," сказал доктор. Джесси Эренфельд, председатель попечительского совета группы врачей.
В октябрьском письме в FDA Sens. Элизабет Уоррен (штат Массачусетс.), Тина Смит (D-Minn.) и Пэтти Мюррей (D-Wash.) поставил под сомнение способность агентства обеспечивать, чтобы отчеты компании по безопасности "точный, своевременный и основанный на всей доступной информации."
Когда хорошие алгоритмы становятся плохими
Некоторые устройства искусственного интеллекта тестируются более тщательно, чем другие.
Инструмент для скрининга диабетической болезни глаз на базе искусственного интеллекта был изучен у 900 пациентов в 10 отделениях первичной медико-санитарной помощи, прежде чем был одобрен в 2018 году. Производитель, IDx Technologies, работал с FDA в течение восьми лет, чтобы получить правильный продукт, сказал д-р. Майкл Абрамофф, основатель и исполнительный председатель компании.
Тест, продаваемый как IDx-DR, проверяет пациентов на диабетическую ретинопатию, ведущую причину слепоты, и направляет пациентов из группы высокого риска к глазным специалистам, которые ставят окончательный диагноз.
IDx-DR – первая "автономный" Продукт искусственного интеллекта – тот, который может принять решение о проверке без врача. Сейчас компания устанавливает его в поликлиниках и продуктовых магазинах, где им могут управлять сотрудники с аттестатом об окончании средней школы. Компания Абрамоффа пошла на необычный шаг, купив страховку ответственности для покрытия любых травм пациента.
Тем не менее, некоторые инновации на основе искусственного интеллекта, направленные на улучшение медицинского обслуживания, дали противоположный эффект.
Канадская компания, например, разработала программное обеспечение искусственного интеллекта для прогнозирования риска болезни Альцгеймера для человека на основе его речи. Для одних пациентов прогнозы были более точными, чем для других. "Трудности с поиском нужного слова могут быть связаны с незнанием английского языка, а не с когнитивными нарушениями," сказал соавтор Фрэнк Рудзич, доцент информатики в Университете Торонто.
Врачи нью-йоркской больницы Mount Sinai надеялись, что искусственный интеллект поможет им использовать рентген грудной клетки, чтобы предсказать, какие пациенты подвержены высокому риску пневмонии. Хотя система делала точные прогнозы на основе рентгеновских лучей, сделанных на горе Синай, технология провалилась при тестировании на изображениях, сделанных в других больницах. В конце концов, исследователи поняли, что компьютер просто научился отличать портативные рентгеновские снимки грудной клетки этой больницы, сделанные у постели пациента, и рентгеновские снимки, сделанные в отделении радиологии. Врачи, как правило, используют портативные рентгеновские снимки грудной клетки пациентам, которые слишком больны, чтобы покинуть свою палату, поэтому неудивительно, что у этих пациентов был более высокий риск заражения легких.
DeepMind, компания, принадлежащая Google, создала мобильное приложение на основе искусственного интеллекта, которое может предсказать, у каких госпитализированных пациентов разовьется острая почечная недостаточность, за 48 часов. Сообщение в блоге на веб-сайте DeepMind описало систему, используемую в лондонской больнице, как "игровой чейнджер." Но, согласно июльскому исследованию, проведенному в Nature, система искусственного интеллекта также выдавала два ложных сигнала тревоги для каждого правильного результата. Это может объяснить, почему функция почек у пациентов не улучшилась, – сказал доктор. Саураб Джа, адъюнкт-профессор радиологии в больнице Пенсильванского университета. Любая польза от раннего выявления серьезных проблем с почками могла быть сведена на нет высоким уровнем "гипердиагностика," в котором система искусственного интеллекта выявила пограничные проблемы с почками, которые не нуждались в лечении, сказал Джа. Google никак не прокомментировал выводы Джа.
По словам Джа, ложные срабатывания могут навредить пациентам, поскольку они побуждают врачей заказывать ненужные анализы или отказываться от рекомендованного лечения. Например, врач, обеспокоенный состоянием почек пациента, может прекратить назначать ибупрофен – обычно безопасное обезболивающее, которое представляет небольшой риск для функции почек – в пользу опиоида, который несет серьезный риск привыкания.
Как показывают эти исследования, программное обеспечение, показывающее впечатляющие результаты в компьютерной лаборатории, может дать сбой при тестировании в реальном времени, сказал Чо из Стэнфорда. Это потому, что болезни более сложны, а система здравоохранения гораздо более дисфункциональна, чем предполагают многие компьютерные ученые.
По словам Чо, многие разработчики ИИ отбраковывают электронные медицинские карты, потому что они содержат огромное количество подробных данных. Но эти разработчики часто не осознают, что строят на глубоко сломанной системе. Электронные медицинские карты были разработаны для выставления счетов, а не для обслуживания пациентов, и содержат ошибки или отсутствующие данные.
Исследование KHN, опубликованное в марте, обнаружило иногда опасные для жизни ошибки в списках лекарств пациентов, лабораторных тестах и аллергических реакциях.
Ввиду связанных с этим рисков врачи должны вмешаться, чтобы защитить интересы своих пациентов, – сказал д-р. Викас Сайни, кардиолог и президент некоммерческой организации Lown Institute, выступающей за более широкий доступ к медицинскому обслуживанию.
"Хотя работа предпринимателей – мыслить масштабно и рисковать," Шайни сказал, "работа врачей – защищать своих пациентов."