Регулирующий орган Великобритании в области медицинского оборудования признал, что у него есть опасения по поводу поддерживаемого венчурным капиталом создателя чат-бота с искусственным интеллектом Babylon Health. Это было сделано в письме, отправленном врачу, который с 2017 года бьет тревогу по поводу подхода Вавилона к безопасности пациентов и корпоративному управлению.

Вчера HSJ сообщил о письме MHRA доктору Дэвиду Уоткинсу. TechCrunch рассмотрел письмо (см. Ниже), датированное 4 декабря 2020 г. Мы также увидели дополнительный контекст того, что обсуждалось на встрече, упомянутой в письме, а также просмотр другой переписки между Уоткинс и регулирующий орган, в котором он подробно описывает ряд широких проблем.

В интервью он подчеркнул, что проблемы, связанные с акциями регулирующих органов, «намного шире», чем (важный, но) единственный вопрос безопасности чат-ботов.

«Эти вопросы касаются корпоративного управления в стране. компания – как они подходят к вопросам безопасности. Как они подходят к людям, которые поднимают вопросы о безопасности », – сказал Уоткинс TechCrunch. «Вот в чем проблема. И некоторые из этических норм в отношении неправильной рекламы медицинских устройств.

«Общая история такова, что они действительно продвигали что-то, что было опасно ошибочным. Они сделали вводящие в заблуждение утверждения относительно того, как следует использовать [the chatbot] – его предполагаемое использование – с [Babylon CEO] Али Парса, продвигающим его как «диагностическую» систему, чего никогда не было. Чат-бот никогда не был одобрен для «диагностики» ».

« На мой взгляд, в 2018 году MHRA должно было занять гораздо более жесткую позицию в отношении Вавилона и дать понять общественности, что сделанные заявления были ложными – и что технология не была одобрена для использования в том виде, в каком ее продвигал Вавилон », – продолжил он. «Это должно было произойти, но этого не произошло, потому что правила в то время не соответствовали цели».

«На самом деле не существует процесса одобрения регулирующих органов для этих технологий, и законодательство не требует наличия компании. действовать этично », – сказал нам Уоткинс. «Мы полагаемся на то, что сектор медицинских технологий будет вести себя ответственно».

Консультант-онколог начал поднимать тревогу в отношении Вавилона с регулирующими органами Великобритании (CQC / MHRA) еще в феврале 2017 года – первоначально из-за «очевидного отсутствия каких-либо надежных клинических данных». тестирование или валидация », – поясняет он в корреспонденции регулирующих органов. Однако, когда Вавилон решил отрицать проблемы и продолжать атаку против критиков, его опасения усилились.

Признание регулирующим органом по медицинскому оборудованию того, что все опасения Уоткинса «действительны» и «те, которые мы разделяем», подрывает уклончивую PR-тактику Вавилона из воды.

«Вавилон не может сказать, что они всегда придерживались нормативных требований – иногда они не придерживались нормативных требований. На разных этапах разработки своей системы Уоткинс также сообщил нам, добавив: «Вавилон никогда не относился к вопросам безопасности так серьезно, как следовало бы. Следовательно, этот вопрос затягивается более чем на три года ».

За это время компания шла вперед, подписывая широкомасштабные сделки по« оцифровке »с поставщиками медицинских услуг по всему миру, включая 10-летнее соглашение, согласованное с город Вулверхэмптон в Великобритании в прошлом году, чтобы предоставить интегрированное приложение, предназначенное для охвата 300 000 человек.

У него также есть 10-летнее соглашение с правительством Руанды о поддержке оцифровки своей системы здравоохранения, в том числе с помощью цифровой сортировки . Другие рынки, на которые она выходит, включают США, Канаду и Саудовскую Аравию.

Вавилон заявляет, что теперь охватывает более 20 миллионов пациентов и провел 8 миллионов консультаций и «взаимодействий с ИИ» по всему миру. Но соответствует ли она высоким стандартам, которые люди ожидают от компании, производящей медицинское оборудование?

Вопросы безопасности, этики и корпоративного управления

В письменном резюме от 22 октября видеозвонка между Уоткинсом и регулятором по медицинскому оборудованию Великобритании 24 сентября прошлого года он резюмирует то, что обсуждалось, следующим образом: «Я обсудил и подробно остановился на каждом из вопросов. пункты, указанные в документе, в частности; вводящие в заблуждение заявления, опасные изъяны и попытки Вавилона отрицать / подавлять проблемы безопасности ».

В своем отчете об этой встрече Уоткинс продолжает:« Похоже, было общее согласие с тем, что корпоративное поведение и управление Вавилона были ниже стандарты, ожидаемые от медицинского устройства / поставщика медицинских услуг ».

« Мне сообщили, что Babylon Health не будет проявлять снисходительность (учитывая их отношения с [UK health secretary] Мэттом Хэнкоком) », – также отмечает он в резюме – ссылка на Хэнкок с энтузиазмом пользуется приложением Babylon «GP at hand» (за которое в 2018 году его обвинили в нарушении министерского кодекса).

В отдельном документе, который Уоткинс собрал и отправил регулирующему органу в прошлом году, он подробно описывает 14 проблемных областей, включая вопросы безопасности сортировки чат-бота Babylon; «Вводящие в заблуждение и противоречивые» положения и условия, которые, по его словам, противоречат рекламным заявлениям, сделанным с целью разрекламировать продукт; а также то, что он описывает как «множество этических и управленческих проблем», в том числе его агрессивный ответ любому, кто выражает озабоченность по поводу безопасности и эффективности его технологии.

Это включало публичную кампанию нападок на самого Уоткинса, которая мы отчитывались за прошлый год; а также то, что он перечисляет в документе как «юридические угрозы во избежание проверки и негативное освещение в СМИ».

Здесь он отмечает, что ответ Вавилона на проблемы безопасности, которые он поднял еще в 2018 году – о которых сообщил HSJ – также должен был пойти на атаку, когда компания утверждала, что «заинтересованные стороны» распространяли «ложные утверждения» в попытке «увидеть нашу неудачу».

« Обвинения не были ложными, и ясно, что Вавилон решил ввести в заблуждение читателей HSJ решив подвергнуть пациентов риску причинения вреда, чтобы защитить свою собственную репутацию», – пишет Уоткинс в соответствующем комментарии регулирующему органу.

Далее он указывает, что в мае 2018 года MHRA самостоятельно уведомило Babylon Health о двух инцидентах, связанных с безопасностью его чат-бота (один включая пропущенные симптомы сердца ttack, еще один пропущенный симптом ТГВ) – тем не менее, в следующем месяце компания продолжала публично опровергать отчет HSJ (который озаглавлен: « Регулирующие органы расследуют опасения по поводу« чат-бота »Вавилона» ).

Более широкие проблемы управления и операционной деятельности, которые Уоткинс поднимает в документе, включают использование Babylon соглашений о неразглашении информации сотрудникам, что, по его мнению, ведет к культуре внутри компании, когда сотрудники чувствуют себя неспособными говорить о любых проблемах безопасности, которые могут у них возникнуть; и то, что он называет «неадекватной бдительностью медицинского устройства» (при этом он говорит, что бот «Вавилон» обычно не запрашивает обратную связь по результатам сортировки пациентов после исходов, утверждая, что: «Отсутствие какой-либо надежной системы обратной связи существенно снижает способность выявлять неблагоприятные исходы».

Re: неприкрашенные мнения персонала, интересно отметить, что рейтинг Glassdoor у Babylon на момент написания составляет всего 2,9 звезды, при этом лишь меньшинство рецензентов заявили, что порекомендовали бы компанию другу, и рейтинг одобрения Парсы как Генеральный директор также всего 45% в совокупности. («Технология устарела и несовершенна», – пишет один обозреватель Glassdoor, который числится в настоящее время сотрудником Babylon Health, работающим в качестве клинического сотрудника в Ванкувере, Канада, где регуляторы конфиденциальности проводят открытое расследование своего приложения. Среди перечисленных недостатков в В обзоре с одной звездой говорится: «Благополучие пациентов не рассматривается в качестве приоритета. Настоящая шутка для здравоохранения. Лучше избегать».

Отчет Пера Уоткинса о его онлайн-встрече с MHRA , он говорит, что регулирующий орган согласился с тем, что соглашения о неразглашении "проблематичны" и влияют на способность сотрудников высказываться по вопросам безопасности.

Он также пишет, что было признано, что сотрудники Babylon могут опасаться высказываться из-за юридических угроз. В его протоколе также говорится, что: «Был сделан комментарий о том, что MHRA может рассматривать вопросы, поднятые анонимно».

В резюме своих опасений по поводу Вавилона Уоткинс также отмечает событие 2018 года, которое компания провела в Лондоне. для продвижения своего чат-бота – во время которого он пишет, что он сделал ряд «вводящих в заблуждение заявлений», например, что его ИИ выдает рекомендации по здоровью, которые «находятся на одном уровне с лучшими практикующими врачами».

Яркие заявления привели к Блиц гиперболических заголовков о возможностях бота – помог Вавилону создать ажиотаж в то время, когда он, вероятно, предлагал инвесторам привлечь дополнительное финансирование.

Лондонский стартап был оценен в 2 миллиарда долларов + в 2019 году, когда он привлек массивный раунд серии C в размере 550 миллионов долларов от инвесторов, в том числе Государственного инвестиционного фонда Саудовской Аравии и крупной (неназванной) американской страховой компании, а также фонда ERGO от страхового гиганта Munich Re. в Европе e или США для доставки цифрового здравоохранения.

«Следует отметить, что Babylon Health никогда не отменяла и не пыталась исправить вводящие в заблуждение заявления, сделанные на мероприятии AI Test Event [which generated press coverage it’s still using as a promotional tool on its website in certain jurisdictions]», – пишет Уоткинс регулирующему органу. «Следовательно, сохраняется постоянный риск того, что общественность чрезмерно поверит в непроверенное медицинское устройство Вавилона».

В своем резюме он также включает несколько фрагментов анонимной переписки от ряда людей, утверждающих, что работают (или работали) в компании. Вавилон – что делает ряд дополнительных заявлений. «Инвесторы испытывают огромное давление, чтобы продемонстрировать доходность», – пишет один из них. «Все, что замедляет это замедление, [a] можно избежать»

«Обвинения, выдвинутые против Babylon Health, не являются ложными и были выдвинуты добросовестно в интересах безопасности пациентов», – продолжает Уоткинс в своем резюме. к регулятору. «Неоднократные попытки Вавилона активно дискредитировать меня как человека вызывают серьезные вопросы относительно их корпоративной культуры и надежности как поставщика медицинских услуг».

В своем письме Уоткинсу (скриншот ниже) MHRA сообщает ему: «Вы обеспокоены этим. все действительные и те, которые мы разделяем ».

Далее следует поблагодарить его за то, что он лично и публично поднял вопросы« со значительным риском для себя ».

Письмо MHRA доктору Дэвид Уоткинс (снимок экрана: TechCrunch)

В Вавилон обратились за ответом на подтверждение MHRA озабоченности Уоткинса. На момент написания он не ответил на наш запрос о комментариях.

Стартап сообщил HSJ, что он соответствует всем местным требованиям регулирующих органов стран, в которых он работает, добавив: «Вавилон привержен соблюдению самых высоких требований. стандартов, когда речь идет о безопасности пациентов ».

В одном вышеупомянутом агрессивном инциденте в прошлом году Вавилон выпустил пресс-релиз, в котором критиковал Уоткинса как« тролля »и пытался дискредитировать его работу, чтобы подчеркнуть проблемы безопасности при сортировке.

Он также заявил, что его технология была «проверена NHS как« безопасная услуга 10 раз ».

Непонятно, о каком процессе проверки Вавилон имел в виду там – и Уоткинс также отмечает и запрашивает, что утверждал в своей переписке с MHRA, написав: «Насколько мне известно, чат-бот Babylon не прошел валидацию – в этом случае их пресс-релиз вводит в заблуждение».

В письме MHRA, тем временем, ясно говорится, что текущая Нормативный режим Великобритании в отношении медицинских устройств на основе программного обеспечения неадекватно распространяется на программные устройства «healthtech», такие как чат-бот Babylon.

Пер Уоткинс, в настоящее время нет процесса утверждения. Такие устройства просто регистрируются в MHRA, но нет никаких юридических требований, чтобы регулирующий орган оценивал их или даже получал документацию, связанную с их разработкой. Он говорит, что они существуют независимо – реестр ведет MHRA.

«Вы подняли сложный набор вопросов, и есть несколько аспектов, которые выходят за рамки нашей текущей компетенции», – признается в письме регулирующий орган. «Это выдвигает на первый план некоторые вопросы, которые мы изучаем дальше и которые могут быть важны, поскольку мы разрабатываем новую нормативную базу для медицинских устройств в Великобритании».

Обновление общеевропейских нормативов в отношении медицинских устройств, которое внесет новые требования для медицинских устройств на основе программного обеспечения и изначально планировалось внедрить в Великобритании в мае прошлого года – больше не будет иметь место, поскольку страна вышла из блока.

Вместо этого Великобритания находится в процессе разработки своей собственное обновление нормативных требований к медицинским устройствам. Это означает, что все еще существует пробел в программном обеспечении «healthtech», который, как ожидается, не будет полностью восполнен в ближайшие несколько лет. (Хотя Уоткинс отмечает, что в режиме были внесены некоторые изменения, такие как частичная отмена требований конфиденциальности в прошлом году.)

В своей речи в прошлом году министр здравоохранения Хэнкок сказал парламенту, что с правительством намерено сформулировать систему регулирования для медицинские устройства, которые «достаточно маневренны», чтобы идти в ногу с технологическими разработками, такими как носимые устройства для здоровья и искусственный интеллект, при «поддержании и повышении безопасности пациентов». Он будет включать в себя предоставление MHRA «новых полномочий сообщать представителям общественности о любых проблемах безопасности, связанных с устройством», – сказал он тогда.

Между тем существующий (устаревший) режим регулирования, похоже, продолжает связывать полномочия регулирующего органа. руки – по крайней мере, в отношении того, что они могут публично сказать о проблемах безопасности. Для этого Уоткинсу потребовалось опубликовать свое письмо к нему.

В письме MHRA пишет, что «конфиденциальность, к сожалению, не позволяет нам говорить больше о каком-либо конкретном расследовании», хотя он также говорит ему: «Пожалуйста, будьте уверены, что ваш опасения принимаются всерьез, и если нужно будет принять меры, то мы это сделаем ».

« Судя по формулировке письма, я думаю, было ясно, что они хотели передать мне сообщение о том, что мы вас слышим. , что мы понимаем, о чем вы говорите, мы принимаем во внимание озабоченность, которую вы выразили, но мы ограничены тем, что мы можем сделать », – сказал нам Уоткинс. опасения, которые он высказал за последние три года, – отметив, что компания внесла ряд изменений после того, как он поднял конкретные вопросы (например, в ее Условиях и положениях, в которых изначально говорилось, что это не медицинское устройство, но впоследствии были отозваны и изменены, чтобы признать, что это так; или утверждает, что он сделал, что чат бот «на 100% безопасен», которые были отозваны – после вмешательства Управления по стандартам рекламы в этом случае).

Сам чат-бот также был изменен, чтобы уделять меньше внимания диагностике как результату и большему вниманию к сортировке результат, согласно Уоткинсу.

«Они приняли поэтапный подход [to addressing safety issues with chatbot triage]. Поэтому я бы отметил проблему [publicly via Twitter]и они рассмотрели бы только эту очень конкретную проблему. Пациенты этого возраста, проводившие эту точную сортировку – «хорошо, мы это исправим, мы исправим это», – и они устанавливали [specific fix]. Но, к сожалению, они никогда не уделяли времени рассмотрению более широких фундаментальных проблем внутри системы. Следовательно, проблемы с безопасностью будут постоянно возникать », – сказал он, приведя примеры множества проблем с кардиологической диагностикой, которые он также поднял с регулирующим органом.

« Когда я разговаривал с людьми, которые работают в Вавилоне, им приходилось делать это раньше. жесткие исправления… Все, что им нужно было сделать, это просто немного «потупить». Так, например, любому, у кого боль в груди, сразу же нужно обратиться в отделение неотложной помощи. Они уберут из него любой мыслительный процесс », – добавил он.

« Вот как они со временем решили эти проблемы. Но он подчеркивает проблемы и трудности в разработке этих инструментов. Это не легко. И если вы попытаетесь сделать это быстро и не уделите этому достаточно внимания, вы просто получите что-то бесполезное ».

Уоткинс также подозревает, что MHRA причастно к тому, чтобы Вавилон удалил определенные фрагменты гиперболических рекламных материалов. связанный с событием AI 2018 на своем веб-сайте.

В одном любопытном эпизоде, также связанном с событием 2018 года, генеральный директор Babylon продемонстрировал интерфейс на основе AI, который, казалось, показывал транскрипцию слов пациента в реальном времени в сочетании с эмоциями. -сканирование ИИ – который, по его словам, сканировал выражения лица в режиме реального времени, чтобы оценить, как человек себя чувствует, – Парса продолжал говорить аудитории: «Это то, что мы сделали. Вот что мы построили. Все это не для галочки. Все это будет либо на рынке, либо уже на рынке ».

Однако ни одна функция еще не была представлена ​​на рынке Babylon. Отвечая на вопрос об этом в прошлом месяце, стартап сказал TechCrunch: «Функциональность обнаружения эмоций, которую мы видели в старых версиях демонстрации нашего клинического портала, была разработана и создана командой AI Babylon . Вавилон проводит обширные пользовательские испытания, поэтому наши технологии постоянно развиваются для удовлетворения потребностей наших пациентов и врачей. После предпродажного пользовательского тестирования с нашими клиницистами мы отдали приоритет другим функциям, управляемым ИИ, на нашем клиническом портале, а не функции распознавания эмоций, с акцентом на улучшение операционных аспектов нашей службы ».

« Я определенно нашел [the MHRA’s letter] очень обнадеживающим, и я сильно подозреваю, что MHRA взаимодействует с Вавилоном для решения проблем, выявленных за последние три года », – сказал нам Уоткинс сегодня. «Судя по всему, MHRA не игнорирует проблемы, но Вавилон просто отрицает какие-либо проблемы и может придерживаться положений о конфиденциальности».

В заявлении о текущей нормативной ситуации в отношении программных медицинских устройств в Великобритании MHRA сообщило нам:

MHRA гарантирует, что производители медицинских устройств соблюдают Правила о медицинских устройствах 2002 года (с поправками). См. Существующее руководство.

Закон о лекарственных средствах и медицинских изделиях 2021 года обеспечивает основу для новой усовершенствованной нормативной базы, которая разрабатывается в настоящее время. В нем будут рассмотрены все аспекты регулирования медицинских устройств, включая правила классификации рисков, которые применяются к программному обеспечению как медицинскому устройству (SaMD).

Великобритания продолжит признавать устройства с маркировкой CE до 1 июля 2023 года. Знак UKCA должен быть соблюден. Это будет включать пересмотренные требования новой структуры, которая в настоящее время разрабатывается.

Закон о лекарственных средствах и медицинских устройствах 2021 года позволяет MHRA осуществлять свою регулирующую деятельность с большей степенью прозрачности и обмениваться информацией там, где это отвечает интересам безопасность пациентов.

Регулирующий орган отказался от интервью или ответа на вопросы о проблемах, которые он говорит в письме Уоткинсу, которое он делится о Вавилоне, говоря нам: « MHRA расследует все опасения, но не комментирует отдельных случаев ».

« Безопасность пациентов имеет первостепенное значение, и мы всегда будем расследовать, где есть опасения по поводу безопасности, включая обсуждение этих проблем с лицами, которые сообщают о них », – добавил он.

Уоткинс поднял еще один важный момент. проблема безопасности пациентов для «передовых» технических инструментов – вопрос, где же «реальные клинические данные»? По его словам, пока что исследования, которые приходится проводить пациентам, являются ограниченными оценками, часто выполняемыми самими создателями чат-ботов.

«Одно очень красноречиво об этом секторе – это тот факт, что там очень мало данных о реальной жизни», он сказал. «Эти чат-боты существуют уже несколько лет… И было достаточно времени, чтобы получить реальные клинические данные, но они еще не появились, и вы просто задаетесь вопросом, это потому, что в реальной жизни они на самом деле не настолько же полезны, насколько мы думаем? »