Метод
Как мы проверяем
Откуда берутся утверждения в статьях, как ставится уровень доказательности, что делает ИИ и чего он не делает.
Коротко
- Источник каждого утверждения — исследование из PubMed, ссылка стоит прямо в тексте.
- У каждого вывода есть уровень доказательности от A до D. Он зависит от того, какие исследования за ним стоят, а не от того, насколько уверенно звучит текст.
- Статьи пишет ИИ. Проверяют их программа и два независимых ИИ-проверяющих от разных разработчиков. Врач статьи не читает, и мы пишем об этом в каждой статье.
- Мы ничего не продаём: ни добавок, ни консультаций, ни рекламы.
Уровни доказательности
| Уровень | Что стоит за выводом |
|---|---|
| A | Мета-анализ или систематический обзор рандомизированных исследований, результат согласован |
| B | Отдельные рандомизированные исследования или мета-анализ с заметными оговорками |
| C | Наблюдательные исследования, обзоры, мнение экспертов |
| D | Исследования на животных — или данных почти нет |
Потолок уровня задаёт дизайн исследований. Если за выводом только наблюдательные работы, он не получит A, даже если их много и они согласны между собой. Программа проверяет это у каждого утверждения до публикации.
Уровень описывает надёжность вывода, а не размер эффекта. Вывод «креатин почти не влияет на выносливость» может иметь уровень A: это надёжно установленный отрицательный результат.
Как делается статья
1. Поиск. Тема делится на подтемы, по каждой — запросы в PubMed с фильтром «мета-анализы, систематические обзоры, рандомизированные исследования, люди». Отдельным проходом ищем свежие мета-анализы за пять лет: обычная сортировка их часто прячет. ИИ называет ключевые работы по теме, но в статью они попадают, только если нашлись в PubMed с тем же названием и первым автором. Остальные отбрасываются как возможно выдуманные.
2. Таблица доказательств. Из каждой аннотации извлекаются дизайн, участники, главный результат и числа. Программа сверяет, что каждое число действительно есть в тексте аннотации. Для части работ дополнительно читаем раздел об ограничениях в полном тексте.
3. Текст. ИИ-редактор пишет статью только по этой таблице, с меткой источника у каждого утверждения. Писать «из памяти» он не может: утверждение без источника из таблицы программа не пропустит.
4. Проверка кодом. Все ссылки ведут на работы из таблицы, все числа есть в источниках, уровень не выше потолка, нет запрещённых формулировок вроде «доказано, что лечит».
5. Фактчек. Два ИИ-проверяющих от разных разработчиков независимо сверяют каждое утверждение с источниками. Отдельно они ищут исследования, которые противоречат выводам статьи, — найденное добавляется в таблицу и разбирается в тексте. Всё, что отметил хотя бы один проверяющий, исправляется или отклоняется с обоснованием.
6. Повторный фактчек после правки. Цифры по каждой статье — в блоке «Как сделана эта статья» внизу страницы.
Ограничения
- Мы читаем в основном аннотации. В полном тексте бывают оговорки, которых в аннотации нет.
- PubMed — не вся наука. Исследования с отрицательным результатом публикуют реже, и это касается любого обзора, не только нашего.
- ИИ ошибается. Двойная проверка снижает число ошибок, но не убирает их совсем. Поэтому у каждого утверждения есть ссылка: её можно открыть и проверить самому.
- Врач статьи не проверяет. Разделы, где ошибка опаснее всего — почки, лекарства, психика, беременность, — помечены в статьях как «красная зона»: прежде чем что-то менять, обсудите это с врачом.
- Мы пишем о здоровых взрослых. Если у вас есть болезнь или вы принимаете лекарства, решение о добавках — вместе с врачом.
Почему мы открыто пишем, что это ИИ
Можно было бы подписать статьи вымышленным «доктором». Мы этого не делаем. Доверие здесь должно держаться на проверяемости: на ссылках, уровнях и описании метода. А не на имени автора, которое нельзя проверить.
Ошибки и исправления
Если нашли ошибку, напишите нам. Исправление попадёт в статью, а запись о нём — в журнал исправлений. Журнал не чистим.