В 2015 году Дженнифер Бирн, исследовательница рака из Сиднейского университета, заметила кое-что странное, просматривая статьи, связанные с её прошлыми исследованиями. В нескольких статьях, недавно опубликованных отдельными исследовательскими группами, экспрессия гена, который она клонировала в 1990-х годах, связывалась с различными видами рака. Бирн, которая более двух десятилетий изучала гены, связанные с раком, вспоминала: «Это показалось мне странным, потому что в течение многих лет никто не интересовался этим геном». На самом деле, когда Бирн и её коллеги изучали этот ген, они с самого начала поняли, что доказательств того, что этот ген является важным фактором развития рака, недостаточно. «Если мы, люди, которые клонировали этот ген, не интересовались им в контексте рака, то почему кто-то другой должен интересоваться?» — задалась она вопросом.

Когда она изучила детали статей, включая разделы о методах и материалах, она заметила несколько ошибок в нуклеотидных последовательностях. «[Нуклеотидные последовательности] не были второстепенными для исследования; они были его основой, поэтому, если они были неверными, то неверными были все результаты», — сказала Бирн.

Бирн была в шоке; она хотела знать, что происходит. «Нас учили именно этому, так что я сделала именно это. Копаясь, я поняла, что таких бумаг было гораздо больше», — сказала она.

Для Бирна и сообщества учёных и исследователей, которые ещё несколько лет назад пытались справиться с растущей проблемой загрязнения научной литературы, ситуация только ухудшается. Многие опасаются, что недавнее появление инструментов искусственного интеллекта (ИИ) упростит создание поддельных статей и усложнит их обнаружение. Новые инструменты помогают выявлять проблемные статьи, например, с некорректными изображениями, бессмысленным текстом и неподтверждёнными реагентами, но по мере того, как методы обмана становятся всё более изощрёнными, должны развиваться и контрмеры. Учёные обращаются к ИИ для борьбы с ИИ, но существующие инструменты обнаружения далеки от того, чтобы стать панацеей.

В связи с ростом числа проблемных статей смогут ли учёные определить, стоят ли они на плечах гигантов или опираются на глиняные ноги?

Обнаружение признаков плагиата и текста, созданного искусственным интеллектом

За последнее десятилетие Бирн постепенно переключила своё внимание с генетики рака на проблемы научной добросовестности, которые, по её мнению, мешали развитию её области. Однако сложно доказать, что статья сфальсифицирована; воспроизвести каждый эксперимент, описанный в статье, дорого и занимает много времени. «Вот почему мы ищем обходные пути», — сказала Бирн.

После того как Бирн обнаружила подозрительно похожие статьи о раке, она объединилась с учёным-компьютерщиком Сирилом Лаббе из Университета Гренобль-Альпы, чтобы разработать инструменты для автоматизации детективной работы, которую она выполняла вручную. Наряду с программой, которая проверяет идентичность нуклеотидных последовательностей, они также разработали инструмент для обнаружения непроверяемых линий человеческих клеток. Эти инструменты были интегрированы в более крупную программу под названием Problematic Paper Screener, которую возглавляет Гийом Кабанак, специалист по информационным технологиям из Тулузского университета.

Кабанак начал работать над «Проблематичным скринером» вместе с Лаббе ещё в 2020 году, чтобы выявлять грамматические шаблоны в текстах, созданных популярными генераторами случайных текстов, такими как SCIgen и Mathgen, которые генерируют профессионально выглядящие работы по информатике или математике соответственно. Однако при ближайшем рассмотрении оказывается, что эти работы бессмысленны и написаны по шаблону. «Мы бы использовали это как отпечатки пальцев, как на месте преступления», — сказал Кабанак. С тех пор программа расширилась и теперь включает в себя несколько инструментов для обнаружения, в том числе детектор искажённых фраз, который выявляет статьи, содержащие странные цепочки текста, которые инструмент для перефразирования SpinBot использует вместо устоявшихся научных терминов, таких как «заболевание груди» вместо «рак груди» и «фальшивое сознание» вместо «искусственный интеллект».  Однако к тому времени, когда исследователи разработали новые методы обнаружения этих признаков мошенничества, недобросовестные исследования уже начали развиваться.

Всего пару лет спустя был выпущен ChatGPT, большая языковая модель (LLM) от OpenAI. Теперь любой может задавать виртуальному помощнику по написанию текстов последовательные запросы, чтобы генерировать и редактировать текст, который выглядит как написанный человеком и не содержит классических признаков плагиата, которые исследователи используют для выявления проблемных статей. «Они намного умнее, — сказал Кабанак. — Они создают действительно хороший текст».

Поскольку LLM и генераторы контента на основе ИИ создают всё более сложные и убедительные тексты, инструменты, на которые учёные полагались для выявления научного мошенничества, вскоре могут устареть. «Мы обнаружили, что сейчас статьи становятся всё более сложными, по крайней мере те, которые мы изучаем», — сказал Бирн.

Хотя до сих пор ведутся споры о том, является ли текст, сгенерированный искусственным интеллектом, плагиатом, это не единственная проблема, с которой сталкиваются учёные, когда дело доходит до передачи подготовки публикаций LLM. В настоящее время LLM страдают от галлюцинаций, генерируя грамматически правильный, но бессмысленный, вводящий в заблуждение или неточный текст. Поэтому для выявления поддельных результатов и цитат, а также для предотвращения распространения ложной информации по-прежнему необходим контроль со стороны человека. Многие опасаются, что бумажные фабрики уже широко используют LLM для создания поддельных документов, изобилующих недостоверными научными данными, но выявить контент, созданный искусственным интеллектом, который обучается на человеческом тексте, непросто.

Из-за ограничений, связанных с авторскими правами, наборы обучающих данных для больших языковых моделей в основном состоят из старых текстов начала XX века. В результате некоторые исследователи использовали частоту употребления определённых слов, которые были популярны в то время, но с тех пор вышли из обихода, в качестве доказательства существования генеративного ИИ. Однако, по мнению Кабанака, это не является однозначным доказательством; он предпочитает искать очевидные следы. Летом 2023 года, всего через полгода после того, как ChatGPT стал доступен широкой публике, он обнаружил их в литературе. «Я нашёл несколько доказательств — неопровержимых улик — связанных с использованием ChatGPT в научных публикациях», — сказал Кабанак.

Например, когда чат-боту предлагалось сгенерировать текст о будущих направлениях исследования, он мог начать ответ со слов «Как языковая модель ИИ, я не могу предсказывать будущее», и эти утверждения попадали в опубликованные статьи. «Я обнаружил, что это действительно ужасно, потому что это означает, что рецензирование в данном случае не выявило эту очевидную проблему», — сказал Кабанак.

Выявление нарушений в исследованиях в эпоху искусственного интеллекта

В 2023 году научные журналы отозвали почти 14 000 статей по сравнению с примерно 2000 за десять лет до этого. В большинстве случаев причиной был плагиат и сомнения в подлинности данных, при этом во многих статьях были явные «следы» недобросовестного исследования.

В течение многих лет в литературе публиковались статьи с бессмысленным текстом, необычными фразами, неподтверждёнными реагентами и обработанными изображениями. Теперь появляется всё больше доказательств того, что контент генерируется большими языковыми моделями и системами на основе искусственного интеллекта (ИИ).

Однако, поскольку мошенники постоянно разрабатывают новые методы, чтобы обойти существующие средства защиты, инструменты обнаружения должны развиваться быстрее, чтобы не отставать от мошенников.

Заточка объектива: ИИ-манипуляции с изображениями в фокусе

Изображения, являющиеся важным элементом обзорных и оригинальных исследовательских работ, не застрахованы от уловок мошенников, стремящихся обмануть. Те, кто часто пользуется социальными сетями, могут помнить широко обсуждаемую иллюстрацию с изображением крысы с огромными гениталиями. На ней были бессмысленные надписи, такие как «sterrn cells», «iollotte sserotgomar» и «dissilced», и она появилась вместе с другими сомнительными изображениями в статье, опубликованной в журнале Frontiers in Cell and Developmental Biology. (С тех пор журнал отозвал статью, отметив, что она не соответствует «стандартам редакционной и научной строгости» журнала.)

Испорченное изображение стало неприятным сюрпризом для учёных, которые узнали, что генеративный ИИ проник в научную литературу. Многие предупреждают, что это лишь верхушка айсберга. Человеческому глазу уже становится всё труднее отличить реальное изображение от поддельного, созданного ИИ.

«Всегда были люди, которые пытались обмануть и использовать технологии», — сказал Дрор Колодкин-Галь, учёный, ставший предпринимателем, и основатель Proofig AI (ранее называвшейся Proofig), компании, предоставляющей инструменты для анализа изображений. Колодкин-Галь отметил, что, хотя люди и раньше использовали программное обеспечение для манипулирования изображениями, «одновременно с этим очень страшно, что ИИ может создавать что-то настолько реалистичное».

В начале 2010-х годов Колодкин-Галь работал в Гарвардской медицинской школе в качестве постдокторанта и понял, что не существует инструментов для проверки подлинности изображений, как для проверки на плагиат в тексте. «Мы [как исследователи] проводим много работы, днём и ночью, много экспериментов, и у нас нет гарантии качества изображений», — сказал Колодкин-Галь. «Это меня довольно сильно удивило». Колодкин-Галь также не понаслышке знал, как легко перепутать микроскопические изображения, просматривая сотни похожих снимков. К счастью, по его словам, он обнаружил свою ошибку до публикации. «Я вспомнил этот случай — это могло произойти по невинной ошибке». Но не всем его знакомым так повезло, и многим пришлось столкнуться с головной болью после публикации. «После публикации — я называю это посмертным анализом», — сказал Колодкин-Галь. — Уже слишком поздно.

Колодкин-Галь решил восполнить этот технологический пробел, разработав инструмент, который исследователи и журналы могли бы использовать для выявления потенциальных проблем с изображениями, включая повторное использование, дублирование и манипуляции. В 2020 году появился Proofig AI — инструмент для анализа изображений на базе искусственного интеллекта с девизом «Публикуйте с уверенностью».

Теперь одним нажатием кнопки можно выполнять такие криминалистические задачи, как контрастирование изображений для обнаружения удалённых полос в вестерн-блоттинге, на выполнение которых вручную у научных следователей уходит несколько часов. Proofig AI также выполняет задачи, которые гораздо сложнее для людей: инструмент на основе ИИ может сравнивать изображения в документе с миллионами онлайн-изображений, которые можно использовать в коммерческих целях. В настоящее время изображения, спрятанные за платным доступом, недоступны для этого инструмента, но Колодкин-Галь сказал, что, когда дело доходит до бумажных фабрик, которые хотят создать изображения для публикации, им не нужны эти старые данные. «Они создадут их с помощью ИИ, — добавил он. — Важнее сосредоточиться на [контенте], созданном ИИ».

Научные обозреватели и научные журналы начали использовать инструменты для анализа изображений на основе ИИ, такие как Proofig AI, ImageTwin и FigCheck, для выявления проблем с целостностью изображений. Американская ассоциация по исследованию рака начала использовать Proofig AI в 2021 году, а в начале этого года главный редактор журналов Science объявил, что они начнут использовать этот инструмент во всех шести своих журналах.

В то время как на одном конце спектра находятся комично неудачные схемы анатомии самца крысы, на другом конце — пугающе реалистичные микроскопические изображения, созданные искусственным интеллектом. Недавно Колодкин-Галь и его команда выпустили новую версию своего инструмента, который, по их словам, может распознавать изображения, созданные искусственным интеллектом. «Это как эволюция вируса и антивируса. Это искусственный интеллект, распознающий искусственный интеллект — хороший искусственный интеллект, распознающий плохой искусственный интеллект», — сказал Колодкин-Галь.

Ложноположительные результаты — серьёзный недостаток инструментов ИИ-обнаружения

Вину Санкар Садасиван, аспирант четвёртого года обучения в области компьютерных наук, работает с учёным-компьютерщиком Сохейлом Фейзи в Мэрилендском университете в Колледж-Парке над вопросами безопасности и конфиденциальности в моделях генеративного ИИ. Чтобы выявить слабые места в больших языковых моделях, таких как ChatGPT, он планирует состязательные атаки, которые должны обмануть чат-боты и заставить их раскрыть риски для безопасности, которые в настоящее время скрыты, например личную информацию, которую другие пользователи использовали в качестве подсказок. «Людям важно атаковать системы, знать их уязвимые места», — сказал Садасиван. Несмотря на то, что вероятность того, что реальные злоумышленники будут атаковать такие системы, очень мала, он добавил: «Вы должны знать об этом, потому что люди могут злоупотреблять такими мощными технологиями».

В ответ на потенциальный вред, который могут нанести текст и изображения, созданные LLM, появляются новые инструменты распознавания на основе ИИ. Чтобы предотвратить злоупотребление своими сервисами LLM, такие компании, как Google, Meta и OpenAI, изучают различные системы безопасности, которые облегчат идентификацию контента, созданного ИИ. Хотя подходы к обеспечению безопасности различаются в зависимости от модальностей, Садасиван сказал, что водяные знаки, обученные нейронные сети (модели машинного обучения, которые, вдохновлённые структурой и функциями человеческого мозга, используют взаимосвязанные узлы для обработки информации) и методы, основанные на поиске, являются одними из наиболее часто используемых методов для обнаружения как текста, созданного ИИ, так и изображений. Хотя многие из этих подходов эффективны, Садасиван сказал, что они не лишены недостатков. Некоторые люди, работающие над этими вопросами, обеспокоены тем, что эти меры могут снизить качество создаваемого контента и что в задачах с ограниченным количеством возможных вариантов результата будет наблюдаться сильное сходство между тем, что написал бы человек, и тем, что сгенерировал ИИ. «На самом деле это неотъемлемая проблема, связанная с самой текстовой модальностью, поэтому она сложнее, чем изображения, потому что это дискретная область, и очень трудно добавить к ней какой-либо сигнал, чтобы она по-прежнему выглядела осмысленной и чтобы её было легче обнаружить», — сказал Садасиван.

Ещё одним ограничением, связанным с использованием этих внешних методов, применяемых генератором ИИ, является то, что для достижения успеха эти методы безопасности должны быть широко распространены. «Если у вас есть водяные знаки, вы должны убедиться, что все существующие лучшие генераторы имеют водяные знаки, — сказал Садасиван. — В противном случае люди просто будут использовать генератор без водяных знаков». Кроме того, в ответ на эти контрмеры он сказал, что компании уже предлагают услуги по удалению водяных знаков с помощью ИИ, чтобы скрыть ИИ от ИИ.

Важно уметь распознавать контент, созданный искусственным интеллектом, чтобы предотвратить его неправомерное использование, например создание поддельных научных результатов, но Садасиван и другие специалисты, работающие в этой области, показали, что детекторы ненадёжны. Он и его коллеги спланировали состязательные атаки на детекторы, которые полагаются на схемы водяных знаков, и обнаружили, что они уязвимы для атак, направленных на то, чтобы ввести детекторы в заблуждение и заставить их ошибочно помечать текст, написанный человеком, как созданный искусственным интеллектом. Инструменты для обнаружения, использующие нейронные сети, обученные на человеческом контенте и контенте, созданном искусственным интеллектом, для надёжной классификации материалов, представляют собой альтернативный метод, но они страдают от высокого процента ложных срабатываний и могут давать ложноотрицательные результаты, если им представлен новый контент, созданный искусственным интеллектом, на котором LLM не обучалась. «Из нашей статьи мы видим, что [эти] типы детекторов являются одними из худших для использования, и их можно легко обмануть», — сказал Садасиван. В июле 2023 года компания OpenAI, что многие сочли серьёзным провалом в этой области, отозвала свой ИИ-классификатор из-за низкой точности.

Когда дело доходит до распознавания изображений, созданных искусственным интеллектом, Садасиван говорит, что дела обстоят не намного лучше. «Обучение нейронной сети для распознавания изображений, созданных искусственным интеллектом, лучше, чем обучение распознаванию текста, созданного искусственным интеллектом, но всё же я бы сказал, что и то, и другое плохо». Из-за особенностей модальности всё же легче определить, является ли изображение поддельным. «Такие свойства, которые существуют в природе, не встречаются в сгенерированных изображениях», — сказал Садасиван. Генераторы изображений на основе ИИ по-прежнему допускают ошибки, которые даже для неподготовленного человека являются явным признаком подделки, включая несовпадение частей тела, лишние цифры или более детальное изображение некоторых элементов по сравнению с соседними.

Изображения людей, созданные искусственным интеллектом, сейчас легко отличить на глаз, но как насчёт микроскопических изображений клеток, экспрессирующих флуоресцентно меченые белки, которые выглядят реалистично даже для натренированного глаза?

«Я не вижу инструмента, который был бы на 100% надёжным всё время, — сказал Садасиван. — Особенно в условиях состязательности — когда противнику нужно уклоняться, он может довольно легко найти способ уклониться». Он добавил, что единственная перспективная система обнаружения ИИ, которую он может себе представить, — это система, которая может интерпретироваться, то есть объяснять пользователю, почему она считает, что текст или изображение созданы ИИ. «Если это так, то я, вероятно, мог бы использовать вмешательство человека, чтобы проверить это и вынести суждение на основе человеческого опыта, потому что в большинстве случаев это очень специфичные и чувствительные вопросы».

Колодкин-Галь гордится инструментом, который разработала его команда, но также подчёркивает важность человеческого контроля. «Proofig не является судьёй, — добавил он. — Мы выявляем потенциальные проблемы». Он сказал, что окончательное решение остаётся за редакторами журналов и авторами.