Современные большие языковые модели (LLM), такие как GPT, Claude и Gemini, оказались под угрозой, связанной с уязвимостью в кодировке Unicode. Эта уязвимость позволяет злоумышленникам использовать невидимые для человека, но распознаваемые ИИ символы для внедрения зловредных команд или извлечения конфиденциальных данных. Несмотря на ряд предпринятых мер, угроза остаётся актуальной, что вызывает серьёзные опасения в области безопасности ИИ.

Особенность стандарта Unicode, создающая эту угрозу, заключается в блоке невидимых символов, которые могут быть распознаны LLM, но не отображаются в браузерах или интерфейсах ИИ-чат-ботов. Эти символы образуют идеальный канал для скрытой передачи данных, позволяя злоумышленникам вводить вредоносные команды или извлекать пароли, финансовую информацию и другие конфиденциальные данные из таких ИИ-чат-ботов, как GPT 4.0 или Claude.

Проблема усугубляется тем, что пользователи могут неосознанно вставлять в запросы такой невидимый текст вместе с обычным, открывая тем самым дверь злоумышленникам для скрытого воздействия на ИИ-модель.

Подробнее