Согласно последним исследованиям, так называемый искусственный интеллект развивается стремительно. Например, он способен обманывать пользователей, даже если делать это запретили разработчики, а модели ChatGPT удалось пройти пятиминутный тест Тьюринга. При этом нейросети, умеющие писать стихи, создали такие тексты, которые не только оказалось легко спутать с человеческой поэзией, но и которые понравились читателям больше, чем творчество писателей-классиков.

Разработчики представили языковую модель, которая переводит с одного языка на другой точнее аналогов / © Автор неизвестен, stock.adobe.com

Международная команда ученых из нескольких IT-компаний и университетов представила новую модель искусственного интеллекта, которая позволяет переводить с одного языка на другой текст и звучащую речь. Описание проекта, качество работы которого превосходит существующие системы, опубликовал научный журнал Nature.

Модель под названием SEAMLESSM4T работает в нескольких режимах:

— speech-to-speech (получает на вход звучащую речь и выдает перевод реплики, озвученный голосом автора запроса или любым другим голосом в зависимости от задачи),

— speech-to-text (превращает звучащую речь в текст и переводит на другой язык, не озвучивая),

— text-to-speech (преобразует текст на одном языке в звучащую речь на другом),

— text-to-text (получает на вход текст и переводит его на другой язык, не преобразовывая в звучащую речь),

— automatic speech recognition (автоматическое распознавание речи; модель преобразует звучащую речь в текст без перевода).

Качество работы новой модели признали более высоким по сравнению с системами, которые существовали до этого. Для перевода speech-to-speech значение метрики accuracy, которая показывает долю правильных ответов нейросети среди всех предсказаний, оказалось на 23% больше, чем у аналогов. В этом режиме SEAMLESSM4T способна переводить со 101 языка на 36 языков.

Для других режимов также поддерживается большое количество языков. Перевод speech-to-text осуществляется со 101 языка на 96 языков, text-to-speech — с 96 языков на 36 языков. Для полностью текстового перевода и автоматического распознавания речи доступны 96 языков.

У SEAMLESSM4T есть функции, позволяющие на 50% лучше аналогов приглушать фоновый шум и подстраиваться под изменения громкости голоса. Кроме того, модель прошла проверку на безопасность перевода: ее можно считать нетоксичной и не подверженной гендерным стереотипам.