На недавней конференции Intel Innovation генеральный директор Intel Пат Гелсингер анонсировал скорый выход "ИИ-ПК" - персональных компьютеров, оптимизированных для ускорения широкого спектра задач искусственного интеллекта без подключения к интернету.

Intel не одинока в своих устремлениях. Крупнейшие IT-компании, такие как Apple и Qualcomm, активно разрабатывают аппаратные и программные решения для локального исполнения нейросетей на пользовательских устройствах вместо удаленных серверов в облаке. Цель - персонализированный ИИ, настолько естественно интегрированный в нашу жизнь, что мы перестанем замечать в нем "искусственность".

Однако на пути воплощения этой мечты возникли препятствия. Сегодня наиболее мощные ИИ-модели требуют дорогостоящего специализированного железа и высокоскоростного интернет-соединения. Даже при доступе к удаленным вычислительным мощностям отклик таких систем, как ChatGPT, может замедляться из-за перегрузки серверов.

Паллави Махаджан, вице-президент Intel, подчеркнула, что сегодня около 50% задач ИИ выполняются на устройствах пользователей, в основном благодаря обработке естественного языка и компьютерному зрению. Тем не менее, наиболее мощные модели ИИ в настоящее время зависят от дата-центров, что ограничивает их скорость и доступность.

Оливер Лемон, профессор компьютерных наук в Эдинбургском университете, рассказал о своём опыте работы с крупными языковыми моделями, отмечая их недостаточную скорость для реальных задач. Вместо этого его команда использовала более маленькую модель Vicuna-13B от Meta.

Компании теперь активно разрабатывают инструменты для локального выполнения ИИ, такие как OpenVINO от Intel и Core ML от Apple. Это не только ускоряет работу ИИ, но и улучшает конфиденциальность данных, поскольку вся обработка происходит на устройстве пользователя.

Примером такого подхода является приложение Rewind для Mac и PC, которое позволяет выполнять сложные задачи ИИ, включая поиск удаленных писем и файлов, локально на устройстве пользователя.

Новые чипы Qualcomm Snapdragon позволят использовать мощные модели ИИ, такие как Llama 2 от Meta, непосредственно на смартфонах без необходимости подключения к Интернету.

Эти инновации не только улучшают производительность и конфиденциальность, но и открывают новые возможности для умных помощников и бытовых устройств, обеспечивая интеллектуальные возможности даже при ограниченных ресурсах.

Похоже, отрасль движется к новой парадигме - когда мощный ИИ "на краю сети" станет привычной частью наших устройств.

Источник: SecurityLab.ru