Генеральный директор Anthropic Дарио Амодей заявил в подкасте In Good Company, что разрабатываемые сегодня ИИ-модели могут стоить до $1 млрд для обучения. Текущие модели, такие как ChatGPT-4o, стоят около $100 млн, но он ожидает, что стоимость обучения этих моделей вырастет до $10 млрд или даже $100 млрд уже через три года.

Амодей упомянул эти цифры, обсуждая развитие ИИ от генеративного искусственного интеллекта (как ChatGPT) до искусственного общего интеллекта (AGI). Он сказал, что не будет единой точки, где мы внезапно достигнем AGI. Вместо этого, это будет постепенное развитие, где модели будут основываться на достижениях предыдущих моделей, подобно тому, как учится ребенок.

Если модели ИИ становятся в десять раз мощнее каждый год, мы можем рационально ожидать, что оборудование, необходимое для их обучения, также будет как минимум в десять раз мощнее. Таким образом, железо может стать крупнейшим фактором затрат в обучении ИИ. В 2023 году сообщалось, что ChatGPT требует более 30 000 GPU, а Сэм Альтман подтвердил, что обучение ChatGPT-4 стоило $100 млн.

В прошлом году более 3,8 миллиона GPU были поставлены в дата-центры. С учетом того, что новейший ИИ-чип Nvidia B200 стоит около $30 000-$40 000, мы можем предположить, что оценка Дарио в миллиард долларов соответствует 2024 году. Если прогресс в исследованиях моделей/квантизации будет расти нынешними темпами, то можно ожидать, что требования к железу будут соответствовать, если только более эффективные технологии, такие как ИИ-чип Sohu, не станут более распространенными.

При этом экспоненциальный рост уже наблюдается. Илон Маск хочет приобрести 300 000 ИИ-чипов B200, в то время как OpenAI и Microsoft, по сообщениям, планируют дата-центр ИИ за $100 млрд. При таком спросе мы можем увидеть, как поставки GPU для дата-центров в следующем году вырастут до 38 миллионов, если Nvidia и другие поставщики смогут удовлетворить потребности рынка.

Однако, помимо поставок самого железа, эти ИИ-компании должны беспокоиться также о электроснабжении и связанной инфраструктуре. Общее расчетное энергопотребление всех GPU для дата-центров, проданных только в прошлом году, может обеспечить электроэнергией 1,3 миллиона домов. Если требования к энергопотреблению дата-центров продолжат расти, то возможно, что мы можем столкнуться с нехваткой экономически выгодного электричества. По этой причине многие технологические компании, включая Microsoft, теперь рассматривают возможность использования модульной ядерной энергии для своих дата-центров.