Компанія Google планує представити нове покоління власних чипів для штучного інтелекту, зосереджених на прискоренні відповідей моделей.
Про це повідомляє Bloomberg.
Йдеться про спеціалізовані процесори — TPU (tensor processing units), які Google розробляє вже понад десятиліття. Якщо раніше компанія фокусувалася на чипах для навчання моделей, то тепер увага зміщується на inference — тобто швидке виконання запитів уже навченими моделями.
Головний науковець Google Джефф Дін пояснив, що зі зростанням попиту на миттєві відповіді логічно створювати більш вузькоспеціалізовані чипи — окремо для навчання і окремо для виконання завдань. Очікується, що нові TPU представлять уже цього тижня (20-26 квітня) на конференції Google Cloud Next.
Наразі ринок ШІ-чипів домінує NVIDIA з її GPU. Водночас конкуренція за сегмент inference швидко зростає: компанії прагнуть зменшити затримки у відповідях ШІ та здешевити обчислення.
Як зазначає Bloomberg, попит на ці чипи вже різко зріс. Серед клієнтів — навіть конкуренти Google. Meta уклала багатомільярдну угоду на використання TPU через Google Cloud, а Anthropic отримала доступ до масштабної інфраструктури — до мільйона чипів.
Водночас компанія стикається з викликами: дефіцитом чипів і складністю прогнозування потреб. Розробка одного покоління процесорів займає роки, тоді як ШІ-моделі змінюються значно швидше.
