Штучний інтелект Meta: віддзеркалення помилок у метавсесвіті

Вступ

У недавньому мемо для всіх співробітників генеральний директор Meta Марк Цукерберг представив амбітний план щодо створення особистої «суперінтелектуальної системи для всіх», анонсуючи заснування Meta Superintelligence Labs та обіцяючи розробку передових моделей протягом року. Чотири роки тому аналогічний рівень захоплення оточував ставку Цукерберга на метавсесвіт — занурювальну віртуальну реальність, яка досі не досягла масштабів. Оскільки Meta переходить від VR-гарнітур до великих нейронних мереж, історія може повторитися.

Від Метавсесвіту до Meta Superintelligence Labs

У своїй промові на Facebook Connect 2021 Цукерберг перетворив компанію на Meta і пообіцяв революцію у «просторових обчисленнях». Сьогодні Meta активно залучає провідних фахівців з OpenAI, Anthropic, DeepMind та інших, пропонуючи компенсаційні пакети, які, за повідомленнями, можуть сягати до 300 мільйонів доларів за чотири роки, хоча компанія заперечує будь-які спотворення інформації про розміри пакетів. Щойно створені Superintelligence Labs зосередяться на:

• Моделях наступного покоління трансформерів (понад масштаб GPT-4).
• Багатофункціональних моделях, що поєднують текст, зображення, звук та 3D-просторові дані.
• Інференції на пристрої для легких AR-окулярів і гарнітур.
• Масштабованих навчальних пайплайнах з використанням власного кластеру Cyberscale Meta з 200 PFLOPS.

Візія та реальність

У своїй суті пропозиція Цукерберга вражаюче схожа на маніфест метавсесвіту 2021 року:

“Ця нова ера для людства побачить, як ШІ не лише генерує фотографії та код, а й постійно взаємодіє з нами — передбачаючи наші потреби, персоналізуючи кожен досвід і розкриваючи надлюдську креативність.”

Проте, хоча Meta заявляє про мільярд активних користувачів щомісяця на AI-фільтрах Instagram та чат-ботах FB Messenger, її платформа метавсесвіту Horizon Worlds досі залучає менш ніж 10 тисяч одночасних відвідувачів, багато з яких описують її як «місто-привид». Інженерні команди всередині компанії скаржаться на безладний код, який розглядається як «3D мобільний додаток», а фонд у 50 мільйонів доларів для творців тихо не виправдовує очікувань.

Технічні перешкоди та вимоги до обчислень

Для виконання обіцянки Цукерберга щодо суперінтелекту потрібно подолати значні труднощі:

1. Масштабування моделі та ефективність. Сучасні моделі, такі як GPT-4, використовують близько 175 мільярдів параметрів і вимагають 30 екзафлопсів обчислювальних потужностей для навчання. Дорожня карта Meta натякає на моделі з >500 мільярдів параметрів, але їх навчання може перевищити 50 мільйонів доларів за запуск, якщо витрати відповідатимуть нинішнім цінам на GPU.
2. Якість даних та узгодженість. Експерт з етики ШІ доктор Емілі Бендер попереджає, що «масштабування саме по собі не вирішить проблему галюцинацій; потрібні надійні техніки узгодження, валідація з участю людини та динамічні зворотні зв’язки». Попередні спроби Meta у модерації контенту демонструють, що масштабна людська анотація є як дорогою, так і схильною до упереджень.
3. Апаратура для всепроникної інференції. Для досягнення інтелекту на пристрої для AR-окулярів потрібна затримка менше мілісекунди при споживанні <1 ват енергії. Прототипи окулярів Meta, які досі коштують 10 000 доларів за одиницю, працюють на кастомних чіпах Qualcomm Snapdragon, але їм бракує нейронних процесорних одиниць (NPU), необхідних для тривалої інференції в реальному часі.

Екосистема третіх сторін та конкурентне середовище

На відміну від раннього метавсесвіту, де Meta сподівалася зайняти домінуючу позицію, нинішня екосистема ШІ є децентралізованою та надзвичайно конкурентною:

• Дорожня карта GPT-5 від OpenAI націлена на 400 мільярдів параметрів і генерацію з підключенням до баз даних.
• Claude 3 від Anthropic зосереджується на конституційному ШІ для мінімізації шкідливих виходів.
• Серія LLM Gemini від Google DeepMind інтегрується з пошуковою індексацією Google та тензорними процесорними одиницями (TPU).
• Стартапи, такі як Inflection AI (Pi) та Mistral (Mixtral), займають ніші у спеціалізованих вертикалях: біотехнології, фінанси та ігри.

Перевага Meta полягає в її величезних даних соціальної графіки та глобальній інфраструктурі, але її конкуренти вже забезпечили ключові партнерства (наприклад, інтеграція з Azure від Microsoft) та значні бюджети на обчислення.

Регуляторні, етичні та суспільні аспекти

Ставки на суперінтелект вищі, ніж у випадку з VR-пісочницею:

• Регуляторний контроль. Інститут безпеки ШІ США та Закон про ШІ ЄС вимагають аудитів, прозорості та оцінки ризиків, що можуть затримати випуски моделей на місяці.
• Конфіденційність даних. Навчання на особистих повідомленнях, зображеннях і соціальних графах викликає занепокоєння щодо GDPR та CCPA, якщо інференція відбувається в хмарі.
• Соціально-економічний вплив. Прогнози Всесвітнього економічного форуму свідчать, що до 30% ролей у сфері обслуговування клієнтів можуть бути автоматизовані за п’ять років — що перегукується з власним прогнозом Цукерберга про те, що ШІ вирішить «багато проблем» протягом 3-5 років.
• Етична узгодженість. Експерти з управління ШІ, такі як доктор Тімніт Гебру, попереджають, що «без різноманітного контролю потужні моделі можуть закріпити упередження, дезінформацію та спостереження».

Додатковий аналіз: Інфраструктура та операції на масштабах

Перехід Meta від монолітної архітектури дата-центрів до гібридної хмарної моделі є ключовим для підтримки досліджень і розробок у сфері ШІ:

• Пайплайн від краю до хмари. Оновлення моделей в реальному часі надходять з дослідницьких кампусів Meta в Силіконовій долині до глобальних точок присутності, зменшуючи затримку інференції з 150 мс до менше 20 мс на основних ринках.
• Кастомні прискорювачі ШІ. Проект внутрішніх «Meta AI Chip» має на меті забезпечити вдвічі вищу продуктивність на ват у порівнянні з GPU NVIDIA A100 до 2026 року.
• DevOps та MLOps. Внутрішні команди використовують Kubernetes, Bazel та власні Folly C++ бібліотеки Meta для організації навчальних завдань, управління великим обсягом даних та автоматизації безперервної інтеграції для моделей ШІ.

Додатковий аналіз: Екосистема розробників та творців

Meta сподівається уникнути витоку талантів, який переслідував її зусилля у метавсесвіті, створюючи надійну підтримку для сторонніх розробників:

• Маркетплейс моделей ШІ. Централізований хаб, де розробники можуть публікувати, монетизувати та налаштовувати власні моделі, використовуючи API Meta.
• Відкриті програмні фреймворки. Розширення PyTorch з оптимізаціями FlashAttention від Meta та випуск ваг моделей під ліцензіями з широкими правами.
• Гранти для творців. Фонд у 250 мільйонів доларів для стартапів та освітніх установ для прототипування додатків ШІ у сферах охорони здоров’я, освіти та автоматизації малих бізнесів.

Висновок

Перехід Meta від метавсесвіту до суперінтелекту є сміливим кроком, однак він переплітається з попередніми обіцянками ери VR. Величезні дані соціальної графіки, інфраструктура та бюджет на дослідження надають компанії переваги, але технічні, регуляторні та етичні виклики залишаються серйозними. Чи зможуть Meta Superintelligence Labs реалізувати візію «особистих надлюдських інструментів» — покаже час. Після 60 мільярдів доларів збитків у метавсесвіті, спостерігачі галузі чекатимуть на реальні досягнення — масштабовані випуски моделей, залучення сторонніх розробників та підвищення продуктивності у реальному світі — перш ніж повірити, що ШІ відкриє нову версію інтернету.