Meta вкладе мільярди у виклики надінтелектуальності

Meta Platforms проводить реорганізацію свого підрозділу штучного інтелекту, створивши нову лабораторію під назвою “Суперінтелект”, та обіцяє багатомільярдні інвестиції для розробки системи, що перевершує людські когнітивні здібності. Цей крок став відповіддю на низку невдалих продуктів, гучні звільнення та внутрішні суперечки щодо майбутнього досліджень у сфері штучного інтелекту в соціальній мережі.

Реорганізація та зміна керівництва

Згідно з останніми повідомленнями, генеральний директор Meta Марк Цукерберг залучив 28-річного Олександра Ванга, засновника Scale AI, для спільного керівництва новим дослідницьким центром. У рамках угоди Meta веде переговори про значні інвестиції в капітал Scale AI та пропонує пакети утримання з семизначними та дев’ятизначними сумами, щоб залучити десятки провідних дослідників з конкурентів, таких як OpenAI, Google DeepMind та Microsoft Research.

“Суперінтелект — це не просто модне слово, це межа, де поєднуються необроблені обчислювальні потужності, нові алгоритми та величезні набори даних”, — зазначив Цукерберг під час нещодавнього дзвінка з інвесторами.

Що таке Суперінтелект?

Суперінтелект позначає систему штучного інтелекту, яка може перевершувати найкращих людських експертів у практично всіх економічно цінних завданнях. Ця концепція є наступним кроком після Штучного Загального Інтелекту (AGI), який намагається досягти людської універсальності та здатності до навчання без необхідності в масштабному специфічному навчанні.

Однак у цій галузі немає чіткої математичної дефініції. Хоча сучасні моделі штучного інтелекту — особливо великі мовні моделі (LLM) з сотнями мільярдів параметрів — демонструють відмінні результати у вузьких завданнях (наприклад, у складній синтезі коду або мультимодальному сприйнятті), жодна з них поки не демонструє адаптивне мислення чи автономію, яку передбачає концепція суперінтелекту.

Технічна інфраструктура та масштабованість

Meta вже інвестує в спеціалізоване обладнання та модернізацію дата-центрів, щоб задовольнити астрономічні обчислювальні потреби для навчання трансформерів з 500 мільярдами параметрів:

• Впровадження NVIDIA H100 та тестування нових H200 графічних процесорів з оптимізаціями для Transformer Engine.
• Інтеграція власних AI-акселераторів Meta, кодова назва “Рудра”, з 7-нм технологічними вузлами та кастомними масивами Tensor Core.
• Масштабування на глобальній мережі Meta, використовуючи оптичні з’єднання на 400 Гбіт/с та відкритий програмний інтерфейс Triton для злиття ядер.
• Впровадження модуля компіляції PyTorch 2.0 та внутрішньої бібліотеки FlashAttention для зменшення витрат пам’яті та підвищення швидкості навчання до 2 разів.

Технічні виклики у досягненні Суперінтелекту

Незважаючи на величезні інвестиції, залишаються ключові бар’єри:

1. Алгоритмічні інновації: Масштабування щільних архітектур трансформерів стикається зі зменшенням віддачі. Дослідники погоджуються, що можуть знадобитися нові парадигми — такі як Нейро-Символічні Гібридні Моделі або навчання на основі енергії — для досягнення справжньої абстракції та мислення.
2. Ефективність даних: Сучасні LLM споживають петабайти текстових та зображеневих даних з вебу. Система суперінтелекту повинна мати можливість самоосвіти, безперервного навчання та здатності курації високоякісних мультимодальних наборів даних в реальному часі.
3. Інтерпретованість та верифікація: З кількістю параметрів у трильйонах формальна верифікація стає непосильним завданням. Інструменти пояснювального AI все ще перебувають на початковій стадії та не можуть надати гарантії щодо нових поведінкових проявів.

“Ми досі не знаємо, як визначити або виміряти справжній інтелект”, — сказала доктор Маргарет Мітчел, співзасновниця команди Етичного AI у Hugging Face. “Будь-яке твердження про суперінтелект повинно базуватися на прозорих метриках та суворих перевірках безпеки.”

Безпека, етика та управління

Лабораторія суперінтелекту Meta включатиме внутрішню етичну раду з питань AI та зовнішні партнерства з організаціями, такими як Партнерство з AI та Центр людської сумісності AI в UC Berkeley. Основні ініціативи включають:

• Впровадження тестування з червоною командою для виявлення вразливостей моделей.
• Розробка протоколів узгодженості AI, таких як моделювання винагороди з людським зворотним зв’язком (RLHF) та масштабовані рівні контролю.
• Публікація відкритих еталонів та випуск аудитів моделей для відновлення довіри після суперечок щодо еталонів Llama 4 минулого року.

Порівняння з галуззю: Глобальна гонка за AGI

Meta не є єдиною компанією, що прагне досягти суперінтелекту:

• OpenAI нещодавно випустила GPT-4 Turbo з змішаною точністю квантовання, вказуючи на потенційні шляхи до AGI через оркестрацію на рівні системи.
• Anthropic представила Claude 3, акцентуючи увагу на конституційному AI та механізмах контролю для запобігання шкідливим результатам.
• DeepMind продовжує досліджувати Gato та архітектуру Perceiver для єдиного мультимодального інтелекту.
• Колишній головний науковець OpenAI Ілля Сутскевер заснував Safe Superintelligence, стартап, що зосереджується виключно на безпечному розвитку AI-систем наступного покоління.

Перспективи та наступні кроки

Meta планує представити перші результати досліджень до четвертого кварталу 2025 року, включаючи прототипи моделей, навчений на ексаскалярних кластерах. Хоча “суперінтелект” залишається динамічною метою, готовність компанії інвестувати безпрецедентні кошти та залучати провідні таланти підкреслює високі ставки в гонці озброєнь у сфері штучного інтелекту.