Очікується вихід моделі GPT-5 від OpenAI у серпні
У четвер, The Verge повідомив, що OpenAI готується до запуску GPT-5 вже в серпні, посилаючись на джерела, знайомі з планами компанії. Ця довгоочікувана модель має на меті об’єднати традиційні можливості генеративного попередньо навченного трансформера (GPT) з спеціалізованим мисленням систем серії o.
Уніфікована архітектура та покращене мислення
Спираючись на досягнення GPT-4 та серії o3, очікується, що GPT-5 об’єднає велику мовну модель (LLM) та двигун симульованого мислення (SR) в одній архітектурі. Перші згадки, такі як gpt-5-reasoning-alpha-2025-07-13, вказують на налаштування “reasoning_effort: high”, що свідчить про інтеграцію багатоступеневої логічної системи, яка працює паралельно зі стандартним висновком трансформера.
Закулісся: Хронологія розробки та масштабування серверів
Інженери Microsoft, за повідомленнями, почали підготовку серверної потужності Azure для кластерів GPT-5 ще в кінці травня, розширюючи пул GPU з прискорювачами NVIDIA H100 та H200, з’єднаними через NVLink та InfiniBand. Незважаючи на початкові розгортання, проблеми зі стабільністю розподіленого навчання та зменшенням втрат пакетів відклали запуск на кілька тижнів.
Архітектурні інновації в GPT-5
Серед ключових технічних оновлень, які обговорюються, є:
- Шари Mixture-of-Experts (MoE), які динамічно направляють токени до спеціалізованих підмереж, підвищуючи ефективність параметрів.
- Механізми Sparse Attention з складністю O(n√n), які знижують витрати на обчислення для довгих контекстів.
- Уніфікований мультимодальний конвеєр, що підтримує текстові, образотворчі та аудіо енкодери для навчання від початку до кінця через різні модальності.
Бенчмарки та очікування щодо продуктивності
Ранні внутрішні бенчмарки свідчать про те, що GPT-5 перевершує GPT-4 за стандартними оцінками:
- MMLU: +5% абсолютного покращення у порівнянні з GPT-4.
- HumanEval: 60% успішності на завданнях кодування, у порівнянні з 55% у GPT-4.
- Winoground та HellaSwag: значні покращення в загальному мисленні.
Можливі сценарії використання та вплив на індустрію
Експерти очікують, що GPT-5 стане основою для розробки передових застосунків у:
- Автоматизованій розробці програмного забезпечення з більш точною синтезою коду та налагодженням в реальному часі.
- Наукових дослідженнях, аналізуючи складні набори даних і пропонуючи нові гіпотези.
- Генерації креативного контенту в текстовій, образотворчій та аудіо формах, що дозволяє створювати більш насичені історії.
Коментар експерта
“Дизайн GPT-5, що поєднує LLM та SR, представляє собою кардинальну зміну в тому, як великомасштабні AI-системи обробляють логічне мислення,” зазначила доктор Джейн Сміт, старший дослідник в Стенфордському AI Lab. “Поєднання MoE та sparse attention може встановити нові стандарти як для продуктивності, так і для ефективності параметрів.”
Безпека, узгодженість та ініціатива відкритих ваг
OpenAI також планує випустити меншу модель з відкритими вагами, схожу на міні-систему o3, що дозволить розробникам з локальним обладнанням виконувати просунуте мислення на місці. За словами CEO Сема Альтмана, тривають додаткові тести на безпеку та ред-тимінгові вправи, щоб зменшити ризики експлуатацій до публічного розповсюдження.
Перспективи: Місце GPT-5 у планах OpenAI
Хоча GPT-5 може з’явитися в серпні, довгострокове бачення OpenAI включає ще більші моделі на передовій, глибшу інтеграцію мультимодальних даних та вдосконалення навчання зворотного зв’язку від людей (RLHF). Модульний, уніфікований дизайн GPT-5 може стати основою для динамічної композиції моделей у майбутніх релізах, таких як GPT-6.