Штучний інтелект помиляється в Airbus під час катастрофи Air India, підкреслюючи ризики
12 червня 2025 року – У разі трагедії користувачі звертаються до Google за миттєвою інформацією. Однак після катастрофи рейсу Air India 171 функція AI Overviews помилково визначила літак як Airbus A330, тоді як насправді це був Boeing 787. Ця помилка підкреслює технічні та операційні виклики, з якими стикається генеративний штучний інтелект у процесі отримання критично важливої інформації.
Як сталася помилка
Генеративні системи штучного інтелекту, такі як AI Overviews від Google, працюють за двоступеневою схемою: модуль збору інформації, який знаходить відповідні документи, та велика мовна модель (LLM), яка формує відповідь. У цьому випадку:
- Збір інформації: Система проіндексувала десятки новинних повідомлень, в яких згадувалися як Boeing, так і його головний конкурент Airbus.
- Генерація: Модель LLM на основі трансформера (ймовірно, варіант PaLM 2) виконала вибірку з найкращих результатів при температурному параметрі близько 0.7, випадково змішавши факти з різних статей.
Невизначений характер вибірки означає, що однакові запити можуть давати різні відповіді. Деякі користувачі отримали “Boeing 787”, інші – “Airbus A330”, а деякі навіть звинуватили обох виробників одночасно.
Технічний аналіз: Чому генерація з підтримкою збору інформації зазнає невдачі
В основі AI Overviews лежить метод генерації з підтримкою збору інформації (RAG).
- Затримка індексації: Новинні стрічки оновлюються швидко — часто швидше, ніж індекс встигає оновитися.
- Злиття контексту: Коли кілька статей згадують “катастрофу Air India” та “Airbus”, LLM може надмірно акцентувати увагу на спільному згадуванні, а не на причинній релевантності.
- Відсутність перевірки фактів: Без реального крос-перевірки з надійною базою знань, модель могла помилитися.
Доктор Олена Робертс, дослідниця штучного інтелекту в Інституті відповідального AI, пояснює:
“Галюцинації виникають, коли внутрішні ймовірнісні оцінки моделі суперечать фактичній достовірності. Системи RAG потребують більш потужних шарів перевірки фактів, таких як символічна верифікація або запити до живих баз даних, щоб зменшити ризики.”
Відгуки галузі та стратегії пом’якшення наслідків
Попередження Google — “Відповіді AI можуть містити помилки” — лише поверхово торкається проблеми. Експерти радять створити багаторівневу систему захисту:
- Додаткова перевірка: Включити легкий класифікатор, який позначає малоймовірні твердження (наприклад, Airbus у катастрофі лише з Boeing).
- Динамічний збір знань: Запитувати авторитетні авіаційні бази даних (FAA, DGCA) для підтвердження номерів літаків та моделей.
- Зворотний зв’язок від користувачів: Запрошувати користувачів “повідомити про помилку”, що дозволяє вносити виправлення назад у цикл навчання.
Наслідки для авіаційної журналістики та довіри суспільства
У епоху швидкого соціального обміну одна помилка може швидко поширитися, перш ніж з’являться виправлення. Авіаційні ентузіасти уважно стежать за номерами моделей — особливо після кризи з Boeing 737 MAX — і дезінформація може викликати суспільну тривогу або несправедливо зашкодити репутації виробника.
Регуляторні органи можуть незабаром вимагати, щоб зведення, створені AI, включали посилання на джерела або оцінки впевненості. Тим часом новинні видання повинні оберігати себе від повторної публікації помилок AI без перевірки людьми.
Перспективи: Поліпшення надійності AI
Google та інші постачальники AI інвестують у:
- Моделі, прив’язані до фактів: Гібридні архітектури, що поєднують нейронні LLM з символічними графами знань.
- Проектування запитів: Техніки, які спрямовують генерацію на перевірені дані (“Підсумуйте лише підтверджені деталі.”).
- Покращення прозорості: Функції інтерфейсу, які відображають фрагменти джерел або шлях походження поряд із зведеннями.
Оскільки генеративний AI стає невід’ємною частиною пошуку, ці покращення будуть критично важливими для підтримки довіри користувачів та запобігання небезпечній дезінформації.
Ми зв’язалися з Google для коментарів і оновимо цю статтю після отримання відповіді.
“Цей інцидент підкреслює необхідність поєднання ефективності AI з суворою перевіркою — особливо у питаннях життя, смерті та глобального впливу.” – Доктор Олена Робертс, Інститут відповідального AI