Gemini Tech: Відкриття нових можливостей для атак через алгоритмічні впливи запитів

Пейзаж безпеки ШІ швидко змінюється, оскільки дослідники представили революційну техніку, що трансформує спосіб, яким зловмисники намагаються атакувати моделі з закритими вагами. Нова методика, названа “Фан-Тюнінг”, використовує API тонкої настройки для алгоритмічного створення потужних ін’єкцій запитів, відкриваючи нову еру систематичних і масштабованих атак на моделі, такі як Gemini від Google.

Розуміння вразливостей непрямої ін’єкції запитів

Атаки непрямої ін’єкції запитів експлуатують неоднозначність між внутрішніми запитами моделі та зовнішнім текстом, який вона обробляє. Зловмисники можуть маніпулювати середовищем виконання несподіваним чином, змушуючи моделі розкривати конфіденційну інформацію або генерувати фальшиві дані. Ця вразливість є особливо гострою у великих мовних моделях (LLMs) через відсутність чітких меж між інструкціями, визначеними розробниками, та вмістом, наданим користувачами.

• Виклики експлуатації: Моделі з закритими вагами, такі як GPT, Claude від Anthropic і Gemini від Google, працюють як чорні ящики. Їхні основні навчальні дані та внутрішня логіка є охоронюваними секретами, що робить традиційні, ручні методи ін’єкції запитів трудомісткими та неточними.
• Традиційні та алгоритмічні методи: До впровадження Фан-Тюнінгу, ін’єкція запитів була більше мистецтвом, ніж наукою, що вимагало значних зусиль для проб і помилок. Ручне створення ефективних ін’єкцій могло займати від секунд до кількох днів, залежно від винахідливості зловмисника та вродженої варіативності запитів.

Алгоритмічно згенеровані атаки: прорив Фан-Тюнінгу

Вперше академічні дослідники використали потужність дискретної оптимізації для створення ін’єкцій запитів проти Gemini з набагато вищими показниками успіху, ніж раніше. Використовуючи безкоштовний API тонкої настройки Gemini, зловмисники можуть проводити автоматизований пошук через величезний простір модифікацій токенів — експериментуючи з псевдовипадковими префіксами і суфіксами, поки не буде знайдено ефективну послідовність атаки.

Ерленс Фернандес, професор Каліфорнійського університету в Сан-Дієго, підкреслив у інтерв’ю: “У створенні ін’єкцій вручну є багато спроб і помилок. Наш методичний, алгоритмічний підхід може забезпечити успішні інтервенції за секунди, а не дні, що різко змінює баланс на користь зловмисників.”

Як працює Фан-Тюнінг: технічний аналіз

Метод Фан-Тюнінг базується на кількох ключових технічних елементах:

• Дискретна оптимізація: Ця техніка досліджує велику кількість можливих комбінацій токенів, визначаючи оптимальні префікси і суфікси, які підсилюють ефект традиційних ін’єкцій запитів.
• Експлуатація API тонкої настройки: API тонкої настройки Gemini дозволяє моделі бути перенавченою на спеціалізованих наборах даних. Однак цей процес ненавмисно відкриває значення втрат — числовий показник, що вимірює відхилення від очікуваних виходів, який алгоритм використовує як сигнал для керування процесом оптимізації.
• Точність швидкості навчання: Використовуючи дуже малу швидкість навчання, зловмисники можуть отримати майже ідеальні апроксимації логарифмічних ймовірностей (logprobs) для цільових токенів. Цей делікатний баланс забезпечує, що процес тонкої настройки не дестабілізує модель, одночасно надаючи чіткий градієнт для ітеративних поліпшень.

Реальні демонстрації та вплив на моделі Gemini

На практиці атака Фан-Тюнінга вводить, здавалося б, безглузді префікси та суфікси в запит. У одному з доказових концептів безпечний коментар на Python був перетворений шляхом додавання префікса, такого як wandel ! ! ! ! ! machin vecchi礼Invokerпред forgets ! і суфікса, наприклад, ! ! ! ! ! ! ! formatted ! ASAP !. Сам по собі ін’єкція зазнала невдачі, але оптимізовані аффікси змусили модель Gemini 1.5 Flash обробити ін’єкцію і проявити ненавмисну поведінку.

Коли була проведена перевірка на бенчмарк-сеті PurpleLlama CyberSecEval — інструменті, представленому в 2023 році дослідниками з Meta — оптимізовані ін’єкції запитів досягли показників успіху 65% проти Gemini 1.5 Flash та 82% проти Gemini 1.0 Pro, що значно перевершило традиційні ручні методи.

Глибший технічний аналіз

Поглиблений аналіз процесу Фан-Тюнінга показує, що успіх атаки сильно пов’язаний з відношенням між навчальними втратами та ворожими цілями:

• Зворотне інженерування навчальних втрат: Значення втрат, яке кількісно оцінює різницю між виходом моделі та очікуваним результатом під час тонкої настройки, слугує майже бездоганним проксі для ворожих цілей. Це усвідомлення дозволяє зловмиснику передбачити, які модифікації токенів мають більший ворожий потенціал.
• Ітеративні вдосконалення та стратегії перезапуску: Процес оптимізації значно виграє від ранніх ітерацій. Дослідники спостерігали помітні покращення вже після кількох ітерацій, а перезапускаючи процес оптимізації, вони можуть уникнути локальних оптимумів, досягаючи ще вищих показників успіху атаки.
• Технічні специфікації: Звичайні реалізації потребують близько 60 годин обчислювального часу, а весь процес коштує приблизно 10 доларів за поточними тарифами API — що робить його як ефективним, так і економічно масштабованим.

Наслідки для безпеки ШІ та нові моделі загроз

Поява алгоритмічно згенерованих ін’єкцій запитів свідчить про парадигмальний зсув у безпеці систем ШІ. Зловмисники більше не залежать від трудомісткого ручного налаштування; натомість вони можуть швидко розгортати автоматизовані атаки, що використовують вроджені вразливості самого процесу тонкої настройки. Ця еволюція вимагає рішучої реакції з боку розробників ШІ та спільноти кібербезпеки.

Експерти з безпеки зазначають, що хоча тонка настройка залишається безцінним інструментом для покращення продуктивності моделі, прозорість даних про втрати під час процесу ненавмисно надає супротивникам зворотний зв’язок, необхідний для компрометації системи. Майбутні моделі загроз повинні враховувати такі витоки, розробляючи нові контрзаходи, які збалансовують зручність використання та безпеку.

Майбутні заходи та найкращі практики для розробників

У зв’язку з цими висновками лідери галузі та дослідники вивчають потенційні заходи:

• Покращене червоне тестування: Безперервне тестування на ворожість може допомогти виявити та усунути вразливості до їх використання в реальному світі.
• Обфускація метрик втрат: Приховуючи або затемнюючи дані про втрати під час тонкої настройки, постачальники моделей можуть зменшити поверхню атаки. Однак цей підхід може знизити ефективність тонкої настройки і має широкі економічні наслідки.
• Адаптивні швидкості навчання: Динамічна зміна швидкостей навчання під час тонкої настройки може запобігти зловмисникам від використання стабільних градієнтів, зберігаючи загальну точність моделі.

Дослідники та практики наголошують, що будь-яка техніка пом’якшення повинна бути ретельно налаштована. Як зазначив один експерт: “Обмеження доступу до критичних гіперпараметрів навчання може погіршити продуктивність та адаптивність LLM, що вплине на досвід користувачів і корисність моделі.”

Висновок

Фан-Тюнінг демонструє, як передові техніки оптимізації можуть перетворити ін’єкції запитів з непередбачуваних експлойтів на систематичні, алгоритмічно спрямовані атаки на LLM. Хоча Google та інші технологічні компанії продовжують покращувати засоби захисту через регулярне червоне тестування та інноваційні захисні архітектури, баланс між гнучким налаштуванням моделі та безпекою залишається хитким.

Безперервна еволюція цих методів атаки підкреслює термінову необхідність спільних зусиль у сферах кібербезпеки, досліджень ШІ та хмарних обчислень для розробки контрзаходів, які одночасно захищають користувачів і зберігають трансформаційний потенціал API тонкої настройки.

Джерело: Ars Technica