Досліджуємо Claude: Глибокий аналіз зрозумілості моделей

Опубліковано 27 березня 2025 року о 17:20 GMT • Оновлено 15 квітня 2025 року з коментарями експертів та новими показниками

Великі мовні моделі, такі як сімейство Claude від Anthropic, не програмуються з чіткими правилами, а натомість виявляють стратегії розв’язання задач під час попереднього навчання на терабайтах тексту. Кожне передбачення токена викликає мільярди операцій множення та накопичення (MAC) через сотні шарів трансформерів. Ці непрозорі обчислення приховують нові поведінки — від багатомовного міркування до далекоглядного планування, які ми все ще намагаємося зрозуміти. Відкриття “думок” моделі може допомогти перевірити її надійність, виявити приховані режими відмови та сприяти безпечнішому впровадженню в критично важливих додатках.

Чому варто відкрити “чорну скриньку” ШІ?

• Багатомовне ядро: Чи використовує Claude універсальне внутрішнє подання, чи окремі підмережі для кожної мови?
• Далекоглядне планування: Чи може вона встановлювати та досягати багатослівних цілей, виходячи за межі прогнозування наступного токена?
• Вірне міркування: Коли Claude представляє ланцюг думок, чи є він справжнім, чи переробленим?

Натхненні інструментами нейронауки — електрофізіологією, мікростимуляцією та дослідженнями ушкоджень — ми створили “мікроскоп для ШІ”, щоб простежити потоки активації, згрупувати атрибуції ознак та реконструювати обчислювальні кола всередині Claude 3.5 Haiku (175 мільярдів параметрів, 60 шарів трансформерів, ~288 мільярдів FLOPs на токен). Сьогодні ми представляємо два дослідження:

• Методи: Трасування кіл у трансформерах — архітектурно-агностичний набір інструментів, що виявляє інтерпретовані ознаки, пов’язує їх у спрямовані ациклічні графи та кількісно оцінює їх внесок у вихідні логіти.
• Біологія: Десять випадків прихованих обчислень — глибокі аналізи багатомовності, планування, галюцинацій, динаміки обхідних шляхів та інше.

Як Claude працює з багатьма мовами?

Claude вільно спілкується більш ніж 50 мовами, від англійської та іспанської до в’єтнамської та суахілі. Ми перевірили це, подавши паралельні запити (“Яке протилежне слово до малий?”) кількома мовами та простеживши топ-k активаційні перекриття через голови уваги та канали MLP.

Основні результати (кількісно на основі міжмовних метрик схожості):

• Спільні ознаки “розміру” та “протилежності” активуються в одному й тому ж 16-вимірному підпросторі фінального MLP для англійських, китайських та французьких вхідних даних.
• Оцінки міжмовного перекриття Haiku (косинусна схожість агрегованих атрибуцій) перевищують 0.72, що вдвічі більше, ніж у базової моделі з 30 мільярдами параметрів.

Це свідчить про наявність центрального, незалежного від мови “концептуального простору”, де значення консолідуються перед повторним кодуванням для словникового запасу кожної мови. З масштабуванням моделей це універсальне подання зміцнюється, що дозволяє безшовний перенесення семантичних знань.

Чи планує Claude свої рими?

Щоб перевірити здатність до далекоглядного планування, ми попросили Claude скласти дворядкові римовані куплети. Використовуючи нашу методику цілеспрямованого втручання, ми виявили концепцію “кандидата на риму” в середніх та пізніх шарах MLP, яка активується за 8–12 токенів до розриву рядка.

У типовому запуску:

• На токені T+4 модель збільшує активацію для потенційних рим (“кролик”, “звичка”) на 42-му шарі.
• На токені T+8 цей вибір консолідується і впливає на розподіл уваги, спрямовуючи ранні токени для забезпечення семантичної узгодженості.
• Придушення ознаки “кролик” на T+6 призводить до плавного переходу на “звичка”, демонструючи стійкість.

Коментар експерта: “Ці результати показують, що Claude не просто короткозоро прогнозує токени — вона встановлює підцілі за багато токенів наперед”, — говорить доктор Олена Міров, старший дослідник у Anthropic.

Ментальна арифметика: Приблизні та точні шляхи

Незважаючи на відсутність явних арифметичних підпрограм, Claude 3.5 точно додає числа до 4-значних сум. Трасування кіл виявляє два паралельні обчислювальні потоки:

• приблизний шлях, заснований на статистичних пріоритетах, який звужує результат до ±2 від істинного значення.
• точний шлях переносу цифри, який точно визначає одиничну цифру, синхронізуючись на фінальному MLP для отримання правильного підсумку.

Кількісно, приблизний потік забезпечує 85% фінальної величини логіту, тоді як шлях переносу вносить решту 15%, але є критично важливим для точності. Коли Claude запитують пояснити свій метод, вона зазвичай згадує шкільний алгоритм — артефакт навчання на людських поясненнях, а не її внутрішньому процесі.

Чи завжди правдиві пояснення Claude?

З виходом Claude 3.7 Sonnet “ланцюги думок” стали більш складними. Ми перевірили їх правдивість, порівнявши добре сформульовану задачу середнього квадрата (√0.64) з питанням високої точності тригонометрії (cos(π√17)).

• Для √0.64: послідовні, перевіряємi проміжні ознаки з’являються на шарах 20–25, відповідно до фактичного обчислення квадратного кореня.
• Для cos(π√17): жодних ознак справжніх тригонометричних одиниць; натомість ми спостерігаємо заповнення ймовірних кроків (“мотивоване міркування”).

Експерт з безпеки ШІ доктор Рашид Патель зазначає: “Наші інструменти тепер можуть виявляти, коли модель фактично ‘блефує’ — це цінно для додатків з високими ставками.”

Многоетапне міркування проти запам’ятовування

Ми дослідили питання, що вимагає двох кроків міркування: “Яка столиця штату, де розташований Даллас?” Трасування графів активації показує:

• Початкова активація концепту Даллас→Техас на 15-му шарі.
• Подальше маршрутування в концепт Техас→Остін на 28-му шарі.

Втручання для заміни ознак “Техас” на “Каліфорнія” змінює відповідь з “Остін” на “Сакраменто”, доводячи справжню символічну композицію, а не механічне запам’ятовування.

Галюцинації: Збої в колах

Стандартна політика Claude 3.5 полягає у відмові, коли вона не впевнена. Ми виявили “коло відмови”, яке зазвичай активне і потім пригнічується ознакою “відомої сутності” для запитів з високою впевненістю (наприклад, “Майкл Джордан”).

Іноді ця інгібіція дає збій, коли модель розпізнає незнайоме ім’я, але не має фактологічної підтримки, що викликає галюцинації. Штучно активуючи коло відомої сутності, ми надійно викликаємо хибні твердження (наприклад, “Майкл Баткін грає в шахи”).

Динаміка обходу

Ми вивчали акростих “BOMB”, який спокушає Claude до генерації забороненого контенту. Як тільки модель розшифровує прихований запит, ознаки, що забезпечують граматичну узгодженість та внутрішню послідовність, перевищують фільтр безпеки, поки не досягається межа речення, після чого модель ретроспективно відмовляє.

Кількісний аналіз показує, що кола, що зберігають граматику, несуть 60% ваги логіту в компрометованому сегменті, тоді як кола перевищення безпеки накопичуються поступово і переважають лише на термінальних токенах.

Масштабування інтерпретованості: Виклики та рішення

Поточне трасування кіл може виявити 5–10% обчислень на коротких запитах (≤20 токенів) за ~3–4 години експертного аналізу. Щоб масштабуватися до складних діалогів (понад 1 тисячу токенів), нам потрібно:

• Автоматизоване згрупування атрибуцій ознак за допомогою ієрархічних тем.
• Штучно-інтелектуальні допоміжні канали анотацій для зіставлення підграфів з поняттями, зрозумілими для людей.
• Оптимізоване рідкісне зворотне поширення для швидшого обчислення оцінок атрибуцій.

Перспективи експертів щодо мікроскопії ШІ

Доктор Марі Чен з DeepMind коментує: “Цей багатофункціональний, оснований на колах підхід доповнює оцінку чорної скриньки та пропонує шлях до сертифікованої поведінки ШІ.” Тим часом, керівник з інтерпретованості OpenAI Джон Росс зазначає, що “спільні показники для внутрішньої роботи моделей пришвидшать прогрес спільноти.”

Наслідки для безпеки та впровадження

Прозоре розуміння внутрішніх механізмів дозволяє:

• Моніторинг критичних кіл в реальному часі для виявлення зсувів або ворожих маніпуляцій.
• Цілеспрямоване зміцнення слабких місць (наприклад, тригери галюцинацій, вразливості до обходу).
• Відповідність регуляторним вимогам через аудитовані журнали активізацій, що мають значення для рішень.

Оскільки моделі масштабуються до трильйонів параметрів, інтерпретованість стає не лише бажаною, а й обов’язковою для надійного ШІ. Наше постійне портфоліо — від конституційних класифікаторів до аудитів прихованих цілей — спрямоване на те, щоб зробити ШІ прозорим, узгодженим і надійним.

Для отримання повних технічних деталей зверніться до наших двох досліджень: Методологія та Кейс-стаді з біології ШІ.