Офіс Маска впроваджує Llama 2 від Meta для скорочення кадрів у федеральних структурах

Нещодавні записи свідчать про те, що представники Департаменту ефективності уряду (DOGE) Ілона Маска використовували відкриту модель Llama 2 від Meta для аналізу та класифікації відповідей федеральних працівників на суперечливу пам’ятку «Перекресток», вирішивши на цьому етапі не застосовувати власну розробку Musk – xAI Grok-2.

Передумови: Пам’ятка «Перекресток» та класифікація за допомогою ШІ

Наприкінці січня федеральні працівники отримали пам’ятку «Перекресток», що відображала директиву, надіслану Ілоном Маском співробітникам Twitter, яка вимагала від них або підтвердити лояльність до агресивної політики повернення в офіс, або звільнитися. Підозри виникли, коли DOGE почав використовувати інструменти штучного інтелекту для аналізу відповідей і підрахунку звільнень.

Архітектура розгортання та технічні характеристики

• Локальний аналіз: DOGE запустив Llama 2 на власних серверах, що дозволило уникнути зовнішніх API-запитів і вирішити питання суверенітету даних.
• Апаратне забезпечення: Дані свідчать про використання 4–8 графічних процесорів Nvidia A100 з мішаною точністю (fp16) для обслуговування варіантів Llama 2 7B і 70B зі швидкістю ~20–30 токенів/сек.
• Квантизація: Застосування 4-бітних (Q4_K_M) технік квантизації дозволило зменшити обсяги пам’яті до менше 20 ГБ на екземпляр.

Llama 2 від Meta: Відкрита модель під капотом

Llama 2, доступна за відкритою ліцензією, пропонує моделі розміром від 7B до 70B параметрів. Її ліберальна політика дозволяє державним установам налаштовувати та використовувати модель офлайн, що DOGE ефективно використав без прямого контролю з боку Meta.

Варіанти моделей та налаштування

• Попередньо навчені контрольні точки: Базові моделі Llama 2 підтримують налаштування за інструкціями та навчання зворотного зв’язку від людей (RLHF).
• Адаптація до домену: ІТ-команди федеральних установ, ймовірно, адаптували Llama 2 за допомогою спеціального шару інженерії запитів для класифікації текстів у рамках HR-таксономії OPM.

Питання безпеки та відповідності

Федеральні рекомендації відповідно до FedRAMP та Рамки управління ризиками штучного інтелекту NIST підкреслюють необхідність ретельного тестування, прозорості та безперервного моніторингу — в цих сферах швидке розгортання DOGE викликало занепокоєння.

“Введення чутливих даних співробітників в модель з відкритим кодом без формального дозволу або аудиторських слідів значно підвищує ризики кібербезпеки та конфіденційності,” попереджає експерт з кібербезпеки доктор Ліна Мартінес з Інституту аналітики оборони.

Експертний аналіз: Балансування ефективності та ризику

Хоча класифікація за допомогою ШІ прискорила аналіз робочої сили DOGE з тижнів до годин, законодавці та представники OMB ставлять під сумнів доцільність таких компромісів. Лист від понад 40 членів Конгресу вимагав розслідування можливих витоків даних та алгоритмічної упередженості, яка могла б призвести до неправильної класифікації співробітників.

Майбутні напрямки: Grok, Azure AI Foundry та штучний інтелект у державі

Grok-2, власна LLM xAI, була недоступна в січні. Однак нещодавнє оголошення Microsoft про розміщення Grok 3 в Azure AI Foundry відкриває шлях до безшовної інтеграції в федеральні хмарні середовища з високою відповідністю FedRAMP.

Інтеграція Grok xAI в державні робочі навантаження

• Azure AI Foundry: Забезпечує керовану безпеку кінцевих точок, контроль доступу на основі ролей та шифрування даних під час зберігання та передачі.
• MLOps конвеєри: Можливість використання Azure DevOps та GitHub Actions для безперервної інтеграції оновлень моделей, підкріплених відповідальними рамками AI від Microsoft.

Регуляторний ландшафт та нагляд

Рекомендації OMB щодо ШІ підкреслюють необхідність:

1. Комплексних карт моделей та даних для федерального використання.
2. Регулярних сторонніх аудитів на предмет упередженості, надійності та справедливості.
3. Чітких структур управління, які визначають відповідальність між підрядниками та агентствами.

Висновок

Звіт Wired підтверджує залежність DOGE від Llama 2 для прийняття важливих кадрових рішень, вказуючи на прогалини в нагляді, прозорості та технічній перевірці. З входом Grok у державний інструментарій ШІ надійні протоколи безпеки та регуляторні рамки стануть критично важливими для захисту чутливих даних робочої сили.