Штучні інтелекти навантажують Вікіпедію: Швидкість інтернету зростає, оскільки безкоштовний контент стає паливом для навчання великих мовних моделей.

У світі, що швидко змінюється під впливом цифрових технологій, Фонд Вікімедіа нещодавно підняв тривогу. Автоматизовані AI-боти щодня обробляють мільйони сторінок та гігабайти даних, ставлячи під загрозу інфраструктуру одного з провідних відкритих репозиторіїв знань у світі. З січня 2024 року Вікімедіа зафіксувала вражаюче зростання пропускної здатності, виділеної під мультимедійні завантаження, на 50%, що не лише загрожує стабільності серверів, але й ставить під сумнів питання розподілу ресурсів і стійкості безкоштовного контенту в епоху штучного інтелекту.

Зростаючий попит: AI та мультимедійний контент

Вікімедіа, яка забезпечує роботу таких сервісів, як Вікіпедія та Вікісховище, пропонує понад 144 мільйони медіафайлів, ліцензованих для безкоштовного використання. Протягом років цей цифровий простір став основою для освітян, дослідників та допитливих умів. Однак початок нової ери AI-додатків призвів до безпрецедентного зростання небажаного трафіку. Автоматизовані боти, створені для збору величезних обсягів навчальних даних для великих мовних моделей (LLMs), тепер складають значну частину загальних запитів даних. Ці технічні методи збору використовують прямі краулери, API-запити та навіть масові завантаження, що призводить до експоненціального зростання споживання пропускної здатності.

Технічні наслідки та фінансові труднощі

Технічні наслідки цього зростання є багатогранними. На відміну від людських відвідувачів, які зазвичай звертаються до популярних і добре кешованих статей, боти сканують усі архіви Вікімедіа. Ця поведінка змушує основні дата-центри Вікімедіа надавати контент, який зазвичай блокувався б кешуючими шарами, оптимізованими виключно для людського перегляду. Насправді внутрішні дані показують, що хоча боти складають приблизно 35% переглядів сторінок, вони відповідають за 65% запитів, що потребують найбільших ресурсів. Ця невідповідність підкреслює операційні виклики: запити ботів значно дорожчі з точки зору пропускної здатності та обчислювальної потужності, що в свою чергу навантажує інфраструктуру та підвищує фінансові витрати.

Кейс-стаді та реальні приклади

Виклики, з якими стикається фонд, не обмежуються одиничними випадками. Яскравим прикладом став грудень 2024 року, коли смерть колишнього президента США Джиммі Картера призвела до різкого зростання переглядів його біографії в Вікіпедії — подія, яка збіглася з надзвичайно активним сеансом трансляції 1,5-годинного відео старої дебатної сесії з Вікісховища. Це зростання майже подвоїло нормальний трафік мережі та короткочасно перевантажило кілька інтернет-з’єднань Вікімедіа, що змусило команду з надійності сайту вжити екстрених заходів для перенаправлення трафіку. Аналогічні інциденти повідомляли також спільноти в світі безкоштовного та відкритого програмного забезпечення (FOSS). Репозиторій Fedora Pagure тимчасово заблокував трафік з Бразилії, тоді як GitLab GNOME ввів виклики proof-of-work для обмеження надмірної активності ботів.

Глибокий технічний аналіз: кешування, зловживання API та мережевої архітектури

У центрі викликів Вікімедіа знаходиться складна взаємодія між алгоритмами кешування мережі та поведінкою автоматизованих краулерів. Стандартні системи кешування розроблені для ефективного управління пропускною здатністю при обробці передбачуваних шаблонів, типових для людського перегляду. Однак боти, не звертаючи уваги на популярність, обходять цифровий простір, часто звертаючись до менш популярного або некешованого контенту. Більш того, складні AI-орієнтовані краулери часто ігнорують директиви, що містяться у файлі robots.txt, підробляють агенти користувачів і навіть використовують ротацію IP-адрес для уникнення виявлення. Ці техніки змушують сервери Вікімедіа обробляти більшу кількість унікальних запитів, що суттєво навантажує ресурси основної інфраструктури.

• Обмеження кешування: Традиційні шари кешування не справляються з непередбачуваними шаблонами ботів, оскільки некешовані сторінки запитуються в масштабах.
• Зловживання API: Масові завантаження через API обходять обмеження, розроблені для людських взаємодій, що призводить до неконтрольованого витягування даних.
• Стратегії ротації IP: Складні боти використовують ротацію IP для обходу гео-блокування та обмеження швидкості, тим самим збільшуючи кількість прямих запитів до серверів.

Аналіз впливу на спільноту: екосистеми волонтерів та більше

Вплив зростання активності ботів виходить за межі технічних та фінансових показників. Вікімедіа значною мірою покладається на глобальну екосистему волонтерів для кураторства та оновлення контенту. Коли розробники та адміністратори сайтів витрачають більше часу на пом’якшення трафіку ботів та підтримку мережевої продуктивності, менше часу залишається для інших важливих завдань, таких як модерація контенту, патчинг безпеки та залучення спільноти. Ця перерозподіл ресурсів послаблює стійкість платформ, що керуються спільнотою, і може затримувати впровадження критичних технологічних покращень, що потенційно підриває довіру та ефективність, які довгий час визначали рух Вікімедіа.

Потенційні рішення та прогноз на майбутнє

У відповідь на ці виклики Фонд Вікімедіа запустив ініціативу WE5: Відповідальне використання інфраструктури. Ця програма має на меті подолати розрив між поширенням відкритих знань та комерційними інтересами розробників AI. Сприяючи більш ефективним та менш ресурсомістким методам доступу, ініціатива досліджуватиме такі варіанти, як спеціалізовані API, спільне фінансування інфраструктури та покращені стратегії обмеження швидкості.

Крім того, інші відкриті платформи вже експериментують з інноваційними рішеннями, включаючи впровадження викликів proof-of-work, повільно реагуючих “трапів”, таких як Nepenthes, і спільних списків блокувань для краулерів, таких як ai.robots.txt. Комерційні сервіси, такі як AI Labyrinth від Cloudflare, також починають грати свою роль. Ці заходи в сукупності прагнуть збалансувати потребу в відкритому доступі з технічними обмеженнями, які накладають вимоги до навчання AI промислового масштабу.

Думки експертів та перспективи галузі

Експерти галузі одностайні в тому, що потрібен скоординований підхід. Даніель Стенберг, відомий своєю роботою над Curl, підкреслив неефективність, спричинену фальшивими та AI-генерованими звітами про помилки. Подібно, розробники, такі як Дрю Деваут з SourceHut, зазначили непідйомний тягар, який надмірний трафік ботів накладає на інфраструктуру розробників. Обидва експерти акцентують, що технічних рішень недостатньо; необхідна системна стратегія, що включає коригування політики, фінансові внески з боку компаній AI та розробку спільних рамок, щоб забезпечити тривалість відкритих цифрових спільнот.

Висновок: балансування між відкритими знаннями та комерційними вимогами

Постійна боротьба Вікімедіа ілюструє критичну напруженість на перетині безкоштовного контенту та інновацій AI. Хоча обіцянка AI та LLM має величезний потенціал, оперативні реалії для платформ, таких як Вікіпедія, нагадують нам, що тривалий безкоштовний доступ має значні витрати. Попередження чітке: забезпечення відкритого та надійного доступу до знань вимагає відповідальних практик використання, технічних інновацій і, зокрема, справедливого розподілу ресурсів, необхідних для підтримки цих цифрових інфраструктур.

Джерело: Ars Technica