Substack зіткнувся з проблемою екстремізму через помилку з повідомленням про нацистів
Огляд інциденту: Від звернення до обурення
Наприкінці липня 2025 року Substack випадково надіслав push-сповіщення, що містило іконку свастики та посилання на неонацистський інформаційний бюлетень. Вже за кілька хвилин користувачі, яких це торкнулося, почали повідомляти про образливе сповіщення на платформах iOS (через Apple Push Notification service) та Android (через Firebase Cloud Messaging). Технічний директор Substack підтвердив, що проблема виникла через невірно направлений API-запит у пакетній обробці, яка формувала дайджести “трендових бюлетенів”.
“Ми виявили помилку, через яку деякі користувачі отримали push-сповіщення, які їм ніколи не мали бути надіслані,” – зазначили в Substack. “У деяких випадках ці сповіщення були вкрай образливими або тривожними. Це була серйозна помилка, і ми приносимо вибачення за завдані незручності.”
Аналіз технічних причин
Попередні діагностики вказують на помилку в SQL-запиті в аналітичному потоці Substack. Неправильно сформований LEFT JOIN між таблицями newsletter_tags та performance_metrics випадково вніс екстремістські теги в алгоритм “зростання”. Коли ці застарілі теги потрапили в чергу сповіщень, вони не були відфільтровані шаром безпеки контенту.
- Розмір пакету: 10,000 сповіщень на завдання
- Система черг: Apache Kafka з терміном зберігання 7 днів
- SDK сповіщень: власний обгортка Substack для APNs та FCM
Після цього Substack призупинив службу сповіщень, випустив термінове оновлення для очищення з’єднань тегів і додав спеціальний regex-фільтр для видалення відомої екстремістської іконографії з даних сповіщень.
Модерація контенту та алгоритми рекомендацій
Політика Substack щодо “нецензури” базується на переконанні, що демонетизація або заборона екстремістських авторів лише змушує їх переходити в підпілля. Однак експерти галузі ставлять під сумнів ефективність цього підходу в дистрибутивній екосистемі контенту. “Зростаючі” та “рекомендовані” списки платформи ґрунтуються на гібридній моделі ранжування:
- Оцінка залученості (коефіцієнт відкриттів та кліків)
- Зниження актуальності (період напіврозпаду 48 годин)
- Метрика репутації (стаж автора та зворотний зв’язок від підписників)
Без чіткої реалізації чорного списку, інформаційні бюлетені, що пропагують ненависть, можуть все ще накопичувати високі оцінки залученості—особливо в нішевих колах—та, отже, отримувати алгоритмічну підтримку.
Експертний аналіз та шляхи усунення проблем
Джошуа Фішер-Бірч, аналітик тероризму в проекті Counter Extremism, попереджає, що екстремістські групи вважають Substack надійним резервом для Telegram або Discord. “Бренд Substack надає видимість легітимності,” – пояснює він. “Коли користувачі бачать добре спроектований інтерфейс з знайомими UX-шаблонами, вони вважають, що платформа дотримується суворіших політик щодо контенту.”
Ключові рекомендації від CEP:
- Впровадити реальний ML-класифікатор для виявлення символів ненависті через хешування зображень та OCR.
- Встановити чіткі політики ненависті, які забороняють контент білих супремасистів та неонацистів.
- Публікувати звіти про прозорість, що деталізують метрики видалення, помилкові спрацьовування та апеляції.
Архітектура платформи та поширення екстремізму
Мікросервісна архітектура Substack, побудована на Kubernetes та Google Cloud Platform, дозволяє швидко впроваджувати нові функції, але може ускладнити управління контентом між сервісами. Кожен мікросервіс (фронтенд, генерація бюлетенів, двигун рекомендацій, служба сповіщень) має власну базу даних і контроль доступу. Без централізованої точки виконання політики екстремістський контент може прослизнути через щілини.
Запропоновані технічні заходи безпеки включають:
- Service Mesh з Istio для забезпечення глобального шару політики.
- gRPC перехоплювачі для миттєвої перевірки метаданих.
- Автоматизоване тестування на вразливість всіх пакетних потоків для виявлення помилок маршрутизації.
Регуляторні та правові наслідки
Міністерство внутрішньої безпеки США визначило онлайн-мову ненависті як каталізатор реального насильства. Нещодавня помилка Substack може привернути увагу в рамках обговорень реформування Розділу 230 на Капітолійському пагорбі. Юридичні експерти зазначають, що платформи, які свідомо сприяють екстремістському контенту, можуть зіткнутися з новими фідуціарними зобов’язаннями або виключеннями з безпечної гавані.
“Якщо Конгрес оновить відповідальність посередників, вимагаючи доведених зусиль з модерації, платформам на кшталт Substack доведеться суттєво інвестувати в інструменти відповідності,” – говорить юрист з технологічної політики доктор Монік Рейс.
Перспективи: Баланс між свободою висловлювання та безпекою
Керівництво Substack стикається з критично важливим моментом: зберегти політику вільного контенту чи перейти до проактивної модерації, використовуючи AI/ML, людський огляд та звітування спільноти. Оскільки конкуренти—Ghost, Buttondown, Beehiiv—пропонують нижчі збори та відкриті альтернативи, Substack має відновити довіру або ризикувати втратити користувачів.
Категорії: Технічні новини, Кібербезпека, Розробка веб-сайтів