Закриття бази даних NOAA: наслідки для технологій та політики

8 травня 2025 року Національне управління океанічних і атмосферних досліджень США (NOAA) несподівано оголосило про припинення оновлень своєї ключової бази даних “Мільярдні природні катастрофи та кліматичні катастрофи”. Ця база, заснована в 1980 році, відстежує прямі економічні витрати від 403 екстремальних погодних явищ у США — торнадо, урагани, лісові пожежі, хвилі тепла, повені — загальні збитки від яких становлять щонайменше 2,945 трильйона доларів. Рішення NOAA стало наслідком значних скорочень штату під час нинішньої адміністрації і викликало серйозні занепокоєння в спільнотах кліматичної науки, інфраструктури даних та управління надзвичайними ситуаціями.

Обсяг бази даних та її історичний вплив

База даних “Мільярдні катастрофи” агрегує оцінки збитків від федеральних агентств, страхових компаній, державних служб з управління надзвичайними ситуаціями та рецензованих наукових публікацій. Вона надає:

• Метадані на рівні події (дата, місце, інтенсивність, такі як швидкість вітру, обсяги опадів або площа, уражена вогнем).
• Фінансові втрати, нормалізовані до поточного року, з використанням Індексу споживчих цін (CPI) та Національних рахунків доходів і продуктів для коригування інфляції.
• Накладки соціально-економічної вразливості (вік населення, медіанний дохід домогосподарств, рівень інвалідності) на рівні округів.

Оскільки база даних є публічною, дослідники та політики використовували її для:

• Розробки моделей ризику катастроф у R та Python, використовуючи бібліотеки, такі як scikit-learn та statsmodels.
• Навчання систем раннього попередження на основі штучного інтелекту за даними супутників і радарів, корелюючи сигнали небезпеки з історичними результатами втрат.
• Інформування про розподіл грантів FEMA та планування стійкості на рівні штатів.

Обґрунтування адміністрації та технічні наслідки

У внутрішній записці Національних центрів екологічної інформації NOAA (NCEI) зазначено, що “зміна пріоритетів, законодавчі вимоги та обмеження в штаті” стали причинами зупинки збору даних після 2024 року. У повідомленні було запевнено, що архіви з 1980 по 2024 рік залишаться “авторитетними, архівованими та доступними”, проте не було згадано про підтримку базових каналів даних або API, які забезпечують роботу основних сервісів у хмарі.

Ключові технічні деталі, що зазнають впливу, включають:

• Припинення каналів даних: Автоматизовані ETL-скрипти на Python/SQL, що обробляли дані з FEMA, Національної метеорологічної служби та Державної служби з надзвичайних ситуацій, більше не виконуватимуться. Cron-завдання, що працюють у середовищі AWS GovCloud NOAA, будуть закриті.
• Закриття API: RESTful API, що надавався через nginx та контейнеризований за допомогою Docker на кластерах Kubernetes, буде закрито. Додатки, що запитують /billion_disasters/v1/events, отримуватимуть помилки HTTP 410 (Відсутній).
• Архівування форматів даних: Історичні набори даних у форматах NetCDF і CSV, що зберігаються в стрічковій бібліотеці NCEI та на Amazon S3, будуть переведені в “холодне зберігання”, що може призвести до довшого часу від retrieval та вищих зборів через процеси відновлення Glacier.

Вплив на штучний інтелект, кліматичні дослідження та управління надзвичайними ситуаціями

Доктор Маріанна Парсонс, старший науковець в Університетській корпорації атмосферних досліджень (UCAR), попередила, що “навчання моделей машинного навчання на застарілих або часткових даних вводить значний упередженість і підриває прогностичну ефективність. Нездатність отримати актуальні оцінки втрат у режимі реального часу зашкодить аналітиці для атрибуції подій та прогнозування економічного впливу.”

У приватному секторі компанії, що займаються моделюванням катастроф (наприклад, RMS, AIR Worldwide), мають власні бази даних втрат, але вони недоступні або надто дорогі для місцевих урядів та академічних команд. Як наслідок, багато проектів з використання штучного інтелекту — такі як згорткові нейронні мережі, що аналізують ехо доплерівського радара для прогнозування збитків від граду — втратять свої найнадійніші етикетки для перевірки.

Агенції з управління надзвичайними ситуаціями, які покладаються на хмарні інформаційні панелі, розміщені на Azure та Google Cloud Platform, стикаються з прогалинами в автоматизованих інструментах ситуаційної обізнаності. Без оновлених показників втрат панелі, які запускають автоматичне відправлення ресурсів на основі попередньо визначених порогів (наприклад, витрати, що перевищують 500 мільйонів доларів), можуть не активувати критичні протоколи реагування.

Перспективи для приватних, академічних і відкритих альтернатив

Деякі неприбуткові ініціативи намагаються заповнити цю прогалину. Асоціація кліматичних ринків та інвестицій розпочала формування коаліції відкритих даних, яка використовує спонсорство AWS Open Data та публічні набори даних Google, намагаючись відтворити функціональність NOAA за допомогою краудсорсингових звітів, супутникових оцінок збитків та збору даних про страхові претензії.

Проте відтворення архівної глибини NOAA викликає труднощі:

• Ліцензування даних: Комерційні страховики обмежують повторне розповсюдження даних на рівні претензій, а державні агентства мають різний рівень прозорості публічних записів.
• Стандартизація: NOAA запровадила суворі схеми даних і стандарти метаданих (метадані геопросторового характеру ISO 19115), що забезпечують взаємодію — зусилля, які займають роки для кодування в нових рамках.
• Фінансування та обслуговування: Підтримка операцій на великій шкалі вимагає багатомільйонних бюджетів на хмарні обчислення (оцінюється в 150 тисяч доларів на рік для безперервного ETL на AWS) та фахівців у галузі обробки даних.

Політика, нагляд і майбутні напрямки

Комітет Палати представників з науки, космосу та технологій запланував слухання для вивчення більшого впливу скорочення фінансування NOAA на національну стійкість. Законодавці розглядають двопартійні законопроекти, які закріплять базу даних мільярдних катастроф у законодавстві, запобігаючи односторонньому закриттю з боку майбутніх адміністрацій.

У той же час групи з захисту кліматичних даних закликають громадян та державних чиновників надсилати публічні коментарі на адресу ncei.orders@noaa.gov. Вони також пропонують використовувати Федеральну стратегію даних для запровадження базових рівнів обслуговування для всіх критичних наборів даних, що позначені як “необхідні набори даних”.

Експертні думки

• Доктор Раві Сінгх, керівник науки про дані в CarbonPlan: “Відкриті, оновлені дані про втрати є основою не лише для фінансування клімату, але й для справедливого планування адаптації в уразливих громадах.”
• Дженніфер Альварес, CIO Техаського управління з надзвичайних ситуацій: “Наші алгоритми реагування на повені використовували останні дані NOAA для прогнозування потреб у притулках. Втрата цього потоку підриває готовність до операцій.”
• Джеймс Чен, старший аналітик у TechPolicy Labs: “Це рішення підкреслює крихкість публічних інфраструктур даних і необхідність стійких екосистем за участю багатьох зацікавлених сторін.”