Как нейросеть научили понимать спутниковые снимки: дообучение CLIP на космических данных

Зачем учить нейросеть смотреть на Землю из космоса?

Спутники ежедневно передают на Землю терабайты снимков. Ручной просмотр этого потока невозможен: глаз человека просто не успевает вычленить нужные объекты среди тысяч квадратных километров пустынь, лесов и городов. Текстовый запрос - самый естественный способ взаимодействия с информацией для неспециалиста. Инженер по охране окружающей среды хочет спросить «покажи незаконные вырубки в этом регионе», а не настраивать сложные фильтры в геоинформационной системе. Страховой аналитик ищет «повреждённые крыши после урагана», а не классифицирует снимки по пикселям. До недавнего времени нейросети не понимали такой язык применительно к спутниковым данным. Эксперимент сообщества TWIML изменил ситуацию.

Что такое CLIP и почему обычная версия не справлялась со спутниками

CLIP - модель от OpenAI, обученная на 400 миллионах пар «картинка-текст» из интернета. Она сопоставляет изображение и текстовое описание, определяя, насколько они соответствуют друг другу. Модель отлично узнаёт котиков, знаменитостей и повседневные сцены. Спутниковый снимок для неё - тёмный лес. Вид сверху, неестественные цвета спектральных каналов, масштаб в километры - всё это радикально отличается от фотографий, сделанных с уровня земли. Исходная версия CLIP находила аэропорт на спутниковом снимке с точностью 57% по самому строгому критерию. Меньше чем в шести случаях из десяти модель угадывала правильный объект. Для практического применения этого недостаточно.

Как CLIP связывает текст и картинки: аналогия с переводчиком

Представьте переводчика, который выучил два языка: язык изображений и язык текста. Он помещает картинку и подпись в общее пространство смыслов и измеряет расстояние между ними. Чем ближе точки, тем точнее описание соответствует снимку. Исходный CLIP - переводчик, который жил в мире наземных фото. Он знает, как выглядит «аэропорт» с уровня пассажира: здание терминала, самолёты на фоне неба. Спутниковый снимок аэропорта - это геометрический узор взлётных полос на сером фоне. Диалект другой, слова те же. Без специального обучения переводчик ошибается.

Как проходило дообучение: данные, процесс, результат

Команда энтузиастов из сообщества TWIML в 2021 году решила проверить гипотезу: можно ли адаптировать CLIP к спутниковым данным с помощью дообучения на специализированном датасете. Дообучение - это процесс, при котором уже обученная модель получает дополнительные примеры из узкой области и корректирует свои внутренние параметры. Модель не учится заново, а достраивает понимание нового «диалекта» изображений. Эксперимент показал: даже небольшой набор данных способен радикально улучшить результат.

RSICD и другие датасеты: на чём учили нейросеть

Основой стал датасет RSICD - Remote Sensing Image Captioning Dataset. Он содержит около 10 000 спутниковых снимков с текстовыми описаниями. Каждое изображение размечено по классам объектов: аэропорт, пляж, мост, пустыня, порт, стадион и десятки других категорий. Два дополнительных набора данных расширили разнообразие сцен и улучшили способность модели к обобщению. Общий объём обучающих примеров остался скромным по сравнению с миллионами изображений, на которых тренировался исходный CLIP. Это важный сигнал для практиков: дообучение не требует гигантских вычислительных ресурсов.

От 57% к 88%: что значат эти цифры

Точность поиска измерялась по самому строгому критерию - top-1 accuracy. Модель должна была найти единственный правильный снимок среди тысяч, ориентируясь только на текстовое описание. Исходный CLIP справлялся в 57% случаев. После дообучения на спутниковых данных точность выросла до 88%. Прирост составил 31 процентный пункт. На практике это означает: почти в девяти случаях из десяти нейросеть с первого раза находит нужный объект. Уровень, пригодный для реальных рабочих процессов.

Что умеет дообученная модель: поиск и не только

Дообученный CLIP решает две ключевые задачи. Первая - поиск снимков по текстовому описанию. Вторая - обнаружение конкретных объектов на изображении. Обе функции работают через единый интерфейс: пользователь пишет запрос на естественном языке, модель возвращает результат. Никаких классификаторов, пороговых значений и программирования.

Поиск по тексту: от «аэропорта» до сложных сцен

Модель не привязана к фиксированному списку категорий. Можно искать «аэропорт с длинной взлётной полосой» или «пляж с белым песком и пальмами» - и получать релевантные снимки. Запрос «солнечные панели на крышах» найдёт промышленные фотоэлектрические станции. «Лесной пожар» покажет дымовые шлейфы и выгоревшие участки. Эта гибкость отличает текстовый поиск от жёсткой классификации, где объект должен принадлежать к заранее заданному классу. Специалист по чрезвычайным ситуациям описывает сцену своими словами и сразу видит результат.

Почему это важно для вас: практическое применение в разных отраслях

Технология снижает порог входа в анализ спутниковых данных. Раньше для работы со снимками требовался профильный специалист по дистанционному зондированию Земли. Сейчас текстовый поиск открывает доступ агроному, экологу, градостроителю, страховому оценщику. Конкретные сценарии:

• Сельское хозяйство: оценка состояния полей, выявление участков с недостаточным поливом, мониторинг созревания культур по сериям снимков.
• Градостроительство: обнаружение незаконных построек, контроль расширения городской застройки, инвентаризация инфраструктуры.
• Экология: мониторинг вырубок лесов, отслеживание разливов нефти, оценка масштабов эрозии почвы.
• Страхование: оценка ущерба после стихийных бедствий, верификация страховых случаев по спутниковым снимкам до и после события.

Эксперимент TWIML - часть более широкого тренда на упрощение работы с моделями машинного обучения. Похожие подходы применяются и в других областях: например, интеграция Sentence Transformers с Hugging Face Hub сделала семантический поиск по текстам доступным в несколько строк кода. Принцип везде один: мощная предобученная модель плюс адаптация под конкретную задачу.

Что дальше? Будущее поиска по спутниковым снимкам

Эксперимент TWIML 2021 года - отправная точка. Современные модели работают с мультиспектральными снимками, захватывая инфракрасный и ультрафиолетовый диапазоны. Временные серии позволяют отслеживать изменения за месяцы и годы: как рос город, как мелело озеро, как восстанавливался лес после пожара. Геоинформационные сервисы постепенно встраивают нейросетевой поиск в свои интерфейсы. Технология, ещё недавно казавшаяся нишевой, становится стандартным инструментом. Методы сжатия моделей ускоряют вычисления и делают запуск таких систем возможным на обычных серверах. Следить за развитием темы можно в ленте «Среды AI» - мы отбираем значимые события без технического шума.