Abstract: The article addresses the problem of automatic semantic segmentation of satellite images of natural areas for forest monitoring. Existing methods based on convolutional neural networks are insufficient due to loss of global context and sensitivity to noise. The authors propose an ensemble approach combining the SegFormer-B2 transformer architecture with original pre-processing algorithms (noise suppression, sharpening, green spectrum enhancement using ExG index, CLAHE and gamma correction) and post-processing (morphological closing, area filtering, hole filling). Experiments were conducted on a labeled dataset of 264 satellite images. The proposed method increases mean IoU from 0.71 to 0.75 (+5.6%) and Dice from 0.82 to 0.88 (+7.3%) compared to the baseline SegFormer-B2. The work has practical significance for environmental monitoring and cartography.
Keywords: semantic segmentation, satellite images, transformers, SegFormer, pre-processing, post-processing, forest monitoring.
Введение
Современные системы дистанционного зондирования Земли обеспечивают регулярное получение спутниковых снимков высокого разрешения. Ручной анализ таких данных трудоёмок, а автоматические методы на основе классических алгоритмов (пороговая сегментация, кластеризация) и свёрточных нейронных сетей (U-Net, SegNet) не всегда справляются с шумами, вариативностью освещения и необходимостью учёта глобального контекста. Трансформерные архитектуры, благодаря механизму самовнимания, позволяют эффективно обрабатывать глобальные зависимости, что особенно важно для спутниковых снимков. Однако прямое применение трансформеров (например, ViT, Swin Transformer) требует больших вычислительных ресурсов и не учитывает специфику растительности. Цель данной работы – повышение точности семантической сегментации лесов на спутниковых изображениях путём разработки модели на основе трансформера.
Структура модели семантической сегментации
Исходя из проведенного анализа общая структура модели семантической сегментации выглядит следующим образом:
- входной интерфейс;
- модуль предварительной обработки;
- модуль семантической сегментации;
- модуль наложения маски на тайл (в полупрозрачном зеленом свете);
- модуль постобработки;
- модуль визуализации и сохранения результатов;
- управляющий модуль.
Структура представлена на рисунке 1.
Рисунок 1 – Структура модели семантической сегментации
Входной интерфейс принимает спутниковое изображение в форматах (JPEG, PNG) и передает изображение в модуль предобработки.
Модуль предварительной обработки выполняет начальную подготовку изображения для повышения качества последующей сегментации. Он состоит из трех последовательных этапов:
- подавление шумов;
- добавление резкости изображению;
- разбиение на подизображения (тайлы);
- переработка снимка в контрастный формат (акцент на зеленый спектр).
Выходной формат – трехканальный тензор [N, 3, 512, 512], где N – количество тайлов (подизображений), полученных при разбиении исходного спутникового снимка, 3 – три цветовых канала: красный (R), зеленый (G), синий (B), при этом зеленый канал предварительно усилен для лучшего выделения растительности, 512 и 512 – высота и ширина каждого тайла в пикселях. Все значения пикселей в тензоре приведены к диапазону [0, 1] с плавающей точкой (float32). Такое представление полностью совместимо с моделью SegFormer, которая ожидает на входе RGB‑изображения в аналогичном нормализованном формате.
Модуль сегментации SegFormer создает маски сегментации для входящего изображения. На вход модуль получает тайлы после предобработки. Для каждого тайла нейросеть выполняет попиксельную классификацию, определяя, принадлежит ли пиксель лесу или фону. На выходе модуля формируется карта сегментации – двумерный массив размера H*W, каждый элемент которого содержит индекс класса.
Модуль наложения маски на тайл используется для визуального контроля качества работы системы на промежуточном этапе. Модуль накладывает полученную маску непосредственно на исходный тайл. Все пиксели, отнесенные к классу «лес», заливаются полупрозрачным зеленым цветом. Такое наложение позволяет оператору быстро оценить, правильно ли выделены кроны, нет ли пропусков или ложных срабатываний, еще до объединения тайлов в полное изображение.
Модуль постобработки результатов решает четыре основные задачи:
- морфологическую связку и устранение разрывов;
- склеивание тайлов с учетом геопривязки;
- геометрическую фильтрацию (исключает одиночные деревья и заполняет мелкие пустоты).
Выходом модуля является итоговое изображение, сохраненное в файл JPEG/PNG/GeoTIFF.
Методы предобработки и постобработки
Для повышения качества сегментации разработан многоэтапный алгоритм предобработки спутниковых RGB-снимков.
1) Подавление шумов. Спутниковые снимки неизбежно содержат шумовые компоненты, обусловленные физикой сенсора (темновой ток, дробовой шум фотоприемников) и влиянием атмосферы (рассеяние, поглощение, турбулентность). Такой шум проявляется в виде мелкозернистых вариаций яркости, не несущих полезной информации о структуре лесного покрова, и способен ухудшить работу сегментационной модели. Для его ослабления применяется нелокальное усреднение цветных изображений (Non-Local Means Denoising).
Для каждого пикселя изображения алгоритм ищет все похожие на него пиксели во всей области (или в ограниченной области поиска). Степень похожести определяется не по одному пикселю, а по целому квадратному фрагменту (патчу) вокруг него. Чем сильнее похож фрагмент одного пикселя на фрагмент другого, тем больший вес получит этот соседний пиксель при усреднении. Итоговое значение пикселя вычисляется как взвешенное среднее всех пикселей в области поиска, где веса пропорциональны сходству их окружений. Дополнительно все веса нормируются так, чтобы их сумма равнялась единице.
В данном ансамбле используется функция библиотеки OpenCV с параметром фильтрации, равным 10, и размером окна поиска 7 пикселей. Эти значения подобраны эмпирически для спутниковых снимков среднего разрешения. Такой набор обеспечивает эффективное сглаживание однородных участков (небо, открытая почва) и одновременно сохраняет резкие границы между лесом и остальными классами, не размывая кроны деревьев. Пример работы алгоритма показан на рисунке 2.
Рисунок 2 – Пример спутникового изображения после шумоподавления
2) Повышение резкости. После шумоподавления изображение может стать несколько размытым. Чтобы подчеркнуть контуры крон деревьев и мелкие детали, применяется метод нерезкого маскирования (Unsharp Masking).
Сначала создается размытая версия изображения с помощью гауссовского фильтра. Параметр размытия выбран равным 1.0, что гарантирует учет всех значимых соседей. Затем из исходного изображения вычитается размытое – так получается маска, содержащая только мелкие детали и контуры. Эта маска умножается на коэффициент силы резкости (в работе принят коэффициент 1.0) и прибавляется обратно к исходному изображению. В результате контуры становятся более выраженными, а общая структура изображения не нарушается.
После обработки снимка с помощью алгоритма контуры крон деревьев становятся более четкими, что помогает нейросети точнее определять границы леса. Операция выполняется в цветовом пространстве RGB отдельно для каждого канала. Пример работы алгоритма показан на рисунке 3.
Рисунок 3 – Пример спутникового изображения после повышения резкости
3) Разбиение на тайлы. Спутниковые снимки имеют высокое разрешение (размером около 10000х10000 пикселей). Нейросеть SegFormer, как и большинство других трансформеров, имеет ограничение на размер входного изображения 512х512 пикселей, поэтому исходный снимок нарезается на перекрывающиеся фрагменты – тайлы.
Перекрытие между соседними тайлами: 256 пикселей, то есть ровно половина размера тайла. Перекрытие необходимо, чтобы устранить артефакты на стыках, так как края тайлов обрабатываются нейросетью менее достоверно, чем центр. Каждый тайл получает координатную метку – положение его верхнего левого угла в исходном изображении. Пример разбиения показан на рисунке 4.
Рисунок 4 – Пример схемы разбиения спутникового снимка на тайлы с перекрытием
4) Перевод в контрастный формат с акцентом на зеленый спектр. Растительность наиболее информативно проявляется в зеленом канале спектра. Для усиления различий между лесом и фоном (почва, вода, тени) используется комбинация спектральных индексов и методов адаптивного повышения контраста. Перевод в контрастный формат происходит по трем этапа:
- вычисление индекса избыточной зелени (ExG);
- процентное линейное растяжение;
- адаптивная эквализация гистограммы с ограничением контраста (CLAHE);
- гамма-коррекция.
На первом этапе для каждого пикселя берутся нормализованные значения красного, зеленого и синего каналов (каждое в диапазоне от 0 до 1). Индекс ExG вычисляется по формуле:
 |
(1) |
где R, G, и B – зеленый, красный и синий. Здоровые растения сильно отражают в зеленом диапазоне и поглощают в красном и синем, поэтому удвоение зеленого усиливает эту разницу. Полученное значение затем сдвигается и масштабируется, чтобы попасть в стандартный диапазон яркости от 0 до 255 (пиксельные значения).
На втором этапе анализируется гистограмма яркости ExG-изображения. Определяются 2% и 98%, то есть, такие уровни яркости, ниже которых лежат 2% самых темных пикселей и выше которых – 2% самых светлых. Все пиксели, которые темнее 2%, приравниваются к нулю. Все пиксели, ярче 98%, приравниваются к 255. Остальные значения линейно растягиваются между этими границами. Это повышает общий контраст изображения, не теряя детали в тенях и свете.
На третьем этапе изображение разбивается на небольшие квадратные области (обычно 8 на 8 пикселей). Для каждой области строится своя гистограмма яркости и выполняется выравнивание, чтобы улучшить локальный контраст. Чтобы при этом не усилить шум, вводится ограничение на максимальный наклон гистограммы (clipLimit = 2.5). Затем между соседними областями выполняется интерполяция, чтобы избежать видимых границ между блоками. В результате лесные участки становятся более однородными, а фон – более темным.
На четвертом этапе значения пикселей преобразуются по степенному закону: каждый пиксель делится на 255 (чтобы получить долю от максимума), затем возводится в степень гамма, и результат снова умножается на 255. В работе используется гамма = 0.5. Значение гамма меньше единицы осветляет темные участки изображения и затемняет яркие. Поскольку лесные массивы на ExG-изображении обычно темнее фона, гамма-коррекция делает их ярче и увеличивает контраст между лесом и окружением. Выходное изображение после всех преобразований представлено на рисунке 5.
Рисунок 5 – Пример преобразований для усиления зеленого спектра
Выходом модуля предобработки является трехканальный набор данных размерностью N на 3 на 512 на 512, где N – количество тайлов. Все значения пикселей приведены к диапазону от 0 до 1 и представлены числами с плавающей точкой. Такой формат полностью совместим со входными требованиями модели SegFormer.
После того, как модель SegFormer сформировала бинарные маски сегментации для каждого тайла (0 – фон, 1 – лес), выполняется комплексная постобработка, включающая четыре основных этапа: склейку тайлов, морфологическую связку и устранение разрывов, геометрическую фильтрацию по площади и аналитический расчет с визуальным совмещением.
- Бинарная маска, полученная после обработки нейросетью, может содержать разрозненные группы пикселей, микро-пустоты внутри лесных массивов и “рваные” края крон. Это связано с тем, что нейросеть иногда неуверенно классифицирует отдельные пиксели внутри густого леса или на границах. Для устранения этих артефактов применяется операция морфологического закрытия (closing).
Морфологическое закрытие представляет собой последовательное применение двух базовых операций: сначала расширения, затем эрозии. Расширение добавляет пиксели к границам объектов, заполняя мелкие разрывы и соединяя близко расположенные фрагменты. Эрозия, выполняемая следом, удаляет излишне добавленные пиксели, восстанавливая исходные размеры объектов, но при этом разрывы остаются заполненными. В совокупности эти две операции сглаживают контуры и устраняют мелкие полости.
Для выполнения операций используется структурный элемент (ядро) – небольшая матрица, определяющая форму и размер области, которая анализируется вокруг каждого пикселя. В работе применяется эллиптическое ядро размером 30х30 пикселей. Эллиптическая форма выбрана потому, что она лучше соответствует естественной форме крон деревьев по сравнению с прямоугольным ядром. Размер ядра (30 пикселей) эмпирически подобран для спутниковых снимков с разрешением 10 м/пиксель: он соответствует 300 метрам на местности и позволяет объединять деревья, находящиеся на типичном расстоянии друг от друга.
После морфологического закрытия края лесных массивов становятся гладкими, мелкие разрывы внутри леса исчезают, а близко стоящие деревья объединяются в единую семантическую структуру, соответствующую реальному лесному покрову.
- Отдельные маски тайлов необходимо объединить в единую карту, соответствующую исходному спутниковому снимку. На этапе предобработки каждый тайл был снабжен координатами своего верхнего левого угла в исходном изображении.
Создается пустая матрица размером, равным высоте и ширине исходного снимка, изначально заполненная нулями. Для каждого тайла его бинарная маска вставляется в эту общую матрицу по соответствующим координатам. В областях, где тайлы перекрывались, один и тот же пиксель получает несколько значений от разных тайлов. Для разрешения этого конфликта применяется правило максимума: итоговое значение пикселя выбирается как наибольшее среди всех перекрывающихся предсказаний.
Используя сохраненные координаты углов, бинарные маски собираются в единое изображение, соответствующее исходному снимку. В областях перекрытия (50%) значение пикселя выбирается как максимум среди перекрывающихся тайлов – это позволяет сохранить все обнаруженные деревья даже на границах фрагментов.
- Геометрическая фильтрация по площади. На этом этапе выполняется очистка маски от шумовых объектов и уточнение геометрии лесных массивов. Фильтрация основана на анализе связных компонент (connected components) – групп пикселей, которые соприкасаются друг с другом по сторонам или углам.
Алгоритм выделяет все связные компоненты (отдельные «островки» леса) и для каждой компоненты вычисляет ее площадь в пикселях. Если площадь компоненты составляет менее 15х15 пикселей, то такая компонента считается шумовой и удаляется – все ее пиксели заменяются на фоновое значение 0. Порог 225 квадратных метров выбран потому, что одиночные деревья или мелкие артефакты классификации обычно имеют меньшую площадь, а реальные лесные массивы – большую.
Лесной массив может содержать внутренние пропуски – “дыры”, где алгоритм не распознал лес, хотя на самом деле он там есть (например, из-за теней или неоднородности крон). Для заполнения таких пустот алгоритм анализирует инвертированную маску, то есть, маску, где лес и фон поменяны местами. В инвертированной маске “дырами” становятся связные компоненты фона, полностью окруженные лесом. Для каждой такой внутренней пустоты вычисляется ее площадь. Если площадь пустоты составляет менее 16 квадратных метров, она автоматически закрашивается как лес. Порог 16 квадратных метров соответствует площади 4х4 пикселя и позволяет заполнять микро-пропуски, не затрагивая реальные прогалины или дороги. Результат этапа показан на рисунке 6.
Рисунок 6 – Пример преобразований маски с помощью геометрической фильтрации
На улучшенное изображение накладывается полупрозрачная заливка в соответствии с таблицей цветов (Таблица 1).
Таблица 1
Таблица цветов
| Класс | Цвет (RGB) |
| Лес (forest) | (0, 255, 0) – зеленый |
| Фон (background) | Без заливки |
Эксперименты
Использован датасет из 264 спутниковых RGB-снимков разрешением 512×512 пикселей (184 – обучение, 40 – валидация, 40 – тестирование). Разметка вручную скорректирована в CVAT. Сравнивались три архитектуры: SegNet, U-Net (ResNet34) и SegFormer-B2. Каждая модель тестировалась в двух вариантах: “как есть” и в составе разработанной моделью. Обучение проводилось 15 эпох, batch size = 4. Использована метрика IoU (Intersection over Union) и Dice.
Результаты
В таблице 2 приведены средние значения метрик на тестовой выборке (40 снимков).
Таблица 2
Сравнительная таблица моделей
| Модель | Средний IoU | Средний Dice | Валидационный loss |
| SegNet | 0.68 | 0.80 | 0.42 |
| Разработанный ансамбль на основе SegNet | 0.70 | 0.81 | 0.40 |
| U‑Net (ResNet34) | 0.66 | 0.79 | 0.41 |
| Разработанный ансамбль на основе U‑Net | 0.67 | 0.80 | 0.42 |
| SegFormer‑B2 (без предобработки) | 0.71 | 0.82 | 0.25 |
| Разработанный ансамбль на основе SegFormer‑B2 | 0,75 | 0,88 | 0,23 |
Предложенный ансамбль на основе SegFormer-B2 превосходит все остальные конфигурации. Прирост IoU составил +5,6% по сравнению с базовым трансформером, а для свёрточных сетей прирост оказался значительно ниже (до +2,9%). Это подтверждает эффективность разработанных алгоритмов именно в сочетании с трансформерной архитектурой.
Заключение
В работе разработан и программно реализован ансамблевый метод семантической сегментации спутниковых изображений на основе трансформера SegFormer с оригинальными этапами предобработки и постобработки. Экспериментально доказано повышение точности выделения лесных массивов. Разработанное программное обеспечение имеет графический интерфейс (Tkinter) и может быть использовано для мониторинга вырубок и восстановления лесов. Направления дальнейших исследований – адаптация метода для мультиспектральных снимков и интеграция с геоинформационными системами.
References
1. BENAYAD M., et al. Using Deep Learning to create an Enhanced Basemap from RGB Satellite Images for Urban Planning // Natural Hazards Research. 2025. DOI: 10.1016/j.nhres.2025.08.003.2. HIDAYATULLAH P., et al. YOLOv8 to YOLO11: A Comprehensive Architecture In-depth Comparative Review // arXiv:2501.13400. 2025.
3. KHANAM R., HUSSAIN M. YOLOv11: An Overview of the Key Architectural Enhancements // arXiv:2410.17725. 2024.
4. LIU Z., et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows // arXiv:2103.14030. 2021.
5. Qi Y., Lou M., Liu Y., Li L., Yang Z., Nie W. Advancing image super-resolution techniques in remote sensing: a comprehensive survey // arXiv:2505.23248. 2025.
6. Haqaji M. M. E., Arifin A. S., Satyawan A. S. Enhancing Object Detection for Autonomous Vehicles in Low-Resolution Environments Using a Super-Resolution Transformer-Based Preprocessing Framework // World Electric Vehicle Journal. 2025. Vol. 16, no. 12. Art. 678. DOI: 10.3390/wevj16120678.
7. Саечников И. В., Скакун В. В., Чернявская Э. А. Особенности разработки и применения ансамблевых методов глубокого обучения для распознавания и анализа объектов на спутниковых снимках // RusNanoSat-2025. Самара, 2025. С. 158–161.
8. Каунов С. А. Исследование возможностей моделей-трансформеров в задачах лабораторного практикума курса «Компьютерное зрение» : магистерская диссертация. Екатеринбург, 2025.
9. Бережнов Н. И., Сирота А. А. Совершенствование механизмов внимания для архитектуры трансформер в задачах повышения качества изображений // Компьютерная оптика. 2024. Т. 48, № 5. С. 726–733. DOI: 10.18287/2412-6179-CO-1393.
10. Xie E., Wang W., Yu Z. et al. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers // arXiv:2105.15203. 2021.
11. Dosovitskiy A., et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale // ICLR 2021.
12. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // MICCAI 2015.
13. Chen L.C., et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs // IEEE TPAMI. 2018. Vol. 40, no. 4. P. 834–848.
14. Wang W., et al. Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions // ICCV 2021.