ارزیابی الگوریتم مبتنی بر یادگیری عمیق Sat-MVSF در تولید مدل رقومی سطح از تصاویر ماهواره‌ای با حد تفکیک مکانی بالا

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه مهندسی نقشه‌برداری، دانشگاه تبریز، تبریز، ایران

2 دانشایر گروه مهندسی نقشه‌برداری، دانشگاه تبریز

3 گروه مهندسی نقشه‌برداری - دانشگاه تبریز، تبریز، ایران

چکیده

استخراج اطلاعات مکانی سه‌بعدی از سطح زمین با بهره‌گیری از داده‌های سنجش‌ازدور و فتوگرامتری، یکی از موضوعات محوری و پرکاربرد در حوزه علوم زمین محسوب می‌شود که در سال‌های اخیر توجه بسیاری از پژوهشگران را به خود جلب کرده است. یکی از مهم‌ترین محصولات حاصل از این داده‌ها، مدل رقومی سطح (DSM) است که علاوه بر مدل ارتفاعی زمین (DEM)، تمامی عوارض طبیعی و ساخت‌ بشر نظیر پوشش‌های گیاهی، درختان، ساختمان‌ها و سایر سازه‌های انسانی را نیز شامل می‌شود. استخراج DSM نقش کلیدی در کاربردهای گوناگون از جمله طراحی شهری، شناسایی و استخراج ساختمان‌ها، مدیریت بحران، مدل‌سازی سه‌بعدی و پایش تغییرات ایفا می‌کند. در سال‌های اخیر، پیشرفت چشمگیر در حوزه یادگیری عمیق، تأثیر قابل‌توجهی بر فرآیند استخراج اطلاعات سه‌بعدی از داده‌های سنجش‌ازدور داشته است. روش‌های سنتی بازسازی سه‌بعدی با چالش‌هایی از قبیل مدیریت حجم انبوه داده‌ها، پیچیدگی در استخراج ویژگی‌ها و دشواری در دستیابی به جزئیات دقیق روبرو هستند. در این راستا، بهره‌گیری از شبکه‌های عصبی عمیق برای استخراج ویژگی‌های پیچیده از تصاویر چندمنظری، زمینه‌ساز تحول در این حوزه شده است. یکی از الگوریتم‌های نوین مبتنی بر یادگیری عمیق که به‌تازگی توسعه یافته، Sat-MVSF نام دارد. این الگوریتم با هدف استخراج DSM از تصاویر ماهواره‌ای چندمنظری طراحی شده و تمامی مراحل، از پیش‌پردازش تصاویر تا تولید نهایی DSM، را بر مبنای یادگیری عمیق انجام می‌دهد. با توجه به محدودیت داده‌های آموزشی و همچنین ادعای نویسندگان مبنی بر قابلیت تعمیم بالای وزن‌های آموزش‌دیده، هدف این پژوهش، ارزیابی عملکرد الگوریتم Sat-MVSF در تولید مدل رقومی سطح با استفاده از تصاویر ماهواره‌ای با حد تفکیک مکانی بالا است. نوآوری این تحقیق شامل 1) آماده‌سازی سه دسته داده ماهواره‌ای از سنجنده Worldview-3 و دو دسته داده ماهواره‌ای از سنجنده ZY3-2 به منظور تصحیح ضرایب RPC با استفاده سرشکنی بلوک تصاویر برای هر دسته از داده‌ها و تهیه DSM مرجع از ابر نقاط لیدار و 2) استخراج DSM با استفاده از الگوریتم یادگیری عمیق Sat-MVSF برای تصاویر ماهواره‌ای چندمنظری WorldView-3 و ZY3-2 و ارزیابی و مقایسه آن با DSM استخراج‌شده توسط الگوریتم‌های S2P و SS-DSM و نرم‌افزارهای تجاری CATALYST و ERDAS IMAGINE، است. به‌منظور ارزیابی دقیق‌تر، عملکرد تمامی الگوریتم‌ها در سه نوع منطقه شامل (۱) مناطق غیر ساختمانی، (۲) مناطق ساختمانی با تغییرات ارتفاعی متوسط و (۳) مناطق ساختمانی با تغییرات ارتفاعی زیاد مورد تحلیل قرار گرفته است. داده‌های مورد استفاده شامل پنج مجموعه تصاویر ماهواره‌ای (سه مجموعه داده WorldView-3 و دو مجموعه داده ZY3-2) هستند که هرکدام شامل سه تصویر پوشش‌دار می‌باشند. بر اساس نتایج به‌دست‌آمده، الگوریتم Sat-MVSF در مقایسه با بسیاری از الگوریتم‌ها و نرم‌افزارهای تجاری، عملکرد مطلوب‌تری در استخراج DSM از خود نشان داده است. در تصاویر WorldView-3، این الگوریتم با میانگین دقت ارتفاعی ۱.۱ متر و کامل بودن ارتفاعی ۸۷ درصد، نسبت به الگوریتم SS-DSM و نرم‌افزارهای تجاری برتری دارد. از سوی دیگر، الگوریتم S2P با استخراج DSM با میانگین دقت ارتفاعی 1 متر سبب شده تا الگوریتم Sat-MVSF نسبت به این الگوریتم عملکرد ضعیفی از لحاظ دقت ارتفاعی داشته باشد. بااین‌حال، الگوریتم S2P در مجموعه داده WV3-3 با توجه به این که کامل بودن ارتفاعی پایینی داشته، عملکرد این الگوریتم بسیار وابسته به منطقه مطالعاتی است. در داده‌های ZY3-2، عملکرد الگوریتم Sat-MVSF با دقت‌های ارتفاعی ۲.۴۳ و ۳.۲۷ متر، نتایج قابل قبولی ارائه داده است. به‌طور دقیق‌تر، در دو مجموعه اول داده‌های WorldView-3، الگوریتم S2P با کامل بودن ۹۰.۷۶٪ و ۹۰.۱۶٪ و دقت‌های ۰.۹۴ و ۱.۱ متر، بهترین عملکرد را داشته است. در مجموعه سوم، الگوریتم Sat-MVSF با کامل بودن ۸۳٪ و دقت ۱.۰۴ متر، از سایر الگوریتم‌ها پیشی گرفته است. نتایج بدست آمده نشان می‌دهد که الگوریتم S2P در مناطق ساختمانی با تغییرات ارتفاعی زیاد در دسته داده اول، دوم و سوم به ترتیب با مقدار 1.03، 1.14 و 0.88 متر و نرم‌افزار CATALYST در مناطق غیر ساختمانی در دسته داده اول، دوم و سوم به ترتیب با مقدار 0.71، 1.12 و 0.68 متر بهترین عملکرد را از لحاظ دقت ارتفاعی در مقایسه با سایر الگوریتم‌ها دارند. به‌طورکلی مطابق نتایج، نرم‌افزارهای تجاری CATALYST و ERDAS IMAGINE در مناطق ساختمانی که دارای اختلاف ارتفاعی هستند، خطای ارتفاعی بالاتری را به نسبت الگوریتم‌های Sat-MVSF و S2P دارند. دلیل این امر به این صورت است که این نرم‌افزارها از روش‌های درون‌یابی برای پر کردن گپ‌ها استفاده می‌کنند که سبب کاهش دقت در مناطق ساختمانی با اختلاف ارتفاع می‌شود.

کلیدواژه‌ها


عنوان مقاله [English]

Evaluation of the Deep Learning-Based Sat-MVSF Algorithm in DSM Extraction from High Resolution Satellite Images

نویسندگان [English]

  • Amir Hossein Ghourkhanehchi Zirak 1
  • Amin Sedaghat 2
  • Nazila Mohammadi 3
  • Nima Ahmadian 1
1 Department of Geomatics Engineering, Faculty of Civil Engineering, University of Tabriz, Tabriz
2 Associate Prof., Dep. of Geomatics Engineering, Faculty of Civil Engineering, University of Tabriz, Tabriz, Iran
3 Department of Geomatics Engineering, Faculty of Civil Engineering, University of Tabriz, Tabriz, Iran
چکیده [English]

The extraction of 3D geospatial information from the Earth’s surface using remote sensing and photogrammetric data has become a pivotal and widely utilized subject within the field of geosciences, attracting increasing attention from researchers in recent years. One of the most significant outputs of such data is the Digital Surface Model (DSM), which, in addition to representing the Digital Elevation Model (DEM), includes all natural and man-made features such as vegetation, trees, buildings, and other structures. DSM extraction plays a crucial role in a wide array of applications, including urban planning, building detection, disaster management, 3D modeling, and change monitoring. In recent years, remarkable advances in deep learning have significantly influenced the process of 3D information extraction from remote sensing data. Traditional 3D reconstruction methods often face challenges such as managing large datasets, complexity in extracting features, and difficulity in accessing acurate details. In this context, the use of deep neural networks for extracting complex features from multi-view images has introduced a transformative approach in this domain. A novel deep learning-based algorithm, Sat-MVSF, has recently been developed for DSM extraction from multi-view satellite images. This algorithm is designed to extract DSM from multi-view satellite images and performs all steps, from image preprocessing to final DSM generation, based on deep learning. Given the limited availability of training data and the authors' claims regarding the generalizability of the trained model weights, the objective of this study is to evaluate the performance of the Sat-MVSF algorithm in generating DSMs from high-resolution satellite images. The main innovations of this research include:

1) Preparation of three sets of WorldView-3 satellite data and two sets of ZY3-2 satellite data, involving block bundle adjustment for RPC refinement and reference DSM generation using LiDAR point clouds.

2) DSM extraction using the Sat-MVSF algorithm for multi-view images from both WorldView-3 and ZY3-2 sensors, followed by performance comparison against existing algorithms such as S2P and SS-DSM, as well as commercial software including CATALYST and ERDAS IMAGINE.

To ensure a comprehensive evaluation, the performance of all algorithms is analyzed across three types of areas: (1) non-built areas, (2) building areas with moderate elevation changes, and (3) building areas with significant elevation changes. The dataset used in this study consists of five sets of satellite images—three from WorldView-3 and two from ZY3-2—with each set containing three overlapping images. The results demonstrate that Sat-MVSF outperforms many existing algorithms and commercial software in DSM extraction. For WorldView-3 imagery, Sat-MVSF achieves an average vertical accuracy of 1.1 meters and completeness of 87%, surpassing SS-DSM and commercial tools. On the other hand, S2P provides slightly better height accuracy (1.0 meters), suggesting Sat-MVSF is less precise in terms of elevation RMSE but still competitive. However, the performance of the S2P algorithm on the WV3-3 dataset is highly dependent on the study area, given that it has low elevation completeness. In the ZY3-2 datasets, Sat-MVSF achieves elevation accuracies of 2.43 and 3.27 meters, indicating acceptable performance. More specifically, in the first two WorldView-3 datasets, S2P attains the best performance with completeness of 90.76% and 90.16%, and elevation accuracies of 0.94 and 1.1 meters, respectively. In the third dataset, Sat-MVSF leads with a completeness of 83% and a elevation accuracy of 1.04 meters. The obtained results show that S2P performs best in building zones with significant elevation changes with accuracies of 1.03, 1.14, and 0.88 meters for the first, second, and third datasets, respectively and CATALYST application achieves the highest accuracy in non-built-up areas with values of 0.71, 1.12, and 0.68 meters across the same datasets. Overall, commercial software such as CATALYST and ERDAS IMAGINE exhibit higher height errors in built-up areas which have significant elevation differences. The reason for this is that these softwares use interpolation methods to fill gaps, which reduces accuracy in building areas with height differences. Given that if the height threshold limit is considered to be a large number in calculating the height accuracy and height completeness evaluation criteria, the error increases, meaning that pixels with a high height error are considered as correct pixels, and both the height accuracy and height completeness criteria will optimistically have a high value. At a small height threshold limit, both criteria will have a low value.

کلیدواژه‌ها [English]

  • 3D reconstruction
  • Digital Surface Model extraction
  • Large-scale satellite images
  • Deep learning
  • Rational Polynomial Coefficients