摘要
为解决倾斜摄影测量项目中5镜头相机采集像片数量多，数据量大，空中三角测量及三维建模时间长，计算机硬件要求高，参与三维建模像片很多是多余的问题，本文对倾斜摄影三维建模像片的筛选方法进行研究。基于.NET Framework框架，采用C#编程语言设计开发了倾斜摄影像片筛选工具，实现对测区范围之外、像幅不完整、曝光不正常及重叠度过大像片自动化剔除。在剔除无效像片后，减少了数据存储容量，缩短了三维建模时间，提升了实景三维项目工作效率。
Abstract
In order to solve the problems of large number of photos collected by the five-lens cameras in oblique photogrammetry projects, large amounts of data, long aerial triangulation and 3D modeling time, high computer hardware requirements, and many 3D modeling photos being redundant, this article discusses the screening method of oblique photography three-dimensional modeling photos is studied. Based on the .NET Framework framework and using the C# programming language, an oblique photography photo screening tool was designed and developed to automatically eliminate photos outside the measurement area, with incomplete image frames, abnormal exposure, and excessive overlap. After eliminating invalid photos, the data storage capacity is reduced, the 3D modeling time is shortened, the work efficiency of the real-life 3D projects is improved.
Keywords
0 引言
党的十八大以来，国家高度重视加快数字中国的建设。在十九大报告中，明确提出了建设数字中国的目标。2023 年，自然资源部发布了关于《实景三维中国建设总体实施方案（2023－2025年）》的通知，要求加快推进实景三维中国建设，以更好地服务经济社会发展和人民生活改善。实景三维中国建设是落实数字中国、平安中国、数字经济战略的重要举措，同时也是国家新型基础设施建设的具体部署（陈阳，2022；关晓晴，2022）。这一建设将为生态文明建设和经济社会发展提供基础支撑，有力地推动中国数字化进程，助力实现全面建设社会主义现代化国家的目标（乐黎明等，2022；谭盛辉和汤明亮，2022）。
倾斜摄影测量技术作为实景三维中国建设的重要手段，是传统摄影测量发展起来的一项新技术。近年来在各个行业得到了广泛应用（郭一兵等，2019；付垒和洪增林，2020）。该技术通过在同一飞行平台上搭载多台传感器，以多角度同步曝光采集像片，处理后的数据可用于构建实景三维模型。实景三维模型虽然可以直观、真实、精细地展现地理场景的空间位置和地理地貌，但是镜头采集像片数量众多，数据量庞大，使三维建模不仅对计算机硬件要求高，而且过程耗时、容易出错。然而，对于农村房地一体等一些项目来说，参与建模的像片有很多是多余的。如果能通过自动筛选剔除多余像片，不仅可以提高工作效率，提升建模效率和质量，还可以降低对计算机硬件需求（乔天荣等， 2020；丁亚杰和鲍秀武，2022）。
1 倾斜摄影像片有效性
在倾斜摄影三维建模之前，需对无人机低空倾斜摄影像片数据成果进行有效性检查，以确保像片符合三维建模要求，最大程度提升建模效率。本文从3个方面对像片有效性问题进行研究：首先，检查拍摄像片是否在测区范围之内；其次，评估像片质量是否符合建模要求；最后，检查像片重叠度是否过大。完成这 3 方面检查，可最大程度确保三维建模像片数据有效性和符合性。
1.1 测区范围外的像片
在 5 镜头倾斜相机航摄过程中，为获取测区范围内像片数据，航飞设计应确保航向覆盖超出分区边界线至少 2 条基线，旁向覆盖超出整个摄区和分区边界线一般应不少于像幅的 50%，如图1所示。但在倾斜摄影三维建模中，只有覆盖测区内地物的像片才有效。对于 5 镜头航摄相机而言，测区四周会产生较多无效像片，尤其在航向多出的两条基线处（如摄站 S1、S2、S3）。这些像片无疑会影响三维建模处理效率，因此应当进行筛选剔除。
图1测区航飞示意图
图2像片质量缺陷
1.2 质量缺陷的像片
在倾斜摄影航摄过程中，受航飞时间、天气状况等因素影响，拍摄像片可能会出现曝光过度（过曝）、曝光不足（欠曝）、云、雾等影像缺陷。此外，无人机飞行过程中的振动、镜头污染、相机快门故障等因素也可能导致像片模糊和像幅不完整，如图2所示。这些像片会干扰三维建模，影响空中三角测量同名点匹配，降低工作效率（姜芸等，2020；姚宏岗，2023）。因此，在进行三维建模之前，需要剔除此类像片，对倾斜摄影成果进行像片质量筛选，降低三维建模过程中同名点匹配出错概率。
1.3 重叠度过大的像片
虽然在《低空数字航摄与数据处理规范》GB/T39612-2020 中明确规定像片航向重叠度一般应为 60%~90%，最小不应小于 53%，旁向重叠度一般应为15%~60%，最小不应小于8%（郑亮等，2017；张春明和荣幸，2020；中国国家标准化管理委员会和国家市场监督管理总局，2020；邹剑波，2022）。但是由于在航飞过程中会受到风力和风向等因素影响，导致飞行姿态稳定性下降。同时，外业低空飞行成本相对较高；操作人员对技术规程理解存在一定不足等因素也会影响航摄成果。为避免航摄像片不符合标准要求重新采集或补测，航飞人员通常会增大航摄重叠度，从而导致航摄像片数量过多，数据量过大，增加数据传输时间和降低三维建模效率。因此，在倾斜摄影三维建模之前，可以筛选出航向方向重叠度较大的像片，提高数据传输和三维建模效率。如图3所示，相邻 3 张像片 2x00001、 2x00002、2x00003 之间重叠度为 80%，在不影响三维建模前提下，可以剔除编号为2x00002的像片，移除后，像片重叠度维持在 60%。综上所述，相邻两张像片重叠度总和超过 160%，剔除中间像片也能够满足低空摄影飞行中像片重叠度标准要求，即 60%的重叠度。
图3重叠像片筛选
2 像片筛选方法
在确保三维建模效果基础上，本文结合农村房地一体、实景三维建模等项目，基于上述无人机倾斜摄影像片有效性检查内容，对像片自动化筛选方法进行研究。
2.1 测区范围外像片筛选方法
由于倾斜摄影 5 镜头相机获取像片数量多，测区范围外无效像片也很多，如何依据测区范围剔除范围外像片，是筛选像片必不可少的一步。倾斜摄影中，可利用地面基准站（一个或多个）和机载 POS 系统获取像片拍摄瞬间 6 个外方位元素，在不进行空中三角测量情况下，依据像片 4 个角点像点坐标计算其实地坐标值（X，Y，Z）来判断是否在测区范围之内（邓非等，2017）。计算像片4个角点坐标值，可以通过共线方程（王佩军和徐亚明，2010；赵明宇， 2020）来实现。
倾斜摄影像片在拍摄瞬间，像点 a、地面点 A 和投影中心S三点位于一条直线，其数学关系式为：
(1)
式（1）中，x，y为像点像平面坐标；X，Y，Z为像点对应物方点物方空间坐标；f 为相片主距；XS，YS，ZS 为摄站点物方空间坐标；ai，bi，ci（i=1，2，3）为 3 个外方位角元素（林森等，2022）。
如果已知像片像点坐标，可得到共线方程另一种形式（反演公式）：
(2)
若测区范围内地面平坦，任一地面 Z 值为一常数，Z-Zs为航高负值-H。因此，共线条件方程（2）还可表示为：
(3)
由像片内方位元素，可以得到像片4个角点在像平面坐标系下像方坐标：左下角坐标为（，），左上角坐标为（，），右上角坐标为（，），右下角坐标为（，），其中W，H代表像片宽和高（像素），x0，y0 代表像主点偏移量（像素），μ为像元大小（mm）。
通过摄站点物方坐标、航高、相片主距和像片4 个角点像方坐标，由式（3）可计算出像片4个角点物方坐标（X，Y，Z）。由像片 4个角点物方坐标和测区范围（多边形KML文件），依据射线法可判断点是否在多边形范围内（图4）。由角点水平向右做射线，如果点在多边形内部，那么这条射线与多边形交点为奇数，如果点在多边形外部，则交点个数为偶数 （0 也在内）（鲍娣等，2018）。若一张像片 4 个角点中，至少有1个角点物方坐标位于测区范围内，则该张像片应当被保留。如果所有角点物方坐标均不在测区范围内，则应当剔除该张像片。
图4射线判断法
射线法判断点是否在多边形内部伪代码如下：
double px = pCheckPoint.X; // 获取点的X坐标
double py = pCheckPoint.Y; // 获取点的Y坐标
bool flag = false; // 初始化标志位，表示射线穿过多边形边界的次数
// 遍历多边形的每条边
for (int i = 0, j = pPolygonPoints.Count-1; i <pPolygonPoints.Count; j = i, i++) {
double sx = pPolygonPoints[i].X; // 获取当前边的起始点的 X 坐标
double sy = pPolygonPoints[i].Y; // 获取当前边的起始点的 Y 坐标
double tx = pPolygonPoints[j].X; // 获取当前边的终止点的 X 坐标
double ty = pPolygonPoints[j].Y; // 获取当前边的终止点的 Y 坐标
// 判断点是否与多边形顶点重合
if ( (sx == px &&sy == py) || (tx == px &&ty = = py) ) {
return "内"; // 如果点与顶点重合，则返回 "内"
}
// 判断线段两端点是否在射线两侧
if ( (sy <py &&ty >= py) || (sy >= py &&ty <py) ) {
double x = sx +（py-sy）*（tx-sx）/（ty-sy）; // 计算射线与线段的交点 X 坐标
// 判断交点是否在点上
if (x == px) {
return "内"; // 如果交点在点上，则返回 "内"
}
// 判断交点是否在射线右侧
if (x >px) {
flag =!flag; // 如果交点在射线右侧，则切换标志位的值
}
}
}
// 根据标志位的值判断点是否在多边形内部
if (flag) {
return "内"; //如果标志位为真，则射线穿过多边形边界次数为奇数，点在多边形内部
} else {
return "外"; //如果标志位为假，则射线穿过多边形边界次数为偶数，点在多边形外部
}
2.2 质量缺陷像片筛选方法
倾斜摄影像片数据成果中可能存在质量缺陷像片（图2）。这些像片会对三维建模造成干扰，从而影响三维建模质量和效率。因此，在进行三维建模之前，需对倾斜摄影像片成果进行筛选，剔除此类像片，降低三维建模过程中同名点匹配出错概率。
由于相同相机镜头拍摄时航高、分辨率等基本一致，因此每张像片数据量大小会基本一致或比较接近，而像幅不完整或曝光不正常像片数据量大小则差距会比较大。如图5所示，同一架次拍摄的像片，其文件数据量大小为 7032~11812 kB，而像幅不完整和曝光不正常像片文件数据量大小只有 3262 kB 和 702 kB。所以，可以通过获取像片数据量大小的方法，实现像片质量初步筛选。
图5像幅不完整或曝光不正常像片
上述方法在筛选像幅不完整像片方面有一定效果，但在处理曝光异常像片时却显示出一定局限性。对于过曝、欠曝或像幅不完整像片，可以采用基于统计像素值区间占比的方法进行更进一步筛选。首先，需要将RGB色彩模式像片转换为灰度图像。其次，通过计算获得该灰度图像的直方图。如图6所示，通过分析像片灰度直方图，可以直观地观察到：如果像素点主要集中在左侧，则表明像片偏暗，即欠曝；如果像素点主要分布在右侧，则表明像片偏亮，即过曝；而如果像素点集中在 0 值区域，则意味着像片像幅不完整。
图6质量缺陷像片分析
最后，对过曝、欠曝或像幅不完整的像片进行进一步分析，可以将灰度直方图的像素值区间划分为 3 个部分：偏暗区间 0~50、正常区间 50~200 和偏亮区间200~255（这些区间范围基于经验得出）。通过计算各个区间内像素数量占比，可以判断像片是否存在质量问题。如果偏暗区间像素数量占比超过 60%（经验阈值），认为像片偏暗；如果偏亮区间像素数量占比超过 60%（经验阈值），则认为像片偏亮；如果像素值为0的占比超过15%（经验阈值），则认为像片像幅不完整。如图7所示，欠曝像片在偏暗区间像素占比为 90%，过曝像片在偏亮区间像素占比为 74%，而像幅不完整像片在像素值为 0 的占比为60%。
图7质量缺陷像片统计结果
然而，由于像素区间划分和像素数量占比阈值均是基于经验设置，并且不同项目阈值会有所差异，因此阈值设定可能并不合理。此外，移除存在质量问题的像片也可能会导致不满足重叠度要求的问题。故像片质量筛选过程存在一定局限性。因此，筛选出的问题像片需要经过人工逐一核实。
2.3 重叠度过大像片筛选方法
相邻像片的重叠度可以通过匹配相邻像片上同名点来计算。根据任一同名点在相邻两张像片坐标系中的坐标（x1，y1）、（x2，y2），可以使用以下公式计算像片重叠度（赵燕伶等，2019；李黎和王海恒， 2021）：
(4)
式（4）中，w表示像片的宽度，x1和x2分别表示同名点在相邻两张像片上的横坐标。
依据《低空数字航摄与数据处理规范》GB/T39612-2020 规定，航向重叠度一般应为 60%~90%。因此，如图3所示，若相邻两张像片重叠度之和超出了 160%，剔除中间一张像片后，重叠度仍符合规范中相关规定。
3 程序实现与项目应用
3.1 程序实现
通过对倾斜摄影像片有效性及筛选方法进行分析研究，本文设计了一套倾斜摄影像片数据筛选技术流程。该流程能够有效地剔除测区范围之外、存在质量缺陷以及重叠度过大的像片，从而提升三维建模工作效率。具体技术路线如图8所示。
图8像片筛选技术路线
基于上述技术路线，本文利用 .NET Framework 框架并采用 C#、Python编程语言开发了一款倾斜摄影像片筛选工具，工具提供了直观易用的 UI 界面，如图9所示，用户可通过界面方便地进行操作和设置。该工具包括4个主要功能：测区范围筛选、像片质量筛选、重叠度筛选和像片文件提取。
（1）测区范围筛选：根据指定 KML 测区范围文件，结合倾斜摄影相机导出的像片目录和 POS数据 （block_import.xls）文件、投影参数等信息，按照 2.1 节程序方法进行筛选。
（2）像片质量筛选：依据设置的原始像片文件目录、像片数据量大小阈值、像片灰度直方图像素值区间阈值、偏暗区间占比阈值、偏亮区间占比阈值和像素值0占比阈值，对过曝、欠曝和像幅不完整像片进行初步筛选。然后，通过工具提供的像片浏览功能，对初步筛选出的存在质量缺陷的所有像片进行逐一浏览核实并标记。这样，用户可以根据实际情况，对像片质量进行更准确的判断和处理。
（3）重叠度筛选：根据设定的原始像片文件目录、重叠度阈值以及 2.3节描述的方法，对重叠度过大像片文件进行标记。
（4）像片文件提取：根据指定的原始像片文件目录以及标记的 Excel 像片信息列表文件，将有效像片文件提取到指定输出目录中。
图9倾斜摄影像片筛选工具界面
3.2 实际应用
以江苏省某县农村房地一体项目中某一架次数据为例，本文采用上述倾斜摄影像片筛选方法，并利用开发的像片筛选工具进行了实验。该测区采用大疆 M300 飞行平台，搭载塞尔 5 镜头 102S 倾斜相机，采集了某村 0.06 km2 区域范围内地面分辨率为1.5 cm的影像。如图10所示，红色范围表示飞行区域，紫色范围表示测区范围。设计飞行高度为 96 m，飞行速度为 12 m/s，航向重叠度为 80%，旁向重叠度为70%。总共采集了1790张像片，总数据量为17.7 G，成功完成了该测区航飞数据获取任务。
图10某村飞行区域及测区范围
在进行三维建模前，项目使用开发的倾斜摄影像片筛选工具。首先，输入由倾斜摄影相机导出的像片目录和 POS 数据（block_import.xls）文件、KML 测区范围文件、像片数据大小阈值（7032KB~11812KB）、偏暗区间阈值（0~50）、偏亮区间阈值 （200~255）、偏暗区间占比阈值（60%）、偏亮区间占比阈值（60%）、像素值 0 占比阈值（15%）、重叠度阈值（60%）以及投影参数（中央子午线 120°）等信息，点击“筛选”按钮，程序自动开始对需要剔除的像片进行标记。其次，在质量缺陷像片筛选方法中，阈值设置可能存在不合理之处，或者质量缺陷像片被剔除后，可能无法满足重叠度要求等因素，像片质量筛选可能会存在一定局限性。为了解决这个问题，采用工具提供的像片浏览功能，逐一核实并标记确实存在质量缺陷的像片。最后，在“像片文件提取”功能中，输入输出像片目录，点击“提取”按钮，程序自动开始提取有效像片数据。这样，就能获得满足要求的像片，为后续三维建模工作做好准备。
倾斜摄影采集像片数据经过筛选工具处理后，使用 ContextCapture 软件对筛选后像片成果进行空中三角测量（包含特征提取、同名点匹配、刺点等） 和三维模型重建。表1展示了像片筛选前后在像片数量、建模时间、重投影误差（RMS）、数据量和工作效率方面的结果对比情况。由表1可以看出，经过像片筛选后，像片数量明显减少，空中三角测量和刺点时间也相应减少，同时三维模型重建效率也大大提高。
表1建模数据、时间、效率对比
4 结论
（1）设计开发的倾斜摄影像片筛选工具操作简单，使用该工具进行处理后，像片数据量减少了 78.4%，工作效率提高了 50.6%。同时，像片筛选前后三维模型精度没有明显降低，模型细节也没有受损，实现了预期研究目标。
（2）该倾斜摄影像片筛选方法已经在农村房地一体项目、实景三维建模、历史建筑保护、交通水利工程改造等项目中得到了广泛应用，提高了倾斜摄影建模工作效率和质量，降低了对计算机硬件要求。未来，将进一步完善相关筛选方法和筛选工具，不断扩充筛选功能，为自然资源部门履行“两统一”职责提供技术支撑和保障。