跃动天翼人工智能
近期项目测试报告——顺丰网点POC烟火检测测试报告(二)

3. 测试方法
3.1 测试原则
所有关键区域,涵盖不61路摄像头、所有关键区域,涵盖不同环境、不同场景,结合各类测试数据集,确保测试结果具有代表性。
果能直接指导系统上线部署。
3.2 测试方法
3.2.1 “动态置信度防漏检+多帧过滤降误检”策略的有效性,确保测试结果能直接指导系统上线部署。
3.2 测试方法
3.2.1 功能测试
本次测试采用“真实烟火+场内数据合成”的测试方式,结合模拟场景与真实场景优势,同步使用场地采集的火焰、烟雾素材及各类测试数据集用于算法训练,强化算法场景适配性;针对小火、烟雾检测,统一采用“动态置信度识别(优先避免漏检)+ 多帧图像算法过滤(降低误检)”核心策略,验证烟火检测系统的核心功能,具体实施如下:
,验证合成数据与真实场景的一致性。
烟雾检测测试:采用真实烟雾(烟雾器械产生,结合现场烟雾测试素材)结合场内数据合成技术、场地各类测试5m、15m、25m)、不同光照条件下,将真实火焰数据与场内实际监控场景数据合成,模拟不同工况下的小火场景;系统对小火苗采用动态置信度识别,优先捕捉所有疑似小火目标,再通过多帧图像算法过滤(连续采集5-8帧图像,分析目标动态特征,排除静态干扰、瞬时误触发),记录系统最终检测结果(是否准确检测、输出检测框、最终置信度),触发预警;同时补充少量现场真实小火场景测试,验证合成数据与真实场景的一致性。
测试:利用现有摄像头找红色包裹、器械产生,结合现场烟雾测试素材)结合场内数据合成技术、场地各类测试数据集,在不同区域、不同距离(5m、15m、25m)、不同光照条件下,将真实烟雾数据与场内实际监控场景数据合成,模拟不同工况下的烟雾场景;系统对烟雾采用动态置信度识别,优先捕捉所有疑似烟雾目标,再通过多帧图像算法过滤(连续采集5-8帧图像,分析烟雾扩散动态特征,排除静态干扰、瞬时误触发),记录系统最终检测结果(是否准确检测、输出检测框、最终置信度),触发预警;同时补充少量现场真实烟雾场景测试,验证合成数据与真实场景的一致性。
理延迟(含多帧图像过滤延迟)、预警推送延迟。
硬件资源占用:记录CPU、GPU、内存的实时占用率,重点监测多帧图像过滤算法运行时的资源占用,验证系统在长期运行中硬件资源是否充足。
3.2.3 环境适应性测试
在不同现场
3.2.2 性能测试
通过性能监测软件,实时记录系统运行数据,重点测试以下指标:
内存的实时占用率,61路1080p视频流同时解码、检测时,系统的运行状态,是否出现卡顿、崩溃,重点监测多帧图像过滤算法运行时的系统负载。
源占用:记录CPU、GPU、内存的实时占用率,重点监测多帧图像过滤算法运行时的资源占用,验证系统在长期运行中硬件资源是否充足。
3
3.2.3 环境CPU、GPU、内存的实时占用率,重点监测多帧图像过滤算法运行时的资源占用,验证系统在长期运行中硬件资源是否充足。
3.2.3 环境适应性测试
在不同现场环境下(结合场地各类测试数据集)重复功能测试和性能测试,验证系统在昼夜光照变化、阴雨天气、逆光、灰尘遮挡、货物遮挡等场景下的检测效果,重点验证“动态置信度识别+多帧过滤”策略在复杂环境下的有效性,确保系统鲁棒性。
3.2.4 稳定性测试
开启系统持续运行一周,全程监测61路视频流解码、检测情况,重点监测多帧图像过滤算法的持续运行稳定性,记录系统是否出现崩溃、卡顿、漏检率骤升等异常,验证系统长期运行的稳定性。
3.2.5 兼容性测试
验证系统与现有61路1080p摄像头、网络设备、预警设备的兼容性,测试视频流拉取是否稳定、预警设备是否能正常响应、系统与后台管理终端是否能正常通信,确保“动态置信度识别+多帧过滤”策略正常运行。
4. 测试结果分析
4.1 测试概况
本次测试采用“真实烟火+场内数据合成”的方式,结合顺丰场地(755DG)各类测试数据集(白天73种、夜晚50种、逆光30种)及现场采集的火焰、烟雾素材,同时添加场地背景相关图片用于算法训练,助力降低误检率;针对小火、烟雾检测,统一采用“动态置信度识别+多帧图像过滤”策略,共计执行测试用例120条,涵盖61路摄像头的所有覆盖区域,测试时长累计一周(含调试及稳定性测试)。其中,真实烟火测试场景60次(小火30次、烟雾30次)、场内数据合成烟火场景60次(小火30次、烟雾30次)、真实干扰场景20次、合成干扰场景20次,整体测试过程顺利,未出现重大设备故障或系统崩溃现象,测试数据完整、有效,合成数据与场内真实场景贴合度高,“动态置信度识别+多帧过滤”策略运行稳定,测试结果具有较强的参考价值。




