1. 项目背景与意义自动扶梯作为现代公共场所的重要运输设备其安全问题一直备受关注。据统计全球每年因自动扶梯使用不当导致的意外事故高达数千起其中大部分是由于乘客的危险行为造成的。传统的人工监控方式存在效率低、反应慢等问题而基于计算机视觉的智能监控系统能够有效解决这些痛点。我们团队历时6个月采集并标注了这套电梯扶梯危险行为检测数据集。这个数据集专门针对自动扶梯场景中的10类典型危险行为进行标注采用业界通用的YOLO格式可直接用于目标检测模型的训练和评估。在实际应用中基于该数据集训练的模型可以实时监测扶梯运行状态及时发现危险行为并发出预警显著提升公共场所的安全管理水平。2. 数据集详解2.1 数据采集与标注数据集构建过程中我们采用了多源数据采集策略实地采集在多个商场、地铁站等公共场所使用高清摄像头拍摄不同时段、不同角度的扶梯监控视频公开数据从网络获取部分公开的扶梯监控视频素材模拟场景在实验室环境中模拟部分危险行为场景所有视频素材经过逐帧提取后由专业标注团队进行筛选和标注。标注过程中特别注意以下几点确保每个危险行为实例都被准确标注对于遮挡、模糊等情况要求标注可见部分多人协作标注时定期进行交叉检查以保证一致性2.2 类别定义与分布数据集包含的10类危险行为定义如下类别编号危险行为定义说明典型场景0逆行乘客逆向行走或站立常见于儿童玩耍或紧急情况1摔倒乘客失去平衡跌倒老人或携带重物者多发2攀爬扶手攀爬扶梯侧面扶手儿童危险行为3轮椅上扶梯轮椅直接进入扶梯残障人士不当使用4携带大件行李携带超大或超重行李车站、机场常见5婴儿车上扶梯婴儿车直接进入扶梯家长安全意识不足6衣物卷入衣物被扶梯缝隙夹住长裙、围巾等易发7手伸出扶手外手部超出扶手范围儿童好奇行为8头伸出扶手外头部超出扶手范围儿童危险行为9鞋子卷入鞋类被扶梯缝隙夹住软底鞋、拖鞋易发数据集中各类别的样本分布存在一定不均衡性这是实际场景中各类行为发生频率的真实反映。我们在数据增强策略中特别考虑了这一点确保模型对所有类别都有良好的检测能力。3. 数据集技术细节3.1 数据格式与结构数据集严格遵循YOLO格式标准目录结构如下dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yaml每个标注文件对应同名的图像文件采用.txt格式存储每行表示一个目标实例class_id x_center y_center width height其中坐标值均为归一化后的相对值0-1范围。3.2 数据划分策略我们采用7:2:1的比例将数据集划分为训练集1940张图像2215个标注框验证集554张图像626个标注框测试集278张图像327个标注框划分时特别注意确保每个子集中都包含所有类别同一场景的不同帧不会被分到不同子集测试集完全独立不参与任何训练过程3.3 数据质量控制为确保标注质量我们实施了三重质检流程初级标注员完成初步标注高级标注员进行复核和修正最终由项目负责人抽样检查对于边界模糊的案例我们建立了明确的标注规范部分遮挡目标标注可见部分多人重叠尽量分开标注模糊目标超过50%可辨识则标注4. 数据集使用指南4.1 快速开始使用本数据集训练YOLO模型的基本流程下载并解压数据集准备YOLO训练环境推荐使用ultralytics/yolov5修改data.yaml中的路径配置开始训练python train.py --data data.yaml --cfg yolov5s.yaml --weights yolov5s.pt --batch-size 164.2 数据增强建议针对本数据集特点推荐采用以下增强策略基础增强随机翻转、旋转、色彩调整针对小目标适度放大图像针对样本不均衡过采样少数类别针对遮挡问题模拟遮挡增强示例增强配置YOLOv5augmentations: hsv_h: 0.015 # 色相增强 hsv_s: 0.7 # 饱和度增强 hsv_v: 0.4 # 明度增强 degrees: 10 # 旋转角度 translate: 0.1 # 平移 scale: 0.5 # 缩放 shear: 0.0 # 剪切 perspective: 0.0001 # 透视变换 flipud: 0.0 # 上下翻转 fliplr: 0.5 # 左右翻转 mosaic: 1.0 # 马赛克增强 mixup: 0.1 # MixUp增强4.3 模型训练技巧基于我们的实践经验分享几个关键训练技巧学习率设置初始学习率0.01使用余弦退火调度warmup epochs设为3损失函数调整适当增加小目标损失的权重对样本少的类别增加分类损失权重训练策略先冻结骨干网络训练100轮解冻后全网络训练300轮最后微调50轮5. 基准测试结果我们在YOLOv5s模型上进行了基准测试结果如下5.1 整体性能指标数值mAP0.50.872mAP0.5:0.950.643Precision0.891Recall0.832F1-score0.8615.2 各类别性能类别AP0.5常见误检逆行0.912正常行走摔倒0.843蹲下休息攀爬扶手0.901扶握扶手轮椅上扶梯0.856婴儿车大件行李0.879多人拥挤婴儿车0.834轮椅衣物卷入0.801衣物飘动手伸出0.762挥手动作头伸出0.793转头动作鞋子卷入0.821鞋子移动5.3 性能优化建议根据混淆矩阵分析建议从以下方面改进模型增加轮椅和婴儿车的区分特征优化摔倒与蹲下的判别提升小目标如手、头的检测灵敏度6. 实际应用案例6.1 智能监控系统集成在某商场部署的案例中我们将训练好的模型集成到现有监控系统使用NVIDIA Jetson Xavier NX作为边缘计算设备处理1080P视频流帧率15FPS检测到危险行为后触发以下响应现场语音提醒控制室弹窗报警自动保存事件录像系统上线3个月后扶梯事故率下降62%效果显著。6.2 模型优化经验在实际部署中我们总结了几点重要经验边缘设备上使用TensorRT加速推理速度提升3倍针对特定场景微调模型准确率可再提升10-15%设置合理的检测阈值建议0.4-0.6平衡误报和漏报7. 常见问题与解决方案7.1 数据相关问题Q如何处理类别不均衡 A我们采用以下组合策略过采样少数类别图像在损失函数中增加类别权重针对性设计增强方法Q标注不一致怎么办 A建议建立详细的标注规范文档定期组织标注员培训引入多人标注-投票机制7.2 模型训练问题Q小目标检测效果差 A可以尝试提高输入图像分辨率使用专门的小目标检测层增加针对小目标的增强Q模型过拟合怎么办 A建议措施增加正则化Dropout, L2等使用更丰富的数据增强早停策略7.3 部署应用问题Q如何提高推理速度 A有效方法包括模型量化FP16/INT8使用TensorRT优化调整输入尺寸Q如何处理误报 A我们采用多帧验证机制结合行为时序分析场景特定的规则过滤8. 未来改进方向基于当前数据集和实际应用反馈我们计划在以下方面进行改进数据层面增加更多光照变化的场景收集更多罕见危险行为样本添加多视角同步数据标注层面引入细粒度行为分级标注增加时间连续性的标注信息提供实例分割标注模型层面开发轻量化专用模型探索视频时序建模方法研究多模态融合检测这套数据集将持续更新维护我们欢迎研究机构和企业在遵守使用协议的前提下共同推动自动扶梯安全技术的发展。
)
)
