协作机器人数据集构建与增强方案

协作机器人数据集核心特点：包含工件图像、点云、力传感数据、机器人关节数据、抓取 / 装配动作序列，不只是普通视觉图片，还要匹配人机交互、非结构化场景信息。构建分为原始数据采集、数据清洗、数据集标注、数据增强、数据集迭代闭环五大环节。

一、原始数据采集（搭建数据源）

1. 采集内容

1. 视觉数据：2D 彩色图、深度图、3D 点云（单目 / 双目 / 结构光 / 激光相机）；包含不同光照、遮挡、工件摆放姿态。
2. 本体传感数据：各关节角度、扭矩、电流、末端力传感器（力控交互、接触碰撞数据，人机触碰、装配接触力信号）。
3. 动作标签数据：机器人轨迹、抓取成功 / 失败、工件位姿、人机安全事件。

2. 采集方式

1. 真实物理采集（真机采集）
   • 拖动示教，重复多批次作业，人为改变工件位置、堆叠、轻微遮挡；
   • 模拟非结构化场景：工件偏移、表面污渍、反光、不同光照；
   • 优势：数据真实；缺点：耗时、存在碰撞风险、样本数量有限。
2. 仿真环境采集（数字孪生 / 机器人仿真器） 如 Webots、CoppeliaSim、ROS Gazebo、NVIDIA Isaac Sim，快速批量生成样本。 可批量修改：工件模型、材质、光照、相机角度、工件随机位姿、随机遮挡。

   痛点：仿真域与真实场景存在域间隙，需要后续域适应优化。

3. 混合采集方案（推荐） 仿真大批量生成基础样本 + 真机采集少量真实样本做校准，降低采集成本。

二、数据清洗

1. 过滤无效样本：相机过曝 / 黑屏、传感器异常跳变、机器人失控碰撞的异常帧。
2. 时间对齐：将图像、点云、关节数据、力信号做时间戳同步，保证多模态数据一一对应。
3. 去重复：剔除高度相似重复帧，避免数据集冗余、模型过拟合。
4. 异常值剔除：力传感器尖峰噪声、点云离群点。

三、数据集标注

协作机器人数据集常见标注类型：

1. 2D 标注：工件包围框、关键点（抓取点）；
2. 3D 标注：工件 6D 位姿、点云实例分割掩码；
3. 时序标注：动作分段（接近→抓取→放置）、抓取成功 / 失败分类；
4. 力数据标注：接触开始时刻、力阈值标签、人机交互事件。

标注技巧：仿真数据可自动标注，无需人工打点，大幅降低成本；真实图片使用半自动标注工具（LabelMe、CVAT、CloudCompare 点云标注）。

四、数据增强（核心，提升模型泛化能力，适配非结构化场景）

分为图像增强、3D 点云增强、多模态时序增强、物理仿真增强四类

1. 2D 图像增强

基础：随机裁剪、旋转、缩放、翻转、亮度 / 对比度 / 饱和度调整； 工业场景专用：添加高斯噪声、运动模糊、反光、阴影、污渍、局部遮挡。

2. 3D 点云增强（协作机器人抓取识别重点）

• 点云随机采样、下采样；
• 局部点云缺失模拟遮挡；点云平移、旋转；
• 添加离群噪点，模拟灰尘、反光造成的无效点；

3. 力传感与时序数据增强

协作机器人独有的增强方式：

• 力信号：基线漂移、小幅高斯噪声、信号压缩拉伸；
• 动作序列：时间轴伸缩，模拟机器人快慢不同的运动轨迹。

4. 跨域增强（解决仿真到真机差距）

域随机化：在仿真中随机修改物体纹理、材质、光照、相机噪声； 域自适应算法，把仿真数据特征迁移到真实图像分布，缩小仿真 - 真实偏差。

五、数据集管理与闭环迭代

1. 数据集划分：训练集、验证集、测试集，尽量保证测试集是真机采集的真实场景数据，不能只用仿真数据测试。
2. 版本管理：使用 DVC、Git LFS 管理大容量点云、时序数据集；记录采集条件、机器人型号、相机参数。
3. 在线迭代闭环（工程落地关键） 机器人在现场运行时，自动识别识别失败、抓取失败样本，自动保存图像 + 点云 + 力数据，人工复核标注后回流进数据集，持续迭代模型。

六、工程落地注意事项

1. 类别均衡：避免数据集工件种类、姿态不均衡（比如只有正面样本，缺少倾斜、遮挡样本），防止模型偏向性。
2. 安全：真机采集人机交互、碰撞力数据时，降低机器人速度，开启协作机器人力限安全保护。
3. 版权：使用 CAD 模型做仿真采集时，注意三维模型版权。