大物体 (Large Object) 检测流程
本章会详细介绍如何设置 大物体 (Large Object) 检测流程。
大物体 (Large Object) 检测流程使用了关键点深度学习技术,3D点云对准技术,以实现对大型物体部分拍照即可定位和检测。
大物体通常应用于较大的物体,相机无法拍全整个物体的轮廓,该物体的标注方法为:
每个特征点周围标注一个多边形外轮廓,并需要有一个独特的名称
每个多边形内,标注1个关键点。总共需要有大于3个多边形+关键点的标注
1. 手眼标定
在创建任务时,需要有已经连接的相机和机器人,然后选择手眼标定文件。如果您还没有完成手眼标定,请参考 机器人手眼标定 来完成手眼标定。
2. 上传深度学习模型
点击上传来浏览深度学习的 配置
和 权重
文件。等上传完成后,点击保存模型。
备注
大物体检测流程只支持 Fast 模型。
配置
文件通常有.txt 文件格式和 .json 文件格式,都可以直接上传。
权重
文件通常有 .pt 文件格式,.onnx 文件格式,以及 .torchscript 文件格式, 都可以直接上传。
看到下面的标签栏中出现您的深度学习标签名称,确认正确后,便可点击下一步。
3. 配置检测流程
首先,点击拍照按钮给场景拍照,确认相机正常工作,以及确认物体位置,相机视野是否合适。
点击设置ROI, 使用窗口中的框截选出检测区域,这一步是为了移除背景,等干扰点云,只保留物体点云会出现的区域,这样可以使检测更快更准。完成ROI的调整之后再点击保存。这一步同时设置了参考系,ROI的坐标就是参考系。
小技巧
您也可以框选使得物体所在的平面也被移除,这样只保留物体的点云会最大程度的提高检测速度以及准确度。
备注
ROI的箱体需要和抓取平面保持平行,因为ROI同时设置了参考系,ROI的坐标就是参考系。当之后设置夹爪从上方抓取时,就会以这里定义的参考系的 z 轴为上方。Pick sort的对齐x,y 旋转 也是以参考系为基准。
检查显示窗口的ROI截取的点云是否合适,如果需要修改ROI,请重复1,2,重新设置ROI.
然后就需要定义检测模型,点击定义模型中的设置ROI,然后在右侧点云模型中框选单一物体,然后点击保存。
5. 之后,即可定义3D关键点,打开定义3D关键点,然后点击其中的学习3D关键点,等待模型识别完成。识别完成后,可以点选不同的关键点,并检查其在模型上的位置是否正确。如果位置正确,即可点击保存;如果不正确,可以尝试重新学习关键点;如果多次学习关键点失败,则需要考虑更换深度学习模型,更多请阅读 深度学习优化。 同时,可以在设置参考点中选择不同的关键点或模型中心点作为原点。
(可选) 调试高级设置,更多高级设置详情,请阅读 大物体 (Large Object) 检测流程高级配置。
点击快速检测,可以使用对其关键点或深度学习结果来检测关键点识别结果。如果您的检测效果不佳,请检查1-6的步骤是否正确,更多请阅读 视觉项目优化。
这样检测部分就设置好了,可以进行下一步: 设置抓取策略 。