2D 关键点 (2D Keypoint) 检测流程
本章会详细介绍如何设置 2D 关键点 (2D Keypoint) 检测流程。
2D 关键点 (2D Keypoint) 检测流程使用了关键点深度学习技术,3D点云对准技术,以实现物体的定位和检测。
1. 手眼标定
在创建任务时,需要有已经连接的相机和机器人,然后选择2D手眼标定文件。如果您还没有完成2D手眼标定,请参考 机器人手眼标定 来完成2D手眼标定。
2. 上传深度学习模型
点击上传来浏览深度学习的 配置
和 权重
文件。等上传完成后,点击保存模型。
备注
配置
文件通常有.txt 文件格式和 .json 文件格式,都可以直接上传。
权重
文件通常有 .pt 文件格式,.onnx 文件格式,以及 .torchscript 文件格式, 都可以直接上传。
看到下面的标签栏中出现您的深度学习标签名称,确认正确后,便可点击下一步。
3. 配置检测流程
首先,点击拍照按钮给场景拍照,确认相机正常工作,以及确认物体位置,相机视野是否合适。
点击设置ROI, 使用窗口中的框截选出检测区域,这一步是为了移除周围可能出现的干扰物体,确保抓取平面中只有特定区域内的物体才会被识别抓取。
检查显示窗口的ROI截取的区域是否合适,如果需要修改ROI,请重复1,2,重新设置ROI.
然后就需要定义检测模型,点击开始,然后在右侧物体标签列选中要进行定义的物体标签,在场景中间摆放一个物体,然后点击拍照,然后等待识别完成。
点击快速检测,即可在深度学习结果中查看检测结果。2D关键点检测优点在于设置简单,但同时,由于没有高级设置,无法微调检测结果,请按照实际情况选择检测方法。如果您的检测效果不佳,请检查1-5的步骤是否正确,更多请阅读 视觉项目优化
这样检测部分就设置好了,可以进行下一步: 设置抓取策略 。
2D Key Point检测流程注意事项:
校准平面一定要和物体在同一平面。
尽量使用2D相机,在距离物体较近处排石,以减少每个像素点的距离误差,优化空间分辨率
要使用高精度模型,检测试如果有几个像素点的误差,即可能造成抓取时1-2mm的误差
与2D Key Point检测相关的机器人脚本请查阅 机器人通讯 。