2D 关键点 (2D Keypoint) 检测流程

本章会详细介绍如何设置 2D 关键点 (2D Keypoint) 检测流程。

../../_images/dl_2dkp_overview.png

2D 关键点 (2D Keypoint) 检测流程使用了关键点深度学习技术,3D点云对准技术,以实现物体的定位和检测。

1. 手眼标定

在创建任务时,需要有已经连接的相机和机器人,然后选择2D手眼标定文件。如果您还没有完成2D手眼标定,请参考 机器人手眼标定 来完成2D手眼标定。

2. 上传深度学习模型

../../_images/dl_2dkp_upload_model.png

点击上传来浏览深度学习的 配置权重 文件。等上传完成后,点击保存模型。

备注

配置 文件通常有.txt 文件格式和 .json 文件格式,都可以直接上传。
权重 文件通常有 .pt 文件格式,.onnx 文件格式,以及 .torchscript 文件格式, 都可以直接上传。

看到下面的标签栏中出现您的深度学习标签名称,确认正确后,便可点击下一步。

3. 配置检测流程

  1. 首先,点击拍照按钮给场景拍照,确认相机正常工作,以及确认物体位置,相机视野是否合适。

    ../../_images/dl_2dkp_detect.png

  1. 点击设置ROI, 使用窗口中的框截选出检测区域,这一步是为了移除周围可能出现的干扰物体,确保抓取平面中只有特定区域内的物体才会被识别抓取。

    ../../_images/dl_2dkp_roi.png

  1. 检查显示窗口的ROI截取的区域是否合适,如果需要修改ROI,请重复1,2,重新设置ROI.

  2. 然后就需要定义检测模型,点击开始,然后在右侧物体标签列选中要进行定义的物体标签,在场景中间摆放一个物体,然后点击拍照,然后等待识别完成。

    ../../_images/dl_2dkp_define_model_1.png

  1. 点击优化模型,选择参考点,然后点击保存。参考点的方式有以下两种:
    1. 选择参考点为所有关键点的中心

    2. 选择其中一个关键点作为物体的参考点

    ../../_images/dl_2dkp_refine_model.png

  1. 点击快速检测,即可在深度学习结果中查看检测结果。2D关键点检测优点在于设置简单,但同时,由于没有高级设置,无法微调检测结果,请按照实际情况选择检测方法。如果您的检测效果不佳,请检查1-5的步骤是否正确,更多请阅读 视觉项目优化

    ../../_images/dl_2dkp_quick_detect.png

这样检测部分就设置好了,可以进行下一步: 设置抓取策略

2D Key Point检测流程注意事项:

  1. 校准平面一定要和物体在同一平面。

  2. 尽量使用2D相机,在距离物体较近处排石,以减少每个像素点的距离误差,优化空间分辨率

  3. 要使用高精度模型,检测试如果有几个像素点的误差,即可能造成抓取时1-2mm的误差

与2D Key Point检测相关的机器人脚本请查阅 机器人通讯