视觉项目优化

本章将详细介绍在设置好检测流程后,如何进一步优化您的项目。

相机配置优化

如果您观察到您的点云质量偏低:点云有明显的噪点、点云缺失、图片过亮过暗等等, 那么可以优化您的相机配置。

物体如果是金属,高反光的物体,那么在相机拍照时,高强度的反光会使点云质量变差。合理的配置您的相机设置可以更好的改善点云的质量。

如何处理高亮反光的物体请参考:

拍摄背景的反光同样会对点云的质量造成影响,使点云质量变差。合理的安装您的相机设置可以更好的避免来自背景的反光的影响,从而改善点云的质量。

如何正确的安装相机请参考:

警告

在更改了您的相机配置后,也需要相应的重新采图训练您的深度学习模型以及重新定义您的检测流程。因为更新过的相机配置会导致拍摄的图片效果变化,有可能会导致旧的深度学习模型和检测模型失效。

深度学习优化

如果您观察到您的物体检测不准,并且深度学习无法准确的识别物体,那么可以优化您的深度学习模型。

对于深度模型来说,最简单的优化方法就是添加更多的,更准确的训练数据。

同时也要正确的标注训练数据,以及正确的采集训练数据。

优化您的标注

  1. 确保图像质量, 避免图片过曝,过暗,模糊,等。这些情况会使得图片所捕捉到的信息变少,从而剥夺深度学习能够掌握的特征。
    ../../_images/dark_img.png
  2. 物体的多边形是否于另一个物体的多边形重叠。

    当两个物体的多边形重叠,那么在图片中就是一个区域属于两个类型,这种冲突会使得深度学习无法准确判断该区域。微小的重叠影响可以忽略,但是大面积的重叠, 比如重叠了50%, 就会影响分割模型的效果。 这种情况就需要修改标注。

    ../../_images/label_overlap.png
  3. 多边形是否正确贴合物体的边缘,或者有统一的分割标准

    如果一部分物体是贴合物体边缘标注的,而另一部分不是。那么就会使得训练出的模型的边缘处有误差。 这种情况就需要修改标注,让标注使用固定的规则

    ../../_images/label_error.png
  4. 是否有标注错误,标签名称错误:

    • 物体正、反面标注错误

    ../../_images/%E6%A0%87%E7%AD%BE%E9%94%99%E8%AF%AF.png
    • 标注样本中存在需要标注的物体, 没有被标注或者漏标

    ../../_images/%E5%B0%91%E6%A0%87.png
    • 输入时打错了标签名。

    ../../_images/%E6%A0%87%E7%AD%BE%E6%89%93%E9%94%99.png

这些标注错误都会使得深度学习模型的识别率降低,则需要修改标注。

  1. 标注数据是否包含足够的变化(变化足够随机,足够涵盖物体可能出现的范围以及区域)

    如果物体会在场景中的所有地方出现,可是训练数据只采集了物体在图片中间出现的情况。训练数据的物体散布无法覆盖实际的情况的物体散布,那么训练出的模型同样会有这样的限制。 这种情况就需要增加训练数据以及标注

    确保采集的数据中包含实际应用所有可能出现的 物体朝向

    ../../_images/object_orientation.png

    确保采集的数据中包含实际应用所有可能出现的 物体位置

    ../../_images/object_position.png

    确保采集的数据中包含实际应用所有可能出现的 物体间关系

    ../../_images/object_relation.png

    a.分散排列 b.紧密排列 c.完全遮挡 b.部分遮挡 d.无遮挡

  2. 标注数据时的相机装配是否和使用时的相机装配一致。

    如果采集训练数据时,相机的安装角度,背景环境,曝光参数,和实际使用时有变化。那么深度学习的效果会受到影响,因为实际的使用场景改变,超过了训练数据的适用范围。 这种情况就需要重新采集训练数据以及标注

    ../../_images/bg_1.png ../../_images/bg_2.png
  3. 物体种类占比:数据集内的物体种类分布要均衡,不可以出现一种物体出现了30次,而另一种物体只出现了2次。

  4. 在深框抓取或乱序抓取时、只标最上面的物体、不标注被遮挡的物体。

    ../../_images/%E8%A2%AB%E9%81%AE%E6%8C%A1%E7%9A%84%E6%A0%87%E6%B3%A8%E7%89%A9%E4%BD%93.png

关键点模型

在优化关键点模型时,需要额外查看您的标注的数据是否存在以下错误:

  • 关键点是否标注在了多边形轮廓边缘

    需要注意的是,关键点只会在物体多边形轮廓内识别,如果关键点标注在物体边缘,那么物体边缘没有正确识别的时候(识别的轮廓比较小),那么就会产生关键点缺失, 或者偏移的情况。 标注需要注意不要让关键点过于贴近物体轮廓边缘。

    ../../_images/kp_err.png
  • 关键点的是否正确的标注,点位对应是否正确

    需要检查关键点是否点在了正确的地方,如果标注混了关键点的位置,那么会极大的影响深度学习模型的效果。 需要修改标注数据。

    ../../_images/kp_err2.png

高级检测配置优化

如果您观察到您的物体检测不准,并且深度学习能够准确的识别物体,那么可以优化您的高级检测配置。

请参考以下不同流程的高级配置: