装配检查工具介绍#

章节目标#

  • 了解什么场景下应该选用装配检查工具

  • 了解装配检查工具中配置器和算子的连接关系

  • 了解装配检查工具中的配置器和算子

支持的使用场景#

  • 装配检查：针对特定位置、特定目标的有无进行检查。适用于装配完成后，对关键组件是否存在、布局是否正确进行校验的场景。

  • 若干关键功能特性：

    • 无需NG图训练： 实际场景中很少发生装配缺失的情况，NG图不可得。该模块支持无需NG图训练也能给出正确结果

    • 支持多尺度： 支持同时对多种目标进行检查。即使各类别目标大小有明显差异，也可在一个模型里同时检测。

装配检查工具中配置器和算子的连接关系#

装配检查工具中的配置器#

标签类别参数配置器(label_classes.conf)#

  • 描述：用于配置装配检查工具中可能出现的目标类别列表(visionflow::param::LabelClasses)，例如[螺钉, 电阻，电容]。目标标签列表会被用于标注器以提前确定类别范围。

Warning

  • 背景类为默认类别，不需要显式设置在LabelClasses中

  • 不能出现重复的目标类别名

标注器参数配置器(label_oper.conf)#

  • 描述：用于配置标注器的自定义附加参数(visionflow::param::BinaryPacks)，例如不同标注类别对应的标注样式(纹理、颜色、线宽、线型等)。为了生成装配检查工具所需要的标注，在装配检查工具中我们引入了标注器算子，由于目前标注过程需由人工标注产生，所以标注器算子中的执行逻辑交由人工操作实现而标注器中需要提供较多的装配检查标注工具，这些标注工具的参数是需要维护在visionflow工程数据中的，且这些参数是由标注器的设计者决定，因此当前标注器参数配置提供了一个较灵活自动的自定义二进制数据类型，以让标注器开发者可以自动设置参数。

图像均值配置器(image_mean_conf)#

  • 描述：用于计算训练集中的视图的灰度均值，灰度均值会被用于训练及推理过程中对输入视图进行提前减均值操作。

  • 基本原理:统计训练集中所有视图各通道的灰度总和并除以训练集图像总数。

装配检查工具训练器(trainer)#

  • 描述：基于AI算法的装配检查工具训练器，用于生成装配检查工具模型。

装配检查工具中的算子#

标注器算子(label_oper)#

  • 描述：用于产生某张图像上的目标标注、掩模、重点学习区域和不学习区域。标注器算子在当前装配检查工具中是一个占位算子，实际无法自动运行，需要交给标注器开发者自己触发运行。

  • 如何产生标注：通过直接给label_oper算子设置输出对应的目标标注、不学习区域(VFLOW:Without-Training)来完成标注过程。

Warning

  • 目标标注需要根据所在视图的状态(已标注在训练集在中(train)、已标注在测试集中(test)、已标注未知集合(unknown))来进行相应的状态更新，否则会影响view_tagger的正常功能

视图标签算子(view_tagger)#

  • 描述：在visionflow中，视图有四种状态，已标注在训练集在中(train)、已标注在测试集中(test)、已标注未知集合(unknown)、未标注(unlabel)。当装配检查工具的前序工具的推理结果发生改变时，view_tagger可以复用之前已有的标注用于生成新的视图的状态。

  • 基本原理:在标注器算子中，生成的标注均带有标签，以表示某个标注是在train、test、unknown状态，当前序工具推理结果发生改变并生成新的view时，会计算新的view和当前已有标注的IOU值，若某个view能找到CIOU大于指定阈值的标注，则将该标注的状态赋予该view。

推理算子(infer)#

  • 描述：将输入的视图经过推理网络计算后得到对应的目标特征图( visionflow::props::FeatureMap )， visionflow::props::FeatureMap 是一个多张灰度图的集合，表征视图上对应的像素点属于对应类目标的概率以及其对应的宽高和角度信息。

trt模型推理算子(trt_infer)#

  • 描述：与infer算子功能相同，当需要推理trt模型时选择trt_infer算子。

推理结果过滤算子(filter)#

  • 描述：将推理算子的输出的特征图，根据预设的阈值进行过滤，只保留概率值高于阈值的目标区域，并进行非极大值抑制（NMS）操作，输出最终的目标识别结果。其输出为 visionflow::props::PolygonRegionList 类型。

推理结果模板匹配算子(object_matcher)#

  • 描述：用于判断指定区域内的目标在类别、个数、角度是否满足要求，并输出所有区域轮廓和判定结果。其输出为 visionflow::props::PolygonRegionList 类型。

推理结果比对算子(comparator)#

  • 描述：计算推理结果和对应标注的相似性，得到最终模型效果的评价指标：目标召回率、目标精确率

  • 基本原理：参考 模型评估