从小样本学习到AIGC,创新奇智持续探索AI工业视觉落地实践

2023-03-2459人工智能(AI)

如果说小样本学习是“删繁就简”,对模型和学习方式进行改进,使其适应小样本训练;那么样本生成就是“推陈出新”,通过已有样本,学习生成模型,从而可以源源不断产生新样本。


2022年底,OpenAI推出的ChatGPT证明了内容生成(AIGC)的巨大潜力,创新奇智在小样本学习的基础上,进一步聚合以往在内容生成领域的研发成果,将图像生成与工业场景的独特需求相结合,打造面向工业视觉的AICG算法。


与一般性的图像生成主要表现为图像上较为宏观的语义改变不同,工业视觉缺陷主要体现为样本图像上细微的局部缺陷纹理变化,语义信息低。此外,生成的缺陷纹理不仅要有自然的主观视觉感受,还需要是物理上真实的,缺陷的形态要符合样本本身的物理和光学特性。传统的图像生成算法一般只能做到视觉真实,无法兼顾物理真实。针对这一问题,创新奇智结合将物理模型融入AIGC模型的构建,提出基于光学成像模拟的光照生成模型和基于双阶段引导的缺陷生成模型,从而可以模拟样本在不同光照状态下的缺陷图像。

 


创新奇智的光照生成模型分为两个部分:第一部分为分解网络,将图像中的光照信息与表示内容的语义信息相分离,通过在自研的材质光影数据库上进行训练,我们会获得不同材质的样本在不同光照条件下的光照原型。第二部分是重光照网络,通过将对应的光照原型与样本的语义信息相融合,可以获得样本在不同光照条件下的图像。


基于双阶段引导的缺陷生层模型,分别使用基于专家知识的文本引导生成局部缺陷,而后再以第一阶段生成的局部缺陷图作为引导,将缺陷融合到样本的指定区域。两阶段缺陷样本生成模型逐步聚焦局部缺陷样例和全局图像融合,可以有效地兼顾工业视觉领域缺陷样本生成的物理真实和视觉真实的要求。


结合上述两个模型,创新奇智可以生成样本在不同光照条件下的缺陷图像,从而可以有效地扩充训练样本库,解决工业视觉领域缺陷样本不足的问题,提升工业预训练大模型的训练效果。


基于上述研发成果,创新奇智研发面向行业的AIGC产品-AInnoGC。AInnoGC使用模块化设计,服务于制造领域的多个场景,实现先进人工智能基础设施和多元化业务场景的融合拓展,让AI更好地赋能制造行业。