制造业零件缺陷 AI 检测分类

业务背景

制造业质量控制是企业核心竞争力之一。在汽车零部件、消费电子（PCB/PCBA）、动力电池、半导体封装等精密制造场景中，每条产线每天产生数以万计的质检记录和图像数据。这些数据沉淀在设备端或本地文件系统，与生产系统割裂，无法支撑系统性的质量分析和工艺改进。

典型质检数据来源：

产线相机（AOI/工业相机）→ 缺陷图片 → OSS/S3 存储 + 质检员工位（MES终端） → 缺陷文字描述 → 业务数据库 + 传感器/PLC → 工艺参数 → 时序数据

三类数据长期孤立，质量管理团队只能在事后做报表汇总，无法在生产过程中实时感知质量趋势、定位根因、触发处置。

行业痛点

1. 人工目检效率瓶颈，无法匹配产线节拍

高速产线节拍极快——SMT 贴片每分钟数千焊点、电池极片涂布速度超过 50 m/min。一名熟练质检员每天仅能检验数百件，人工效率与产线速度之间的差距无法靠堆人解决。

2. 传统 AOI 误报率高，制造大量二次确认工作

基于规则阈值的传统 AOI 设备误报率普遍在 15%~25%，大量良品被标记为"疑似缺陷"，需要质检员逐一复核。这种假阳性不仅增加了人力成本，还拖慢了产线放行节奏。

3. 缺陷数据孤岛，无法支撑根因分析

图片存在 AOI 设备本地或 OSS 里，缺陷描述在 MES 里，工艺参数在 SCADA 里，三类数据从未被关联分析。质量工程师无法回答"哪个班次/哪台设备/哪个供应商批次的缺陷率更高"这类关键问题。

4. AI 视觉系统能检测，但结果不进系统

部分工厂已部署专用视觉检测设备，但设备输出的结果（图片+标签）停留在设备端，没有汇入数据平台，无法跨产线、跨时间维度做统计分析，也无法与质量 SOP 联动触发自动化处置流程。

5. 分类标准不统一，人工判定存在个体差异

不同质检员对同一缺陷的分类（"外观缺陷"还是"材质问题"）、严重级别判定（"严重"还是"一般"）存在主观差异，导致历史数据的可比性差，无法用于模型训练或趋势分析。

基于 ClickZetta Lakehouse 的解决方案

本方案利用 Lakehouse 的 Volume 存储 + AI 函数 + Dynamic Table 能力，将图像检测与文字描述分析融合在一条纯 SQL 驱动的 Pipeline 中，无需独立部署 AI 推理服务。

整体架构

方案架构图

三类 AI 函数分工

函数输入输出触发范围
AI_CLASSIFY
AI_CLASSIFY
图片 URL缺陷类别（外观/尺寸/功能/材质/无缺陷/复检）全量图片
AI_EXTRACT
AI_EXTRACT
图片 URL + 提取模板JSON：缺陷位置、面积比、数量、置信度全量图片
AI_COMPLETE
AI_COMPLETE
文字描述 + 图像分类结果根因推测 + 处置建议（报废/返修/放行/复检）严重/一般（跳过轻微/无缺陷）

图像接入方式：

-- 图片通过 USER VOLUME 存储，GET_PRESIGNED_URL 生成 HTTPS 临时访问链接 AI_CLASSIFY( 'endpoint:qwen3.5-plus', (GET_PRESIGNED_URL(USER VOLUME, image_path, 36000) AS image), ARRAY('外观缺陷', '尺寸偏差', '功能故障', '材质问题', '无缺陷', '需人工复检') ) AS defect_category

方案技术优势

1. 图像检测与文字分析在 SQL 中融合，无需独立 AI 服务

传统方案需要额外部署和维护 Python 推理服务（Flask/FastAPI）、模型版本管理、GPU 资源调度。本方案通过 

AI_CLASSIFY
AI_CLASSIFY
、
AI_EXTRACT
AI_EXTRACT
、
AI_COMPLETE
AI_COMPLETE
直接在 SQL 里调用多模态大模型，图片通过 USER VOLUME + 
GET_PRESIGNED_URL
GET_PRESIGNED_URL
接入，整条链路无 Python、无独立服务、无 GPU 资源管理。

2. Dynamic Table 实现真正的增量处理，消除重复推理

产线每天新增检测记录，Dynamic Table 的 

change_tracking
change_tracking
机制只处理增量数据，已分析过的记录不会被重复推理，每条图片只调用一次 AI，token 消耗精准可控。

3. AI 调用分级触发，成本最优

AI_CLASSIFY → 全量（成本低，专用分类函数） AI_EXTRACT → 全量（专用提取函数，成本低） AI_COMPLETE → 仅 severity IN ('严重', '一般')（约占 40~60%） 跳过 '轻微' 和 '无缺陷' → 节省约 40% 的 AI_COMPLETE 调用

4. 图文双通道融合，提高判断可靠性

单纯依赖图像可能漏检边界案例（如材质问题肉眼难分辨），单纯依赖文字描述则依赖质检员主观判断。本方案将图像 AI 分类结果和文字描述共同作为 

AI_COMPLETE
AI_COMPLETE
的上下文输入，两路信息互相印证，提高根因推测准确率。

5. ODS 层保留全量原始数据，支持追溯和模型迭代

defect_inspection_records
defect_inspection_records
保留 
raw_category
raw_category
（人工初判）和 
defect_image
defect_image
（图片路径），
defect_analysis_dt
defect_analysis_dt
保存 AI 的完整推理结果。两者并存支持：

  • AI 分类 vs 人工分类一致性分析（识别分类偏差）
  • 将 AI 误判的样本回流标注，持续改进 prompt 或微调模型

6. 与 MES/ERP 联动，处置建议直接落地

action
action
字段（报废/返修/放行/复检）可直接通过 Studio Task 定时推送到 MES 系统，实现质检结果自动驱动处置流程，不再需要人工抄写工单。

客户价值

质量管理团队

实时掌握各产线、各班次、各 SKU 的缺陷率和缺陷类型分布，从事后报表汇总变为实时预警。当某条产线的严重缺陷率超过阈值时，可触发 

PAUSE_LINE
PAUSE_LINE
信号，避免批量不良品流出。

质量工程师

root_cause
root_cause
字段的高频聚类直接指向工艺问题根因（如"回流焊温度曲线不稳定"集中出现）。原本需要数天的根因分析，缩短为实时可查的结构化数据，加速 CAPA（纠正与预防措施）的制定周期。

生产管理团队

action = '返修'
action = '返修'
的工单自动生成，
action = '报废'
action = '报废'
的记录直接驱动物料核销，减少质检员手工录单的工作量，同时降低因漏录单导致的不良品流转风险。

IT/数字化团队

无需额外采购和维护 AI 推理平台、GPU 服务器、模型版本管理系统。质检 AI Pipeline 与数仓分析层在同一平台内，统一权限管理、统一监控、统一 SLA，运维复杂度大幅降低。

高层管理

质量成本（Quality Cost）可量化：缺陷率 × 单件返修/报废成本，可按产线、按时间维度追踪改善效果，支撑质量改进项目的 ROI 测算。

注意事项

图像接入

  • 图片必须先上传至 Lakehouse USER VOLUME，不能直接使用外部 HTTP URL；OSS/S3 的图片需先同步到 Volume 或配置 External Volume 挂载
  • AI_CLASSIFY
    AI_CLASSIFY
    / 
    AI_EXTRACT
    AI_EXTRACT
    / 
    AI_COMPLETE
    AI_COMPLETE
    图像模式必须使用多模态模型（如 
    doubao-seed-2-0-pro
    doubao-seed-2-0-pro
    、
    qwen-vl
    qwen-vl
    系列），纯文本模型收到图像参数不报错但图像被忽略，分类结果不可靠
  • GET_PRESIGNED_URL
    GET_PRESIGNED_URL
    生成的临时 URL 有有效期（建议 36000 秒 = 10 小时），Dynamic Table REFRESH 时间需在有效期内

数据规模与成本

  • 产线高频检测场景（每分钟数百张图片）需评估 AI 推理并发和 token 吞吐，建议通过 
    COPY_JOB_HINT
    COPY_JOB_HINT
    的 
    task.concurrency
    task.concurrency
    参数控制并发数
  • 图像 AI 调用（多模态）成本显著高于纯文本，分级触发策略（先 AI_CLASSIFY 再按结果决定是否调用 AI_COMPLETE）是控制成本的关键

Dynamic Table 使用规范

  • 分区表 PRIMARY KEY 必须包含分区键（
    inspect_time
    inspect_time
    ），否则建表报错
  • change_tracking = true
    change_tracking = true
    必须在源表建表后单独 
    ALTER TABLE SET TBLPROPERTIES
    ALTER TABLE SET TBLPROPERTIES
    设置，不能在建表语句中内联
  • Dynamic Table 不支持 DML，历史数据修正只能在源表操作

图像质量要求

  • AI 分类准确率强依赖图像质量：分辨率过低、光照不均、遮挡等都会降低检测效果
  • 建议在产线摄像头侧做预处理（裁剪 ROI、归一化曝光），再上传 Volume

扩展方向

  • SPC 统计过程控制：结合缺陷率时序数据，用 Dynamic Table 计算控制限（UCL/LCL），实现产线失控自动预警
  • 与预测性维护联动（04-predictive-maintenance）：高缺陷率时段与设备传感器异常数据关联，辅助判断是否为设备性能衰退导致
  • 供应商质量管理：按 
    supplier_id
    supplier_id
    维度聚合缺陷率，自动生成供应商质量月报
  • 模型迭代闭环：将 AI 误判记录（AI 分类 ≠ 人工复核结果）自动标记并汇入训练数据集，支持 prompt 优化或微调模型的持续改进

相关文档

AI 函数

文档说明
AI 函数概述AI 函数整体介绍，模型选择、调用方式、计费说明
AI_CLASSIFY图片/文本分类函数，支持自定义分类标签，本方案用于缺陷类别判定
AI_EXTRACT结构化信息提取函数，本方案用于从图片中提取缺陷位置、面积比、数量
AI_COMPLETE通用 LLM 补全函数，本方案用于根因推测和处置建议生成

Dynamic Table

文档说明
动态表简介Dynamic Table 核心概念、增量刷新机制、与物化视图的选型对比
动态表开发入门端到端建表、刷新、查看历史的完整示例
CREATE DYNAMIC TABLE建表语法参考，含 
change_tracking
change_tracking
、刷新调度等参数说明
查看动态表刷新模式增量 vs 全量刷新模式说明，以及如何判断当前刷新策略
动态表刷新调度定时刷新配置，控制 Pipeline 的刷新频率

Volume 文件存储

文档说明
文件存储概述Volume 类型（内部/外部/用户）说明和使用场景
内部 Volume创建和管理 Internal Volume，适合存储质检图片
外部 Volume（OSS）挂载阿里云 OSS 存储桶为 External Volume
外部 Volume（COS）挂载腾讯云 COS 存储桶为 External Volume
外部 Volume（S3）挂载 AWS S3 存储桶为 External Volume
Volume 文件管理PUT/GET/LIST/REMOVE 操作指南
GET_PRESIGNED_URL生成临时访问 URL，AI 函数图像输入的必要步骤
智能驾驶
工业设备预测维护
Yunqi © 2024 Yunqi, Inc. All Rights Reserved.
联系我们
预约咨询
微信咨询
电话咨询
邮件咨询