AI·연동
AI 정확도 (Accuracy)
Accuracy Rate
AI 정확도(Accuracy)란 AI 챗봇이 사용자의 질문에 사실과 일치하는 답변을 반환하는 비율로, MES AI 챗봇에서는 '자연어 질문 → SQL 생성 → DB 조회 → 자연어 응답' 전 과정에서 의도한 데이터를 올바르게 반환하는 비율을 의미합니다.
MES AI 챗봇 정확도의 핵심 요소: ① SQL 생성 정확도: AI가 자연어 질문을 올바른 SQL로 변환하는 능력. '이번 달 A품목 불량률'을 묻는 질문이 테이블·컬럼 이름과 집계 기준을 정확히 반영한 SQL로 변환되어야 합니다. ② 공정 용어 매핑: 현장 방언('라인 B가 떴다'=라인 B 비가동)을 DB 용어와 정확히 매핑하는 능력. ③ 집계 기준 일치: '이번 달'의 시작일, '불량률' 계산 공식(불량수÷생산수×100)이 회사 기준과 일치해야 합니다.
정확도 측정 방법: 파일럿 기간에 표준 질문 50개를 작성해 AI 응답이 MES 화면 실제값과 일치하는지 비율로 측정합니다. 우정소프트웨어 STAFF AI 파일럿 기준 목표치는 50개 질문 기준 92% 이상입니다. 오답 발생 시 hints(DB 스키마·용어 매핑·집계 규칙) 설정을 수정해 정확도를 지속 개선합니다.
정확도와 할루시네이션(Hallucination): AI가 DB에 없는 데이터를 임의로 생성하는 '할루시네이션'이 제조업에서는 치명적입니다. 우정소프트웨어 STAFF AI는 DB에서 조회된 데이터만 답변에 사용하고, 데이터가 없으면 '해당 데이터가 없습니다'로 응답하도록 설계해 할루시네이션을 방지합니다.
AI 정확도 (Accuracy) 관련해 읽어볼 글
- 스마트팩토리 AI 챗봇, 결재 전에 임원이 확인할 3가지스마트팩토리 AI 챗봇 도입을 결재하기 전에 임원이 직접 확인할 3가지와 시작 순서를 정리했습니다. 용어와 구조 설명이 먼저 필요하시면 입문 글을 보세요.
- 중소 제조업 AI, 가장 싸게 시작하는 법: 스마트공장 없이 기존 MES+카톡봇으로스마트공장 구축 없이, 이미 있는 MES 데이터를 그대로 두고 카카오톡 AI봇을 얹어 반복업무부터 자동화합니다. 설비 교체 없이 시작하는 현실적인 제조 AI 도입 경로입니다.
- 레거시 MES에도 AI 챗봇을 붙일 수 있을까: 오래된 시스템 그대로, 연동만 하면 됩니다10년 넘은 맞춤형 MES도 DB 접속 정보만 있으면 AI 챗봇과 연동할 수 있습니다. 기존 시스템 무변경·읽기 전용·2단계 확인 안전장치로 안전하게 시작하는 법을 정리했습니다.
우리 회사 시스템에 AI를 읽기 전용으로 연동하는 절차는 MES 챗봇 구축 안내에 정리해 두었습니다.
‘AI 정확도 (Accuracy)’ 데이터, 우리 회사 시스템에서 카카오톡으로 바로 조회하고 싶다면?