AI 정확도 (Accuracy)

MES AI 챗봇 정확도의 핵심 요소: ① SQL 생성 정확도 — AI가 자연어 질문을 올바른 SQL로 변환하는 능력. '이번 달 A품목 불량률'을 묻는 질문이 테이블·컬럼 이름과 집계 기준을 정확히 반영한 SQL로 변환되어야 합니다. ② 공정 용어 매핑 — 현장 방언('라인 B가 떴다'=라인 B 비가동)을 DB 용어와 정확히 매핑하는 능력. ③ 집계 기준 일치 — '이번 달'의 시작일, '불량률' 계산 공식(불량수÷생산수×100)이 회사 기준과 일치해야 합니다.

정확도 측정 방법: 파일럿 기간에 표준 질문 50개를 작성해 AI 응답이 MES 화면 실제값과 일치하는지 비율로 측정합니다. 우정소프트웨어 STAFF AI 파일럿 기준 목표치는 50개 질문 기준 92% 이상입니다. 오답 발생 시 hints(DB 스키마·용어 매핑·집계 규칙) 설정을 수정해 정확도를 지속 개선합니다.

정확도와 할루시네이션(Hallucination): AI가 DB에 없는 데이터를 임의로 생성하는 '할루시네이션'이 제조업에서는 치명적입니다. 우정소프트웨어 STAFF AI는 DB에서 조회된 데이터만 답변에 사용하고, 데이터가 없으면 '해당 데이터가 없습니다'로 응답하도록 설계해 할루시네이션을 방지합니다.