MES AI 챗봇이 틀린 답을 할 때 — 정확도를 높이는 3가지 방법

MES AI 챗봇이 오답을 내는 원인 3가지와 hints 설정·오답 처리 절차로 정확도를 92% 이상으로 유지하는 방법을 정리합니다.

MES AI 챗봇을 처음 도입하면 한두 가지 질문에서 답이 틀리는 경험을 합니다. "A자재 재고 얼마야?"라고 물었는데 엉뚱한 품목 수량이 나오거나, "이번 달 납기 준수율"을 물었더니 전월 데이터가 나오는 경우입니다.

이 글은 AI 챗봇이 틀린 답을 내는 구조적 원인과, 그것을 개선하는 구체적인 방법을 설명합니다.

AI 챗봇이 틀린 답을 내는 3가지 주요 원인

1. DB 테이블명·컬럼명이 현장 용어와 다름

제조 현장에서 "재고"라고 부르는 데이터가 DB에는 INV_STK_QTY, WH_BALANCE, STOCK_AMT 등 다양한 이름으로 저장되어 있습니다. AI가 "재고 알려줘"라는 질문을 받으면 어느 테이블의 어느 컬럼을 조회해야 하는지 맥락 없이는 추론해야 합니다.

맞춤 hints(공정 용어 힌트 파일) 없이 배포하면 AI가 가장 그럴듯한 컬럼을 선택하지만, 업체마다 스키마가 달라 처음에는 오답 확률이 높습니다.

2. 집계 기준이 질문과 다름

"이번 달 생산량"을 질문했을 때 AI가 "마감일 기준"인지 "작업완료일 기준"인지 판단해야 합니다. 사내에서 통용하는 "이번 달"의 기준이 DB 컬럼의 날짜 유형과 다르면 집계 결과가 달라집니다.

라인명, 공정 코드, 품목 분류 기준도 마찬가지입니다. "금속 라인 오늘 생산실적"을 물었는데 DB에 라인 코드로만 저장되어 있으면 AI가 코드와 현장 명칭을 연결하지 못할 수 있습니다.

3. 동음이의어·복수 매핑 처리 실패

라인명이 "1라인", "A라인", "조립라인"처럼 중복되거나, 품목 코드 앞에 업체명이 붙어 검색 조건이 복잡한 경우가 있습니다. 또한 "납기"가 수주 테이블의 납기 예정일인지 출하 테이블의 실제 출하일인지 명시 없이는 구별이 어렵습니다.

hints 설정으로 정확도 높이는 방법

STAFF AI는 hints 파일이라는 공정 용어 맵핑 시스템을 사용합니다. 업체 DB 스키마와 현장 용어를 연결해두면, AI가 자연어 질문을 더 정확한 SQL로 변환합니다.

hints 설정 유형	예시
테이블·컬럼 별칭 등록	"재고" = `WH_STOCK.QTY_ON_HAND` 기준
공정 용어 매핑	"금속 라인" = `LINE_CODE = 'M01'`
집계 규칙 명시	"이번 달 생산량" = `PROD_DATE` 기준 해당 월 SUM
제외 조건 추가	"재고 조회 시 불용재고(USE_YN='N') 제외"
동음이의어 우선순위	"납기" → 기본값: 수주 테이블 `DUE_DATE` 참조

hints 파일은 도입 초기에 담당자와 함께 작성하고, 오답이 발생할 때마다 추가 업데이트합니다.

오답 발생 시 처리 절차 3단계

1단계 — 오답 수집 및 기록

오답이 발생하면 아래 정보를 기록합니다.

질문 원문 (예: "3월 A품목 불량률 알려줘")
AI가 생성한 SQL (로그에서 확인)
실제 정답 (담당자가 MES 화면에서 확인)
오답 원인 분류 (테이블 매핑 오류 / 날짜 기준 오류 / 조건 누락)

2단계 — hints 파일 수정

원인에 따라 hints 파일에 항목을 추가하거나 수정합니다. 오답 원인이 "A품목"을 DB에서 다른 코드로 저장하고 있었다면, 해당 품목 코드를 hints에 명시합니다.

3단계 — 50개 재테스트

hints 수정 후 같은 유형의 질문 50개를 다시 테스트해 정확도를 확인합니다. 파일럿 단계에서 목표 정확도는 50개 기준 92%(46개 이상 정답) 입니다.

오답 1~2개는 허용 범위입니다. 파일럿 4주 안에 주요 질문 유형을 커버하면 전면 도입 시 오답률이 빠르게 내려갑니다.

정확도 목표 기준과 현실적인 기대치

도입 시점	정확도 목표	주요 과제
파일럿 1주차	70~80%	핵심 테이블 hints 기초 작성
파일럿 2~3주차	85~90%	오답 수집·hints 보완 반복
파일럿 4주차	92% 이상	전면 도입 판단 기준
전면 도입 후 1개월	95% 이상	현업 질문 다양화·hints 지속 확장

100% 정확도는 목표가 아닙니다. 신규 질문 유형이 생길 때마다 오답이 한 번씩 발생하고, 그 오답이 hints를 보완하는 재료가 됩니다.

정확도 지속 관리 방법

질문 로그 분석: STAFF AI는 모든 질문과 SQL 생성 로그를 기록합니다. 월 1회 로그를 검토해 빈도가 높은 질문 유형 중 오답률이 높은 항목을 찾아 hints를 보완합니다.

현업 담당자 피드백 채널: 카카오톡 챗봇에 "오답 신고" 버튼을 설정하면 현장 담당자가 바로 오답을 보고할 수 있어 수집 누락이 줄어듭니다.

월간 정확도 리포트: 한 달간 질문 건수, 오답 건수, 오답 유형 분포를 요약해 담당자에게 공유합니다. 오답이 특정 주제에 집중되어 있다면 해당 영역 hints를 집중 보완합니다.

정확도가 빠르게 오르는 조건

다음 조건이 갖춰진 곳에서는 파일럿 4주 안에 90% 이상 정확도를 달성하는 경우가 많습니다.

DB 테이블 구조가 정형화되어 있음 (컬럼명에 일관성이 있음)
현장 용어와 DB 코드 간 매핑 자료를 담당자가 제공할 수 있음
파일럿 중 주요 오답을 48시간 안에 보고해주는 담당자가 있음
질문 유형이 처음부터 명확히 정의되어 있음 (조회 중심·알림 중심 구분)

반대로 DB 스키마가 비표준이거나 담당자 교체가 잦으면 hints 보완 속도가 느려질 수 있습니다.

도입 초기 오답은 제품 품질 문제가 아니라 셋업 과정의 일부입니다. hints를 통해 DB 스키마와 현장 용어를 맞춰가는 작업이 곧 정확도 향상의 핵심입니다.

STAFF AI 도입 시 기본 hints 템플릿과 파일럿 정확도 목표 기준을 함께 제공하며, 파일럿 4주 동안 오답 대응을 지원합니다. 1개 기능 무료 시범 운영으로 시작 가능합니다.

MES AI 챗봇 도입 상담 — 우정소프트웨어 STAFF AI