저희 도면 판정 리포트를 보신 분들이 가장 많이 물어보시는 게 "판단 보류가 뭐예요?"예요. 오늘은 그 얘기를 해 볼게요. 기술 얘기라기보다 제품을 어떻게 설계했냐에 가까운 글이에요.
틀린 답보다 나쁜 건 "자신 있게 틀린 답"이에요
문서 AI나 도면 AI의 결과가 업무에 들어가면, 사람은 결과를 믿거나 전부 다시 확인하거나 둘 중 하나예요. 중간은 없어요. 그런데 AI가 한 번이라도 자신 있게 틀리면, 그 다음부터는 전부 다시 확인하게 돼요. 그러면 자동화의 의미가 없죠.
그래서 저희가 정한 원칙이 있어요. 확신할 수 없으면 답하지 않는다. 대신 "왜 확신할 수 없는지"를 말해요.
판정은 네 가지예요
| 상태 | 뜻 | 예시 |
|---|---|---|
| 정합 | 대조했고, 맞아요 | 부품표 수량 2, 도면 검출 2 |
| 불일치 | 대조했고, 달라요 | 사양도 15 kW, 부품표 11 kW |
| 검토 필요 | 읽었는데 사람이 봐야 해요 | 두께가 "0.4t / 1.0t" 로 병기, 배분 미기재 |
| 판단 보류 | 대조 자체가 안 돼요 | 상위 조립도가 세트에 없음 |
"검토 필요"와 "판단 보류"가 다른 점이 중요해요. 검토 필요는 AI가 읽긴 읽었는데 해석에 사람 판단이 필요한 거예요. 판단 보류는 대조할 상대가 없어서 아예 판정을 못 하는 거예요. 둘을 섞으면 담당자가 뭘 해야 할지 몰라요.
보류로 가는 세 가지 조건
코드에 들어 있는 규칙은 이 세 가지예요.
1. 근거가 세트 밖에 있을 때. 조립도에 "SUB SHAFT ASS'Y 참조"라고 돼 있는데 그 도면이 업로드된 세트에 없으면, 그 부품에 대한 판정은 전부 보류예요. 구매품일 수도 있고 누락일 수도 있는데, 그걸 AI가 정할 수 없어요.
2. 신뢰도가 임계값 아래일 때. 지난주에 쓴 보정된 신뢰도가 85% 미만이면 결과에 안 넣고 "저신뢰 목록"으로 빼요. 이건 보류라기보다 "읽기 어려움"에 가까워서 리포트에서 별도 섹션이에요.
3. 서로 다른 근거가 충돌하는데 우선순위 규칙이 없을 때. 표제란 재질이 SS400인데 주기에 S45C라고 돼 있으면, 둘 중 뭐가 맞는지 정하는 규칙이 고객사마다 달라요. 규칙이 등록돼 있으면 적용하고, 없으면 보류예요.
"보류"를 세는 게 품질 지표예요
여기서 반대로 생각하실 수도 있어요. 보류를 많이 내면 AI가 일을 안 하는 거 아니냐고요. 맞아요. 그래서 저희는 보류율을 지표로 봐요.
- 보류율이 너무 높으면 규칙이 부족하거나 모델이 약한 거예요. 고쳐야 해요.
- 보류율이 0이면 그게 더 무서워요. 모든 걸 자신 있게 답한다는 건 보정이 깨졌거나 규칙이 과하게 공격적이라는 뜻이에요.
저희 내부 목표는 보류 건수가 사람이 한 세트당 몇 분 안에 다 볼 수 있는 수준이에요. 그 이상이면 제품이 아니라 숙제예요.
보류에도 근거를 붙여요
보류는 "모르겠어요"로 끝나면 안 돼요. 담당자가 다음 행동을 할 수 있어야 해요. 그래서 보류 항목에도 똑같이 네 가지를 붙여요.
- 출처: 어느 페이지의 어떤 항목에서 시작했는지
- 대조 대상: 뭐랑 대조하려고 했는지 (없으면 "세트 내 없음")
- 원칙: 왜 보류했는지 한 줄 ("근거가 세트 밖에 있으면 판정하지 않고 사람에게 이관한다")
- 다음 행동: 뭘 올려 주시면 판정이 가능한지
이렇게 해 두면 담당자가 "아, 이 도면 하나 더 올리면 되겠네" 하고 끝나요. 그냥 "확인 불가"만 있으면 저희한테 전화가 와요.
솔직히 어려웠던 점
보류를 넣고 처음 데모할 때 걱정했어요. "AI가 못 하는 걸 왜 보여 주냐"는 반응이 올까 봐요. 실제로는 반대였어요. 보류 항목을 보시고 "이게 왜 보류인지 이해가 된다"고 하시는 분이 많았어요. 확인할 수 있는 결과가 신뢰를 만든다는 걸 다시 느꼈어요.
반면 어려웠던 건 영업 쪽이었어요. 경쟁 제품은 "인식률 99%"를 말하는데 저희는 "보류율 8%"를 말하니까요. 이 숫자가 왜 더 정직한지 설명하는 데 시간이 걸려요. 이 블로그를 쓰는 이유 중 하나이기도 해요.
다음 주는 다시 문서로 돌아가서, RAG용 청크를 나눌 때 표를 어떻게 다루는지 이야기할게요.