올해 저희 제조 쪽 페이지를 "검증 우선" 구조로 다시 만들었어요. 기능 목록 대신 판정 하나가 어떻게 생겼는지를 먼저 보여 주는 방식으로요. 오늘은 그 판정의 네 요소를 왜 그렇게 정했는지 이야기할게요.
"불일치 1건"으로는 아무도 안 움직여요
처음 리포트는 이랬어요. "부품표 vs 도면 불일치 3건". 담당자분이 보시고는 "어디가요?" 하셨어요. 당연하죠. 그래서 페이지 번호를 붙였어요. "어디서 뭐랑 비교했는데요?" 그래서 대조 대상을 붙였어요. "그걸 왜 불일치로 봐요? 원래 그렇게 쓰는 건데." 그래서 판정 원칙을 붙였어요. "이거 확실해요?" 그래서 신뢰도를 붙였어요.
네 번 혼나고 나온 구조예요.
네 요소
근거(Source). 어느 페이지, 어느 영역에서 읽었는지. 좌표로요. 콘솔에서 클릭하면 도면 위에 상자가 떠요. 좌표가 없는 판정은 페이지만 가리키고, 좌표를 추정해서 그리지 않아요. 추정한 상자가 한 번 엉뚱한 데 뜨면 그 뒤로 모든 상자를 못 믿게 돼요.
대조(Against). 뭐랑 맞춰 봤는지. "사양도 P.5 모터 15 kW ↔ 부품표 P.1 7번 행 15 kW". 대조 대상이 세트 안에 없으면 "대조 불가"고, 그러면 판정은 보류예요(3월 10일).
원칙(Principle). 왜 그렇게 봤는지 한 줄. "병기된 사양은 적용 조건이 명시될 때까지 확정하지 않는다", "승인 흔적이 없는 도면은 검토 대상에서 제외하지 않고 표시한다". 이 한 줄이 있으면 담당자가 "우리는 그렇게 안 봐요"라고 하실 수 있고, 그러면 원칙을 고객사 규칙으로 바꿔요. 원칙이 없으면 "AI가 틀렸다"로 끝나요.
신뢰도(Confidence). 보정된 숫자(3월 3일)이거나, 숫자가 안 되는 경우 "대조 불가 · 판단 보류"처럼 상태로요. "HIGH · 검토자 확인 권장" 같은 조합도 있어요. 숫자가 높아도 되돌릴 수 없는 판단이면 사람이 보라고 표시해요.
정합 판정에도 다 붙여요
불일치에만 근거를 붙이고 정합은 "OK"로 넘기면 안 돼요. "15 kW 가 일치함"이라는 판정도 어디와 어디를 대조했는지 남겨요. 왜냐면 정합 판정이 틀리는 경우(둘 다 잘못 읽어서 우연히 같음)가 있고, 나중에 "이거 확인한 거 맞아요?"라는 질문이 정합 항목에서도 나오거든요.
리포트의 숫자는 판정에서 집계돼요
리포트 위에 "부품표 42행 중 38행 도면 연결", "사양 일관성 7/8 정합" 같은 숫자가 있는데, 이건 따로 적은 게 아니라 판정 목록에서 계산돼요. 숫자와 판정이 어긋날 수 없게요. 저희 샘플 리포트 페이지도 같은 데이터에서 숫자를 뽑아요. 다음 주에 그 페이지를 어떻게 만들었는지 쓸게요.
이렇게 바꾸고 달라진 것
- 리포트 회의가 짧아졌어요. "어디요?"가 없어지니까요.
- 고객사 규칙이 쌓여요. 원칙에 반박이 들어오면 그게 규칙이 돼요.
- 영업 자료가 바뀌었어요. "인식률 ○○%" 대신 판정 하나를 그대로 보여 줘요. 이게 더 설득력 있더라고요.
솔직한 비용
판정 하나에 네 요소를 붙이려면 파이프라인 전체가 위치와 대조 관계를 끝까지 들고 다녀야 해요. 처음부터 그렇게 설계 안 했으면 다시 만들어야 해요. 저희도 한 번 다시 만들었어요. 그래도 그 뒤로는 "이 판정 왜 나왔어요?"에 5초 안에 답할 수 있게 됐고, 그게 제품이 신뢰받는 전부였어요.
다음 주는 공개된 샘플 리포트 페이지를 실제로 어떻게 만들었는지, 특히 고객 도면을 어떻게 가리고 좌표는 어떻게 살렸는지예요.