2월에 도면 파싱 기술 글을 세 편 썼는데, 오늘은 기술이 아니라 범위 얘기예요. "도면 검수를 AI로 자동화하고 싶다"고 오시는 분들과 처음 하는 대화가 늘 이거거든요. 어디까지 맡길 거냐.
"인식률 몇 %예요?"는 좋은 첫 질문이 아니에요
제일 많이 받는 질문인데, 저희는 이렇게 되물어요. "틀린 걸 못 잡으면 무슨 일이 생기나요?" 답이 "재작업 몇 시간"이면 인식률 90%로도 충분히 가치가 있고, 답이 "안전사고"면 99%도 부족해요. 인식률은 업무 비용과 같이 봐야 의미가 있어요. 3월 3일 글에서 임계값을 정하는 과정이 바로 이거예요.
적용 범위를 네 단계로 나눠요
저희는 도면 업무를 AI가 맡을 수 있는 정도에 따라 네 단계로 나눠요.
1단계: 읽기. 표제란, 부품표, 치수, 주기를 데이터로 뽑는 거예요. 사람이 눈으로 옮겨 적던 걸 대신해요. 틀려도 사람이 보면서 고치면 되니까 가장 먼저, 가장 넓게 적용돼요.
2단계: 대조. 뽑은 데이터를 서로 맞춰 봐요. 부품표 수량과 도면 검출 개수, 사양서 모터 용량과 부품표 모터 용량, 도면 세트 간 도면 번호 참조. 여기서부터 "판정"이 나오고, 저희 리포트의 핵심이에요.
3단계: 규칙 검사. 회사 설계 기준에 맞는지 봐요. "이 재질에는 이 표면처리", "이 하중에는 최소 이 두께". 규칙이 명문화돼 있어야 가능해요. 규칙이 사람 머릿속에만 있으면 먼저 꺼내 적는 작업부터예요.
4단계: 판단. "이 설계가 괜찮은가"예요. 저희는 여기는 안 해요. 할 수 있다고 말하는 곳이 있다면 조심하시라고 말씀드려요.
대부분의 도입은 1단계에서 시작해서 2단계까지 가요. 3단계는 규칙 정리가 돼 있는 회사만 가능해요.
범위를 정할 때 보는 것들
도면의 출처. CAD에서 바로 나온 PDF는 글자가 텍스트로 있어서 읽기 정확도가 아주 높아요. 스캔본, 특히 오래된 청사진은 많이 떨어져요. 같은 회사도 신규 도면과 보유 도면의 적용 범위가 달라야 해요.
양식의 수. 표제란·부품표 양식이 몇 가지인지요. 2월 10일에 쓴 것처럼 저희는 양식 없이 찾지만, 양식이 적을수록 더 정확하고 빨라요.
판정 기준의 존재. 2단계 대조를 하려면 "뭐와 뭐를 맞춰 볼 건지"가 정해져 있어야 해요. 이게 없으면 저희가 같이 정리하는 것부터 시작해요. 보통 몇 주 걸려요.
검수자의 시간. AI가 "검토 필요"로 올린 건 사람이 봐야 해요. 하루에 몇 건까지 볼 수 있는지가 자동화 범위를 정해요. 보류·검토 건수가 검수자 시간을 넘으면 범위를 줄여야지, 임계값을 낮춰서 억지로 자동 승인하면 안 돼요.
인식률만 보면 놓치는 것들
- 틀린 것의 분포. 90% 정확도에서 틀린 10%가 고르게 퍼져 있는지, 특정 양식에 몰려 있는지는 완전히 다른 얘기예요. 몰려 있으면 그 양식만 사람이 보면 돼요.
- 모른다고 할 수 있는지. 3월 10일 글이에요. 자신 있게 틀리는 95%보다 모른다고 하는 90%가 업무에선 훨씬 쓸모 있어요.
- 근거를 보여 주는지. 검수자가 결과를 확인하는 데 1초 걸리느냐 1분 걸리느냐는 근거(도면 위 좌표)가 붙어 있느냐에 달려 있어요. 이게 검수자 시간, 즉 자동화 범위를 정해요.
- 도면 세트 단위로 보는지. 도면 한 장은 잘 읽는데 세트 안의 참조 관계(조립도 ↔ 단품도)를 못 따라가면 2단계가 안 돼요.
저희가 권하는 시작 방법
- 최근 도면 세트 몇 개를 주세요. 저희가 1·2단계를 돌려서 리포트를 드려요. 이게 샘플 리포트예요.
- 리포트의 판정을 담당자분이 보시고 "맞다 / 틀리다 / 이건 원래 이렇게 본다"를 표시해 주세요.
- 그걸로 판정 기준과 임계값을 맞추고, 범위를 정해요.
이 과정이 PoC인데, 7월 말에 PoC가 왜 실패하는지 따로 쓸게요. 범위를 안 정하고 시작하는 게 제일 큰 원인이에요.
다음 주는 AI 거버넌스 이야기예요. 모델 성능이 아니라 운영 체계가 신뢰를 만든다는 얘기요.