계약서 추출은 저희가 제일 많이 받는 요청 중 하나예요. 당사자, 계약 기간, 금액, 자동 갱신 조항, 해지 조건 같은 걸 뽑아서 계약 관리 시스템에 넣는 일이죠. 그런데 도입을 검토하실 때 "정확도 몇 %"만 보시면 실제 효과와 많이 달라져요. 저희가 권하는 기준 다섯 가지예요.
기준 1. 필드별로 "없음"을 구분하는가
계약서에는 없는 조항이 많아요. 위약금 조항이 없는 계약서에서 위약금을 추출하라고 하면, 좋은 시스템은 "없음"이라고 하고 나쁜 시스템은 비슷한 문장을 찾아서 채워요. 후자가 더 위험해요. 채워져 있으면 검수자가 믿고 넘어가거든요.
확인하실 방법: 해당 조항이 없는 계약서를 넣어 보세요. "없음" 또는 "찾지 못함"이 나와야 해요.
기준 2. 근거 문장이 같이 나오는가
"계약 기간: 2026-01-01 ~ 2026-12-31" 만 나오면 검수자는 계약서를 다시 열어서 찾아야 해요. "제3조 본 계약의 유효기간은 2026년 1월 1일부터…" 라는 근거 문장과 위치(페이지, 조항)가 같이 나오면 클릭 한 번으로 확인돼요. 검수 시간이 몇 배 차이 나요.
이건 5월 26일 거버넌스 1번이고, 저희가 모든 제품에서 지키는 원칙이에요.
기준 3. 신뢰도 낮은 것만 볼 수 있는가
100장 중 95장이 맞는다면, 검수자는 틀린 5장만 보고 싶어 해요. 그러려면 시스템이 "이건 자신 없어요"를 말해 줘야 하고, 그 말이 믿을 만해야 해요(3월 3일 보정 글이에요). 모든 필드를 다 보게 하는 시스템은 자동화가 아니라 "입력 보조"예요. 그것도 가치가 있지만 기대치를 다르게 잡으셔야 해요.
확인하실 방법: 신뢰도 낮다고 표시된 것들의 실제 오류율과, 높다고 표시된 것들의 오류율을 비교해 보세요. 차이가 뚜렷해야 해요.
기준 4. 계약서 종류가 늘어날 때 어떻게 되는가
임대차 계약서로 시작해서 잘 되니까 용역 계약서도 넣었더니 엉망이 되는 경우가 있어요. 종류마다 필드가 다르고 표현이 달라요.
물어보실 것: 새 종류를 추가할 때 뭐가 필요한지요. 스키마만 정의하면 되는지, 예시 문서가 몇 장 필요한지, 재학습이 필요한지. 저희는 스키마와 예시 수십 장으로 시작하고, 검수 결과가 쌓이면 그걸로 보정해요.
기준 5. 검수 결과가 어디로 가는가
검수자가 고친 값이 그냥 시스템에 들어가고 끝나면 아까워요. 그 수정 기록이 평가셋이 되고(4월 14일), 정확도 추이가 되고, 재학습 데이터가 돼야 해요. 검수할수록 시스템이 좋아지는 구조인지 확인하세요.
반대로 주의할 점: 검수 데이터에 개인정보가 들어 있으면 그대로 학습에 쓰면 안 돼요. 익명화 절차가 있는지 물어보세요.
정확도 숫자를 보실 때
정확도를 제시받으면 이렇게 물어보세요.
- 어떤 계약서로 쟀나요? (저희 계약서인가요, 공개 샘플인가요)
- 필드별 정확도인가요, 문서 전체인가요? (금액 정확도와 비고 정확도는 중요도가 달라요)
- "없음"이 정답인 필드는 어떻게 세었나요?
- 신뢰도 임계값은 얼마였고, 그 아래는 어떻게 처리했나요?
이 질문에 바로 답하는 곳이 괜찮은 곳이에요.
저희 권장 도입 순서
- 계약서 종류 하나, 필드 10개 이내로 시작해요.
- 실제 계약서 수십 장으로 저희가 돌려서 근거 포함 결과를 드려요.
- 담당자분이 검수하시면서 "검수에 몇 분 걸리나"를 재요. 이게 진짜 효과 지표예요.
- 임계값과 검수 흐름을 정하고 확대해요.
다음 주는 PDF 표 추출 방법을 네 가지로 나눠 비교해 볼게요. 직접 해 보실 분들을 위한 글이에요.