금융사와 공공기관은 문서가 많고 규제가 많아요. 이 두 가지가 합쳐지면 "자동화하고 싶은데 함부로 못 하는" 상태가 돼요. 저희가 이런 환경에서 문서 자동화를 설계할 때 항상 같은 다섯 단계로 하는데, 오늘은 그 순서와 각 단계에서 주의할 점이에요.
1단계: 수집 — 어디에 뭐가 있는지부터
의외로 이 단계에서 제일 오래 걸려요. 문서가 그룹웨어, 파일 서버, 스캔 복합기, 업무 시스템 첨부파일에 흩어져 있고, 형식도 HWP·PDF·스캔 이미지·엑셀이 섞여 있어요.
여기서 정해야 할 것들이에요.
- 대상 문서 종류를 좁히세요. "모든 문서"는 프로젝트가 아니에요. 계약서, 신청서, 감사보고서처럼 종류를 정하고 시작해요.
- 원본 보존. 수집한 원본은 수정하지 않고 그대로 보관해요. 나중에 "AI가 본 문서가 이거 맞냐"를 증명해야 해요.
- 반입 경로. 폐쇄망이면 3월 24일 체크리스트예요. 문서가 망 밖으로 나갈 수 없으면 처리도 망 안에서 해야 해요.
2단계: 정제 — 읽을 수 있게 만들기
파일을 데이터로 바꾸는 단계예요. HWP는 네이티브 파싱, PDF는 텍스트 레이어 확인 후 필요하면 OCR, 스캔은 기울기 보정·노이즈 제거 후 OCR. 1월 글들이 이 단계예요.
주의할 점은 정제 결과에 원본 위치를 남기는 것이에요. 문단이 몇 페이지 어디에서 왔는지요. 이게 없으면 4단계 검수에서 사람이 원본을 처음부터 다시 봐야 해요.
3단계: 구조화 — 필요한 값만 뽑기
문서에서 업무에 필요한 필드를 뽑아요. 계약서면 당사자·기간·금액·해지 조건, 신청서면 신청인·항목·첨부 여부. 이 단계에서 정할 것은 스키마예요.
- 필드마다 "없을 수 있음"을 허용할지 정하세요. 없는데 억지로 채우면 사고예요.
- 필드마다 신뢰도와 근거 위치가 같이 나오게 하세요.
- 규칙으로 되는 건 규칙으로 하세요. 사업자등록번호 형식 검증 같은 건 모델이 할 일이 아니에요.
4단계: 검수 — 사람이 보는 구조를 설계하기
여기가 규제 산업의 핵심이에요. AI 결과가 그대로 업무에 들어가는 경우는 거의 없고, 사람이 확인해요. 그 확인 작업을 얼마나 빠르게 만드느냐가 자동화 효과를 정해요.
- 신뢰도 낮은 필드만 보게 하세요. 전부 보면 자동화가 아니에요.
- 클릭 한 번으로 원본 위치가 열려야 해요.
- 검수자가 고친 결과는 반드시 기록하세요. 이게 평가셋이 되고, 재학습 데이터가 되고, 정확도 추이 지표가 돼요.
- 검수 화면에 "AI가 왜 이렇게 봤는지"를 짧게 보여 주세요. 틀린 이유를 알면 검수가 빨라져요.
5단계: 연계 — 업무 시스템에 넣기
검수된 데이터를 심사 시스템, 전자결재, 데이터베이스에 넣어요. 이 단계에서 꼭 챙길 것들이에요.
- 멱등성. 같은 문서를 두 번 처리해도 데이터가 두 번 들어가면 안 돼요. 문서 해시로 중복을 막으세요.
- 추적성. 시스템에 들어간 값에서 원본 문서와 검수자, 검수 시각까지 거슬러 갈 수 있어야 해요.
- 실패 처리. 연계가 실패했을 때 어디까지 됐는지 알 수 있어야 하고, 재시도가 안전해야 해요.
왜 이 순서냐면요
거꾸로 시작하는 프로젝트를 많이 봤어요. "심사 시스템에 AI를 붙이자"(5단계)부터 시작해서 거슬러 올라가다가, 2단계에서 문서 파싱이 안 돼서 멈추는 거예요. 아래 단계가 안 되면 위 단계는 의미가 없어요. 그래서 저희는 항상 수집부터 해요. 지루하지만 그게 제일 빨라요.
규제 산업만의 추가 사항
- 설명 가능성. 감독기관이 "이 판단 왜 했냐"고 물으면 답해야 해요. 근거 위치와 버전 기록이 그 답이에요.
- 개인정보. 처리 과정에서 개인정보가 로그나 학습 데이터에 들어가면 안 돼요. 5월 26일 거버넌스 6번이에요.
- 변경 통제. 모델·프롬프트 변경이 배포 승인 절차를 거쳐야 하는 곳이 많아요. 평가셋 결과가 승인 근거가 돼요.
다음 주는 작은 모델 이야기예요. 1월에 약속했던, 경량 모델이 대형 모델을 이기는 조건과 지는 조건 실험 결과요.