사내 규정 챗봇의 PoC가 평가를 통과했습니다. 그런데 운영을 시작한 뒤 인사팀이 휴가 규정 PDF를 새 파일로 교체하자 답변이 다시 틀리기 시작합니다. 원본 폴더에는 최신 문서가 있는데 AI는 폐기된 규정을 계속 인용합니다.

모델이 갑자기 나빠진 것이 아닐 수 있습니다. 새 문서 수집이 실패했거나, 이전 문서가 검색 인덱스에 남았거나, 권한 때문에 최신 파일을 읽지 못했을 수 있습니다. 그 사이 프롬프트나 모델 설정이 바뀌었다면 원인은 더 많아집니다.

PoC는 고정된 표본과 설정에서 가능성을 확인합니다. 운영에서는 데이터, 사용자 질문, 모델과 연결 시스템이 계속 바뀝니다. 이 변화를 관리할 구조가 없으면 성공한 PoC도 같은 답을 반복하지 못합니다.

먼저 마지막 정상 상태를 한 묶음으로 남깁니다

AI 서비스의 답은 애플리케이션 코드 하나로 결정되지 않습니다. 같은 코드에서도 다음 항목이 달라지면 결과가 바뀝니다.

  • 사용한 모델과 세부 설정
  • 시스템 프롬프트와 예시
  • 문서 분할·검색·재정렬 설정
  • 검색 인덱스에 들어간 문서 버전
  • AI가 호출할 수 있는 도구와 권한
  • 변경을 검증한 평가 세트

저라면 이 항목을 따로 적어 두고 현재 운영 버전이라고 부르지 않습니다. 함께 검증된 조합에 하나의 배포 번호를 붙입니다. 그래야 장애가 났을 때 프롬프트만 이전 버전으로 돌려 놓고, 새 검색 인덱스와 충돌하는 일을 피할 수 있습니다.

이 묶음은 함께 추적하고 되돌릴 수 있는 하나의 배포물이어야 합니다.[1] 변경 기록에는 누가 무엇을 왜 바꿨는지, 어떤 평가를 통과했는지, 어느 사용자에게 적용했는지를 남깁니다.

문서 추가보다 교체 완료를 확인합니다

RAG 기반 AI에서 새 PDF를 폴더에 올렸다는 사실은 갱신 완료를 의미하지 않습니다. 원본을 읽고, 내용을 나누고, 검색용 데이터를 만든 뒤, 이전 문서를 제외하는 전 과정이 끝나야 합니다.

예를 들어 휴가규정_v3.pdf를 추가하면서 v2를 그대로 두면 검색 결과에 두 규정이 함께 나올 수 있습니다. v2를 원본에서 삭제해도 검색 인덱스에 남아 있으면 상황은 같습니다.

문서별로 다음 상태를 확인할 수 있어야 합니다.

상태확인할 내용실패 시 처리
수집원본의 최신 버전과 수정 시각을 읽었는가재수집 대기
변환본문과 표를 정상적으로 추출했는가해당 문서 검색 제외
색인새 조각이 검색 인덱스에 반영됐는가이전 공개 상태 유지
폐기이전 버전이 검색 후보에서 빠졌는가새 버전 공개 보류
권한원본 권한이 검색 결과에도 적용됐는가접근 차단

저는 새 문서가 들어왔다는 알림보다 교체가 끝나지 않은 문서 목록을 먼저 만듭니다. 일부 단계가 실패하면 최신 문서와 이전 문서가 섞인 상태를 사용자에게 공개하지 않는 편이 안전합니다.

정확도 하나로 운영 상태를 묶지 않습니다

운영 중 AI 오류가 늘었다는 경보만 받으면 어디부터 봐야 할지 알 수 없습니다. 답변 품질, 처리 성능, 비용, 데이터 갱신과 권한을 나눠야 담당자와 첫 대응이 정해집니다.

영역볼 신호첫 대응
답변 품질근거 불일치, 사용자 수정률, 모름 응답 실패변경 중지와 회귀 평가
처리 성능시간 초과, 재시도, 대기열 길이처리량 제한과 대체 경로
비용건당 비용, 일·월 사용량, 비정상 재시도한도 적용과 원인 확인
데이터수집 실패, 미색인, 폐기 지연문제 문서 검색 제외
권한차단 실패, 승인 우회, 범위 초과 호출자동 실행 즉시 중지

한 점수로 합치지 말고 영역을 나눠 관찰해야 합니다.[2] 모두 한 점수로 합치면 비용은 급증했는데 답변 점수가 좋아 정상으로 보이거나, 데이터 수집 장애를 모델 품질 문제로 오해할 수 있습니다.

지표에는 반드시 대응 기준을 붙입니다. 근거 없는 답변 1건 발생 시 자동 전송 중지, 시간 초과율이 기준을 넘으면 검색 결과만 제공처럼 신호가 어떤 동작으로 이어지는지 정해야 합니다.

운영에서 발견한 실패를 평가 세트로 되돌립니다

PoC 평가 세트는 운영의 출발점이지 완성본이 아닙니다. 실제 사용자는 예상하지 못한 표현으로 질문하고, 새로운 문서 유형과 예외를 만듭니다.

오류 신고를 받은 뒤 답변 문장만 고치면 다음 변경에서 같은 문제가 돌아올 수 있습니다. 실패한 질문, 당시 사용한 문서와 기대한 처리 결과를 평가 사례로 추가합니다. 다음 프롬프트·모델·검색 변경은 기존 PoC 사례와 새 운영 사례를 모두 통과해야 합니다.

다만 모든 사용자 대화를 그대로 평가 데이터로 저장해서는 안 됩니다. 개인정보와 계약 정보가 들어갈 수 있으므로 수집 목적, 접근자, 보관 기간과 삭제 기준을 먼저 정합니다. 평가에 필요한 최소 정보만 남기고 원문 열람 권한을 제한합니다.

운영 피드백을 품질 평가와 개선에 연결하면 실제 질문 분포가 바뀌는 상황을 추적할 수 있습니다.[2] 중요한 것은 피드백 개수가 아니라, 확인된 실패가 다음 배포의 회귀 시험으로 남는 구조입니다.

변경은 작게 열고 통과하면 넓힙니다

관리자 화면에서 프롬프트 한 줄을 고쳤다고 바로 모든 사용자에게 적용하면 원인을 추적하기 어렵습니다. 작은 수정도 답변 거부, 도구 호출과 비용을 함께 바꿀 수 있습니다.

변경은 다음 순서로 내보냅니다.

  1. 변경 이유와 예상 영향을 기록합니다.
  2. 고정 평가 세트와 새 실패 사례로 회귀 시험을 합니다.
  3. 내부 사용자 또는 일부 요청에만 새 버전을 적용합니다.
  4. 품질·지연·비용·권한 신호를 이전 버전과 비교합니다.
  5. 기준을 통과하면 범위를 넓히고, 아니면 마지막 정상 묶음으로 돌아갑니다.

여기서 이전 버전은 프롬프트 한 줄이 아니라, 그 프롬프트를 포함해 함께 검증한 묶음 전체입니다. 제한 배포 중에는 같은 요청을 이전 버전과 새 버전에 재현할 수 있어야 차이의 원인을 찾을 수 있습니다.

전체 서비스 종료 전에 기능별 중지를 준비합니다

AI가 잘못된 답을 만들었다고 사이트 전체를 닫을 필요는 없습니다. 반대로 화면이 열려 있다는 이유로 ERP 등록과 메일 전송까지 계속 허용해서도 안 됩니다.

영향에 따라 중지 단계를 나눕니다.

  • 자동 실행을 끄고 초안만 만듭니다.
  • 생성 답변을 끄고 검색한 원문만 보여줍니다.
  • 문제가 있는 문서 종류나 도구만 차단합니다.
  • 새 요청을 막고 이미 시작된 작업만 마칩니다.
  • 마지막 정상 배포 묶음으로 되돌립니다.

롤백은 문서에 적어 두는 것으로 끝나지 않습니다. 알려진 정상 상태로 실제 복귀하는 절차를 자동화하고 정기적으로 시험해야 합니다.[3] 이미 ERP를 변경하거나 메일을 보낸 작업은 버전만 되돌려도 취소되지 않으므로, 취소 요청이나 보상 작업의 책임자도 정해야 합니다.

저는 운영 전환 전에 AI 기능을 끄면 누가 어떤 수동 업무를 이어받는가를 한 번 실행해 봅니다. 수동 경로가 사라졌거나 담당자가 복귀 절차를 모르면 중지 버튼은 있어도 업무를 복구할 수 없습니다.

책임자는 지표가 아니라 대응을 맡습니다

대시보드에 담당자 이름을 붙이는 것만으로는 부족합니다. 각 책임자가 어느 신호를 보고 무엇을 결정할 수 있는지가 분명해야 합니다.

  • 업무 담당자: 답변이 실제 업무 기준에 맞는지 판정
  • 데이터 소유자: 문서 교체·폐기와 접근 권한 승인
  • 개발·운영 담당자: 배포 묶음, 성능·비용과 기술 복구 관리
  • 보안·계약 책임자: 정보 노출과 외부 서비스 사용 범위 판단
  • 서비스 책임자: 자동 실행 중지와 수동 업무 전환 결정

야간이나 휴일에도 모든 사람이 동시에 모일 수는 없습니다. 치명적인 권한 오류나 잘못된 자동 실행은 당번 담당자가 먼저 중지하고, 이후 책임자가 복구 범위를 승인할 수 있어야 합니다.

운영 가능한 AI는 답을 잘하는 데서 끝나지 않습니다

PoC에서 좋은 답을 얻은 것은 중요한 출발점입니다. 운영에서는 문서가 교체되고 사용자가 달라지며, 프롬프트·모델·권한과 연결 시스템도 바뀝니다.

저는 공개 전에 마지막 정상 배포 묶음을 만들고, 문서 교체 완료 상태와 품질·성능·비용·권한 신호를 분리합니다. 변경은 제한된 범위에 먼저 적용하고, 기준을 벗어나면 자동 실행부터 단계적으로 멈춘 뒤 검증한 묶음으로 돌아갑니다.

이 구조가 있어야 어제는 맞았는데 오늘은 틀린 답을 모델 탓으로 넘기지 않고 원인을 찾을 수 있습니다. AI 운영의 기준은 한 번 좋은 답을 만드는 능력이 아니라, 바뀐 뒤에도 이상을 발견하고 안전한 상태로 돌아오는 능력입니다.

출처