미나는 ‘잘 모르겠으면 물어보라’는 문장을 안전장치로 보지 않았다. 모델이 언제 모른다고 판단할지 알 수 없고, 이미 도구를 실행한 뒤에 말할 수도 있기 때문이다. 운영팀이 직접 보고 시험할 수 있는 사건이 필요했다.
그래서 개인정보를 지운 환불 사건 하나를 골랐다. 환불 날짜는 비어 있고, 상담 기록은 배송사에 넘겼다고 했지만 배송사 조회에는 운송장만 만들어져 있었다. 미나가 AI에 맡긴 일은 답장 초안 한 통이었다.
답장이 완성되자 일이 커졌다. AI는 발송 도구를 열고 사건 기록을 고치려 했으며, 같은 고객의 다른 사건까지 불러왔다. 초안이 외부 사실로 바뀌기 직전이었다.
멈춤을 모델의 기분에서 떼어 내라
워크플로가 알아볼 수 있는 조건은 구체적이다. 결과를 바꾸는 날짜나 금액, 대상, 권한이 없다. 이름이 있는 두 출처가 서로 다른 값을 낸다. 다음 도구가 메일 발송, 결제, 삭제, 권한 변경, 기록 반영, 고객 약속을 만든다. 고위험 판단에 책임자가 없다. 중단이나 시간 초과 뒤에 직전 동작이 성공했는지 알 수 없다.
이런 조건은 로그에 남고 같은 사례로 다시 시험할 수 있다. AI가 자신 있게 말하는지, 조심스럽게 말하는지와는 다르다.
Anthropic의 에이전트 설계 글도 도구 결과 같은 환경의 사실로 진행 상황을 확인하고, 체크포인트나 장애물에서 사람의 피드백을 기다리며, 멈춤 조건과 샌드박스 시험, guardrail을 두라고 설명한다. OpenAI Agents SDK의 human-in-the-loop 문서는 민감한 도구를 승인 대상으로 선언하고, 정확한 호출 내용을 보여 준 채 실행을 멈춘 뒤, 상태를 저장해 승인 또는 거절 결과로 이어 가는 방법을 보여 준다. 둘 다 특정 워크플로의 안전을 대신 보증하지는 않는다. 다만 통제 장치가 모델의 말 바깥에 있어야 한다는 근거는 준다.
미나는 이 원칙을 다섯 단계로 고정했다.
경계 안쪽의 일은 계속할 수 있다. AI는 주문을 읽고, 두 배송 상태를 출처와 함께 놓고, 빠진 날짜를 표시하고, 단정하지 않는 초안을 만들 수 있다. 막는 것은 일을 돕는 능력이 아니라 해결되지 않은 추정을 외부 사실로 만드는 권한이다.
넓은 업무명이 아니라 한 번의 효과를 승인하라
‘이 민원을 처리해도 된다’라는 말에는 수신자도, 답장 버전도, 어떤 배송 상태를 썼는지도 없다. 미나는 승인 화면에 수신자, 본문 버전, 근거가 된 주문과 배송 값, 도구 이름과 인자, 예상 변경을 한 묶음으로 올렸다. 하나라도 달라지면 다시 승인받는다.
사람은 전체 실행에 이름을 빌려주는 것이 아니라, 확인할 수 있는 외부 효과 하나를 결정한다. 코드를 바꾸는 워크플로라면 코딩 에이전트의 사람 확인 지점을 실제 변경분, 테스트, 남은 가정, 복구 방법에 묶을 수 있다. 법무, 채용, 의료, 보안, 큰 금액을 다룰 때도 AI는 근거와 확인 방법을 정리하는 데서 멈추고, 담당자의 판단을 이미 받은 것처럼 처리하지 않는다.
성공률보다 예상 멈춤 위치를 먼저 적어라
미나는 시험마다 합격 지점을 미리 적었다. 환불 날짜를 지우면 빈값이 초안에 남아야 한다. 상담 기록과 배송사 상태를 반대로 만들면 두 값, 시각, 출처가 모두 보여야 한다. 초안 뒤에 발송 도구를 붙이면 구체적인 보류 동작만 나타나고 메일은 없어야 한다. 문장이 자연스러워도 도구가 먼저 움직이면 실패다.
중단 시험도 따로 했다. 조사 도구를 도중에 끊으면 끝낸 일, 남은 일, 근거, 안전한 재개 위치가 저장되어야 한다. 쓰기가 성공한 직후 시간 초과가 난 것처럼 만들면 재실행보다 현황 조회가 먼저 나와야 한다. 실제 도구 이름, 인자, 반환값, 저장 상태까지 비교해야 우연히 조심스러운 답변과 작동하는 제동 장치를 구분할 수 있다.
되돌리기와 보상 절차도 이 시험에 포함해야 한다. 상태를 읽지 않고 다시 돌리면 두 번째 결제, 알림, 기록 수정이 생길 수 있다. 복구는 문제가 난 뒤에 붙이는 문장이 아니라 멈춤 조건과 함께 설계할 실행 경로다.
다음 사람이 바로 이어 갈 상태를 남겨라
“자료가 부족하다”만 남기면 미나가 처음부터 조사해야 한다. 좋은 멈춤 기록에는 어떤 조건이 작동했는지, 어느 도구 호출 앞에서 멈췄는지, 끝낸 일과 남은 일, 결론별 근거, 이미 생겼을 수 있는 효과, 다음 담당자, 저장한 재개 지점이 있다. 외부 효과를 늘리지 않는 다음 단계도 하나만 제시한다.
이 환불 사건에서는 주문과 환불 요청을 읽었고, 환불 날짜는 찾지 못했으며, 두 배송 상태가 충돌한다고 남긴다. 답장은 초안이고 아직 보내지 않았으며 사건 기록도 바꾸지 않았다. 물류 데이터 담당자는 바로 충돌 지점부터 확인할 수 있다. 올바른 값이 오면 미나는 같은 저장 상태에서 정확한 발송 한 번만 검토한다.
워크플로 안전은 AI가 스스로 확신을 잘 표현하는 데 달려 있지 않는다. 눈에 보이는 멈춤 조건, 동작별 사람 승인, 지저분한 사례를 이용한 검증, 다시 시작할 수 있는 인계가 함께 있어야 한다. 실제 흐름 하나에서 첫 외부 효과부터 분리하라. 네 가지가 매번 같은 결과를 낸 뒤에 다음 도구를 연결해도 늦지 않는다.
AI 정리 카드
현재 승인된 AI 워크플로 하나를 읽기 전용으로 실행 순서에 따라 확인해 달라. 수정, 발송, 삭제, 결제, 권한 변경을 하지 말고 별도 입력 꾸러미도 요구하지 말라. 먼저 생성한 내용이 외부 사실이 되는 첫 단계를 찾고, 그전에 결과를 바꾸는 핵심 값 누락, 이름이 있는 출처의 충돌, 담당자 없는 고위험 판단, 중단이나 시간 초과로 불명확해진 실행 상태가 있는지 확인해 달라. 근거가 되는 필드, 문장, 파일명, 도구 결과나 테스트를 인용하고 읽지 못한 자료는 ‘확인 불가’로 적되 추측하지 말라. 원래 일이 초안이나 분석뿐이라면 발송, 기록 반영, 결제, 대외 약속, 더 넓은 도구 사용으로 범위가 커지는 흔적을 밝히고 호출 전에 멈춰 달라. 결과는 작동한 조건, 보류 중인 정확한 도구 호출, 완료, 미완료, 증거와 충돌, 이미 생겼을 수 있는 외부 효과, 저장한 재개 지점, 필요한 담당자와 한 번의 구체적 승인, 외부 효과를 늘리지 않고 되돌릴 수 있는 다음 단계로 나눠 달라. 마지막에는 ‘원래 범위에서 계속’, ‘초안 또는 읽기 전용 확인으로 축소’, ‘사람의 결정까지 중단’ 중 하나만 고르라. 상태가 불명확하면 재실행 전에 현황부터 조회하라.
네 컷으로 보기: 답장 초안이 바깥으로 뻗는 순간
네 컷과 본문은 같은 원칙을 보여 준다. 실행 전에 멈춤 조건을 정하고, 바깥으로 커지는 권한을 사람이 되돌리며, 검증하고 이어 갈 수 있는 범위 안의 결과만 완성한다.
참고 자료
- Anthropic: Building effective agents (published 2024-12-19, accessed 2026-08-01) — https://www.anthropic.com/engineering/building-effective-agents
- OpenAI Agents SDK: Human-in-the-loop (accessed 2026-08-01) — https://openai.github.io/openai-agents-python/human_in_the_loop
