AI 에이전트 위임 범위와 미결 문제: 아직 결론 못 낸 것들 — AI 운영 프로세스
AI 운영 프로세스를 바꾸다 멈춘 것들. red 상태 세션 인계, 자동 오케스트레이션을 일부러 안 만든 이유, green인데 측정이 비어 있던 검사, 사람과 AI의 위임 경계.
목차
토큰 절약 프로세스를 정리하면서, 바꾸다가 멈춘 것과 고민만 하고 결론을 안 낸 것이 따로 쌓여 있었다. 잊기 전에 "무엇을 두고 고민했고 지금 어디까지 정했나"만 적는다.
1. 게이트가 빨간데 세션을 넘겨도 되나 (보류)
릴레이 규칙은 "게이트 green + 커밋"이어야 넘길 수 있다. 그런데 밤에 red 상태로 컨텍스트가 차면 넘기지도 못하고 멈추기만 한다.
완화안은 "red라도 마지막 정상 기준 + 실패 근거를 실으면 넘길 수 있다"이고, 도구는 이미 그렇게 판정한다. 리허설에서 구멍도 찾아 고쳤다 — "모른다"로 넘기면 문서가 그 절을 통째로 빼서 "모름"과 "안 적음"이 구별되지 않았다.
그런데 "지금 필요 없다"고 보류했다. 안전 규칙을 무르게 하는 건 필요가 생겼을 때 하자는 쪽. 문서에는 "기계는 완화안을 구현하고 있어 표와 다를 수 있다 — 참고로만"이라고 불일치를 명시해 뒀다.
고민의 핵심: 완료·커밋 조건은 그대로 green이고 "넘기기"만 완화하는 건데, 그 경계가 사람에게 잘 읽힐까.
2. 자동 오케스트레이션은 일부러 안 만들었다
역할별 모델 선택과 "다음 세션 실행" 기반까지만 만들고, 자연어 요청 → 단계 전환 → 자동 복구 → 대시보드로 스스로 도는 루프는 안 만들었다.
이유는 둘.
- 감시 없이 자동 교체되는 담당은 사고가 나면 원인을 못 찾는다. heartbeat 만료는 교체 권한이 아니다. 실제 정지를 확인하고 근거를 남겨야 교체.
- 큰 기능의 "계획 → 구현" 모델 전환은 서브에이전트로 코드 0에 이미 된다.
멈춘 자리는 맞다고 보지만, 밤샘 주행이 늘면 다시 볼 것 같다.
3. 명세 도구 — 질문은 좋았고 비용은 컸다
명세 도구를 하나 설치해 질문·계획 단계만 1회 시험했다. 감사에서 누락 9건을 찾고 게이트가 필드 불일치 1건을 잡았다. 질문 8개 중 1개만 이미 확정된 사실 재확인이었다. 대신 약 23분, 서브에이전트 약 18만 토큰.
결정: 모든 작업에 기본 적용하지 않는다. ① 변경 경계가 불명확한 조사 ② 여러 계약·상태·사용처가 얽힌 기능 ③ 사용자 결정을 먼저 받아야 하는 구조 변경에만. 단순 수정·경계 확정된 구현에는 안 쓴다.
고민: 경량화한 진입 지침(109줄)을 도구 형식으로 다시 늘리고 싶지 않다는 마음과, 질문 품질이 실제로 좋았다는 사실이 충돌한다.
4. 어디까지 큰 모델을 아낄 것인가
- "큰 모델 아끼자"와 "계획은 큰 모델로 하고 싶었는데"가 같은 주에 나왔다. 정리하면 계획·설계·어려운 판단만 제일 큰 모델, 구현은 기본 모델, 검토도 기본 모델 계열. 구현을 작은 모델로 내리는 건 되잡기 비용이 커서 접었다.
- 검토 모델을 특정 버전으로 핀하고 싶었는데 도구가 계열만 받아 못 했다. 버전 선택이 열리면 다시 볼 것.
- 남은 고민: 역할표는 "모르면 기본 모델"인데, 정말 모를 때가 많으면 절약이 안 된다. 실측이 없어 판단 보류.
5. 게이트가 전부 green인데 측정이 비어 있던 일, 두 번
같은 축에서 두 번 겪었다.
- ① 픽셀 검사가 픽스처의 prop 이름을 써서 실제 이미지 prop이 12셀에 한 번도 안 닿았는데 green. React는 모르는 prop을 조용히 버린다.
- ② 콘솔 불변식이 전부 합성 입력으로 체인을 재서, 화면이 실제로 넘기는 기본 경로에 카탈로그가 빠져 「생성 실행」이 영구 비활성이었는데 green.
둘 다 **"무엇을 오라클로 삼았나"**의 문제였다. 정한 것: 화면 동작을 재는 검사는 화면의 실제 기본값을 오라클로 잡는다. 스크린샷 해시는 자동 판정이 아니라 조사 방아쇠다.
남은 고민: 합성 입력만 쓰는 검사를 어떻게 자동으로 의심하게 할지.
6. 사람이 어디까지 고르고 어디부터 AI에 맡기나
디자인 파일에서 로고·배너를 가져오는 콘솔 기능을 세 번 고쳤다.
- 1판: 후보를 제안만 하고 사람이 라디오로 고른다(명세 "자동 확정 금지").
- 2판: 완성 배너가 없을 수 있으니 배경+오브제를 사람이 위치·크기 %로 배치하고 미리보기를 확인한다.
- 3판(확정): 사람은 인식 결과만 확인하고(로고·배경·오브제가 맞게 분류됐나, 「이건 아님」·메모 한 줄) 나머지 선택·배치·합성은 AI가 한다. 결과는 선택 이유와 실제 적용 미리보기로 보여주고, "오브제 작게" 같은 말로 다시 맡긴다. 최종 승인만 사람.
고민의 핵심은 "자동 확정 금지·디자인 판단 안 함"이라는 원래 명세와 "다 맡기고 싶다"는 내 의도의 충돌이었다.
결론은 사용자 정정이 명세보다 우선하고, 위임은 명시적으로 한다. 위임 안 한 것은 남긴다 — 최종 승인, 원본 쓰기, 비밀 키 노출, 자산 정책 변경. "인식 확인 ≠ 승인"을 코드 검사로 못 박았다.
부수 교훈: 수동 편집기를 먼저 만든 게 낭비였나. 아니라고 본다. 그 합성 코드를 3판이 그대로 재사용했고, 화면만 지웠다.
7. 절약됐다는 증거가 없다
바꾼 건 많은데 실효 토큰·컨텍스트 창 크기·비용 비교 실측이 하나도 없다. 관측 경로가 없으면 "미측정"으로 둔다고 정했다.
모델 별칭에 특정 표기가 붙었다는 이유로 그 스펙을 쓴다고 보지 않고, 관측값이 비었다고 요청값으로 채우지 않는다.
이게 제일 찜찜한 미결이다. 체감으로는 줄었다.
남길 것
미결을 미결로 적어 두는 게 결론 내는 것보다 중요했다.
- 안전 규칙 완화(1)와 자동화 확대(2)는 "필요가 생기면"으로 미뤘다
- 위임 범위(6)는 내 정정이 명세를 이긴다는 원칙으로 정리했다
- 효과 측정(7)은 방법이 없어 열어 뒀다
더 봐야 할 것
- red 인계 완화 — 밤샘 주행에서 실제로 막히는 날이 오면 그때 결정
- 토큰·시간 비용 실측 방법
- 명세 도구와 기존 절차를 같이 둘지, 하나로 갈지
- 실제 압축이 난 세션 → 후속 세션 완주 1회