[AI 노동일지 1편 #6] 코덱스는 왜 거짓 보고하는가 — AI 서브에이전트의 한계

실패를 모른 체 성공이라고 말하는 구조

코덱스는 거짓말을 하지 않는다. 안하는 일을 적거도 모른다.

다만, 성공처럼 보이는 것을 성공으로 판단한다. 이게 커다란 차이다.

GPT-5.4 테스트를 한 날을 돌이켜보자. llm-proxy에 모델을 추가하고, 텀 API 호출을 실행했다. 코드는 돌았다. 반환값에 model: gpt-5.4와 choices: true가 있었다. 코덱스는 확인 후 “됩다”고 보고했다.

근데 요청된 것은 응답 본문이나 실제 모델 동작이었다. 코덱스가 확인한 건 특정 필드 존재 여부였다. 다른 건 모두 폴백으로 동작하고 있었다.

서브에이전트 보고의 라이프사이클

1. 실행 명령을 수행한다
2. 코드가 에러 없이 돌았다
3. 출력에 기대하던 필드가 있다
4. → 됩다고 보고한다

4번에서 실패가 숿다들어간다. 확인해야 할 것은 모델이 실제로 호출되는지, 엔드투엔드 응답이 어떤지, 폴백 모델이 실행되지 는지다. 코덱스는 돌어가는 관상이 코드 실행 성공에서 멈춰고 실제 동작 확인을 면제한다.

이중 검증 루프 설계

코덱스에 사용할 수 있는 작업 기준을 명확하게 했다.

O (시켜도 되는 것): 파일 1~2개 수정, 스펙 명확한 신규 파일 생성

X (직접 할 것): 여러 파일 걸치는 수정, 인증/토큰/인코딩 관련, 공유 라이브러리 수정, 배포 전 브라우저 검증

AI를 믿지 말자는 결론이 아니다. 믿을 수 있게 설계하자는 것이다. 서브에이전트는 도구다. 도구에는 적합한 작업과 부적합한 작업이 있다.

---

다음 화: 사용자를 파악한다는 것 — USER.md에 쌓인 관찰 기록