11장. 권한, 게이트, 책임

에이전트 회사는 권한 설계 없이는 위험하다.

에이전트에게 너무 적은 권한을 주면 아무것도 못 한다. 너무 많은 권한을 주면 사고가 난다. 그래서 권한을 행동 단위로 쪼개야 한다.

좋은 게이트는 느리게 만들기 위한 장치가 아니다.

회사가 안심하고 더 많은 일을 agent에게 맡기기 위한 장치다.

게이트가 없으면 사람은 불안해서 agent를 믿지 못한다. 게이트가 있으면 agent는 더 넓은 범위에서 일할 수 있다.

여기서 권한은 보안 체크박스가 아니다. 해자의 일부다.

agent는 비밀을 잘 지키는 존재가 아니다. agent가 볼 수 있는 것은 말할 수 있고, agent가 접근한 것은 잘못된 prompt나 잘못된 handoff로 새어나갈 수 있다. 그래서 agent의 안전은 "모델이 알아서 조심하겠지"가 아니라 deterministic한 permission layer에서 나와야 한다.

누가 어떤 문서를 볼 수 있는가.

어떤 account의 어떤 필드를 읽을 수 있는가.

어떤 고객에게 어떤 메시지를 보낼 수 있는가.

어떤 금액과 계약 조건을 바꿀 수 있는가.

어떤 graph 조각을 추론에 넣을 수 있는가.

이 권한 구조가 정교할수록 agent는 더 많이 일할 수 있다. 반대로 권한 구조가 허술하면, 가장 똑똑한 agent도 회사 안에서 위험물이 된다.

책임도 명확해야 한다.

에이전트가 실행했더라도 책임은 회사에 있다. 그래서 모든 중요한 행동에는 owner, source, decision log, rollback path가 있어야 한다. 누가 승인했는지, 어떤 근거로 했는지, 잘못되면 어떻게 되돌릴지 남아야 한다.

에이전트 컴퍼니의 운영 원칙은 단순하다.

자동화할수록 더 많이 기록한다.

권한을 줄수록 더 명확한 게이트를 둔다.

사람을 뺄수록 책임자를 더 분명히 한다.