Agentic AI의 위험과 거버넌스

Agentic AI는 목표를 세우고, 판단하고, 자율적으로 행동한다. 챗봇이나 추천 엔진과는 차원이 다르다. 복잡한 워크플로를 자동화하는 거대한 기회지만, 동시에 심각한 위험을 함께 들여온다. 사람의 감독 없이 AI가 결정을 내릴 때 무슨 일이 벌어질까? 이 편은 "만들기"가 아니라 "안전하게 다루기"에 관한 것이다.

 

1. 왜 위험이 다른가

전통적 ML이 입력에 대해 예상된 출력을 내놓는다면, Agentic AI는 한 AI 모델의 출력을 다른 모델의 입력으로 이어 쓴다. 자율성에서 비롯된 네 가지 특성이 새로운 위험을 증폭한다.

• 불충분한 명세(underspecification) — 넓은 목표만 주고 달성 방법은 지시하지 않는다.
• 장기 계획 — 이전 결정 위에 다음 결정을 쌓아 간다.
• 목표 지향성 — 입력에 반응만 하는 게 아니라 목표를 향해 움직인다.
• 영향의 직접성 — 일부 시스템은 사람 개입 없이 실제로 행동한다.

 

 

2. 거버넌스 — 다층적으로

효과적인 거버넌스는 한 겹으로 안 된다. 기술적 안전장치, 프로세스 통제, 조직적 책임까지 층층이 쌓아야 한다.

기술적 가드레일

• 중단 가능성(interruptibility) — 특정 요청이나 시스템 전체를 멈추거나 종료할 수 있는가?
• HITL(사람 개입) — 어떤 행동에 사람 승인이 필요한가? 에이전트가 멈춰서 그 입력을 기다릴 수 있는가?
• 기밀 데이터 처리 — PII 탐지·마스킹 등으로 민감 정보 유출을 막는가?

프로세스 통제

• 위험 기반 권한 — AI가 절대 자율로 해서는 안 되는 행동은 무엇인가?
• 감사 가능성 — AI가 어떤 결정에 이르렀을 때, 그 과정을 되짚을 수 있는가?
• 모니터링·평가 — 성능을 상시 감독한다.
• 책임과 조직 구조 — AI 결정이 해를 끼치면 누가 책임지는가? 어떤 규제가 적용되는가?

레이어별 가드레일

에이전트의 주요 구성 지점마다 가드레일을 둔다.

그림 1. 에이전트의 각 레이어에 두는 가드레일. 배포 전엔 red teaming으로 취약점을 노출하고, 배포 후엔 지속 모니터링한다.

 

그리고 배포 전에는 red teaming으로 취약점을 미리 드러내고, 배포 후에는 지속적인 자동 평가·모니터링으로 환각이나 규정 위반을 잡아낸다. 이런 관찰가능성(observability)이 있어야 시스템이 실제로 무엇을 하는지 이해할 수 있다.

 

거버넌스는 단지 보안이 아니라 통제에 관한 것이다. AI는 조직에 힘을 실어야지, 관리 불가능한 위험을 만들어선 안 된다. AI가 우리를 대신해 행동하게 두기 전에, 올바른 가드레일부터 갖추자. Agentic AI의 시대에 책임은 기계가 아니라 우리에게 있다.