인사이트리포트

에스코어가 AI 에이전트 도입을 준비하는 기업을 위해 백서 「AI Agent, 어디까지 맡길 수 있는가」를 발행했다. 2024년부터 2026년까지 에스코어가 발행한 인사이트 리포트 9편을 재구성해, 에이전틱 AI(Agentic AI)를 실제 업무 시스템에 올릴 때 조직이 먼저 정해야 할 네 가지 기준 — 지식, 권한, 연동, 운영 — 을 A4 23페이지로 정리했다. 글 하단에서 PDF로 내려받을 수 있다.

왜 AI 에이전트 도입은 파일럿에서 멈추는가

기술이 부족해서가 아니라 기준이 정해지지 않았기 때문이다. 맥킨지 2025 보고서에 따르면 최소 한 개 업무 기능에서 AI를 쓰는 기업은 2024년 78%에서 2025년 88%로 늘었지만, 파일럿을 넘어 확장 단계에 들어선 곳은 약 3분의 1에 그친다. 같은 보고서에서 조직 일부에서 에이전트 시스템을 확장 중이라고 답한 비율은 23%, 실험을 시작했다는 응답은 39%였다.

MIT가 2025년 발표한 보고서는 AI를 도입한 기업의 95%가 기대에 못 미친다고 보고했다. 가트너 조사에서 AI 리더들이 실패 원인으로 꼽은 것도 모델 성능이 아니라 데이터 가용성과 품질 문제였다. 즉 AI 전환(AX)이 멈추는 지점은 모델이 아니라 그 앞뒤에 있다.

에이전트는 조직이 제공한 지식만큼만 똑똑하다. 지표의 계산 기준과 데이터 구조가 주어지지 않으면 에이전트는 그 기준을 스스로 만들어 낸다. 백서는 이 문제를 네 갈래로 나누어 다룬다.

이 백서가 답하는 네 가지 질문

백서는 “AI를 도입했는데 성과가 보이지 않는다”는 질문에서 출발해, 다음 네 가지에 대한 판단 기준을 제시한다.

• 지식 — 조직의 지표 정의와 데이터 구조를 어디에 어떤 형식으로 기록할 것인가. 지식 오프로딩과 OKF(Open Knowledge Format), Agentic RAG를 다룬다.
• 권한 — 어떤 작업까지 에이전트가 직접 수행하고, 어디서 사람이 승인할 것인가. 읽기 전용에서 쓰기로 권한을 넓히는 3단계 순서를 제시한다.
• 연동 — MCP(Model Context Protocol), A2A, AGNTCY, Agent Gateway 중 무엇을 언제 쓰는가. 1세대와 2세대 Stateless MCP의 차이도 비교한다.
• 운영 — 토큰 처리량, TTFT, TPOT, KV 캐시처럼 기존 시스템과 다른 AI 워크로드 지표와 비용의 이중 구조를 정리한다.

어떤 담당자가 읽으면 좋은가

AI 도입을 검토하거나 이미 파일럿을 운영 중인 조직의 의사결정자와 실무 책임자를 위해 썼다. 역할별로 백서에서 얻을 수 있는 것은 다음과 같다.

백서에서 확인할 수 있는 내용

본문은 6개 장과 부록으로 구성된다. 각 장은 고객이 실제로 부딪히는 질문에서 시작해 판단 기준으로 끝난다.

• 1장. 왜 파일럿은 늘었는데 업무는 그대로인가 — 도입 현실과 세 가지 실패 원인(지식 부재, 검증 체계 부재, 운영 기준 부재)
• 2장. 에이전트가 일하려면 무엇이 준비되어야 하는가 — 지식 오프로딩, OKF 구성 요소, Agentic RAG의 탐색 4단계, 하이브리드 검색과 Graph RAG, 임베딩 모델 선정 기준, AI-Ready 데이터 플랫폼
• 3장. 읽기에서 쓰기로 — 권한을 넓히는 순서 — 권한 주체로서의 에이전트, 단계별 허용 범위, Human-in-the-Loop 승인 설계, 외부 전송 데이터 관리
• 4장. 연동의 표준 — MCP가 바꾸는 것 — MCP의 Tools·Resources·Prompts, Stateless MCP 비교표, A2A 핵심 개념, AGNTCY 구성 요소, Agent Gateway의 역할
• 5장. 무엇을 보아야 하는가 — 관측과 비용 — 기존 애플리케이션과 AI 워크로드 비교, 수집 항목 7가지, 평가 체계 3단계, 비용 최적화의 실제
• 6장. 무엇부터 시작할 것인가 — 원칙 다섯 가지와 90일 실행 순서, 플랫폼 조직 준비 항목
• 부록. AX 준비도 자가 점검표 — 5개 영역 20개 항목

부록 AX 준비도 자가 점검표는 어떻게 쓰는가

체크한 항목 수로 현재 단계를 가늠하고 다음에 할 일을 고르는 도구다. 지식·권한·연동·운영·검증 다섯 영역에 각 4개씩, 모두 20개 항목으로 구성했다. 5개 이하면 지식과 권한 정의부터, 6~13개면 연동과 관측 보완부터, 14개 이상이면 적용 범위 확대와 비용 설계 단계로 본다.

각 영역에서 가장 먼저 확보해야 할 항목 다섯 개는 따로 표시해 두었다. 예를 들어 지식 영역에서는 “핵심 지표의 계산 기준이 문서로 합의되어 있고 부서마다 같은 숫자가 나온다”가 그 항목이다.

백서는 어떤 자료를 근거로 작성했는가

에스코어 인사이트 리포트 9편을 재구성했다. 각 리포트의 전문은 아래 링크에서 볼 수 있다. 본문에 인용된 외부 수치는 각 리포트가 인용한 값이며, 출처와 시점을 백서 마지막 장에 함께 밝혔다.

• 새로운 2세대 MCP 규격 발표: Stateless MCP (2026.09)
• OKF와 Agentic RAG : AI 에이전트에게 지식을 건네는 방법 (2026.08)
• AI Agent 시대의 오픈소스 인프라 재편 Part 2. 관측성·연동·거버넌스 (2026.08)
• AI Agent 시대의 오픈소스 인프라 재편 : 보안과 운영 관점에서 (2026.06)
• 에이전틱 AI 구축 성공 전략 : AI 도입 현실과 Red Hat AI 활용 방안 (2026.01)
• AI의 도메인 지식 활용을 위한 필수 도구 : AI-Ready 데이터 플랫폼 (2025.10)
• 데이터 속 숨은 관계를 찾아주는 Graph RAG의 힘 (2025.10)
• 더 정확하고 유연하게 찾는 하이브리드 검색 (2025.06)
• 벡터 임베딩 모델의 이해와 활용 : 최적의 임베딩 모델 찾기 (2024.11)

자주 묻는 질문

Q. 생성형 AI, AI 에이전트, 에이전틱 AI는 어떻게 다른가

생성형 AI는 지시가 있어야 움직이고 다단계 작업을 자율적으로 수행하지 못한다. AI 에이전트는 환경을 인식하고 판단하지만 사전에 정의된 규칙과 범위 안에서만 움직인다. 에이전틱 AI는 스스로 목표를 세우고 계획을 짜며, 여러 에이전트가 협력하고 외부 도구를 활용한다.

Q. MCP는 꼭 2세대로 바꿔야 하는가

2026년 9월 기준으로는 서두를 이유가 크지 않다. 2세대 Stateless MCP는 1세대와 하위 호환이 없어 구현체를 전면 수정하거나 호환 계층을 만들어야 하고, 주요 개발 도구의 지원도 아직 제한적이다. 백서는 로컬 제어는 내장 도구가, 추적이 필요한 클라우드 연동은 Stateless MCP가, 기존 레거시는 OpenAPI가 맡는 비대칭적 공존을 현실적인 전망으로 본다.

Q. 벡터 RAG를 쓰고 있는데 OKF로 바꿔야 하는가

둘은 대체재가 아니라 역할이 다르다. 스키마와 핵심 지표처럼 경계가 뚜렷한 지식은 OKF로 오프로딩하고, 로그나 회의록처럼 경계가 유동적인 텍스트는 기존 벡터 검색을 함께 쓰는 편이 현실적이다. 백서 2장에 운영 관점 비교표를 실었다.

Q. 에이전트에게 쓰기 권한을 언제 줘야 하는가

읽기 전용 작업으로 권한 경계와 감사 로그가 설계대로 동작하는 것을 확인한 뒤가 안전하다. 백서는 1단계 읽기 전용, 2단계 되돌릴 수 있는 변경, 3단계 운영 환경 변경으로 나누고 각 단계에서 확인할 것과 다음 단계로 넘어가는 조건을 제시한다.

Q. AI 운영 비용은 어떻게 관리하는가

값싼 모델을 고르는 문제가 아니라 정책의 문제다. AI 비용은 GPU 사용률과 배치 효율 같은 인프라 비용, 프롬프트·완성 토큰과 반복 호출 같은 토큰 비용의 이중 구조다. 요청 라우팅, 반복 호출 제한, 캐시 활용을 정책으로 관리하는 쪽이 효과가 크다.

백서 내려받기와 AX 준비도 진단

백서 전문은 아래 PDF로 제공한다. 글 상단의 다운로드 버튼에서도 같은 파일을 받을 수 있다.

▶ 백서 「AI Agent, 어디까지 맡길 수 있는가」 PDF 내려받기 (A4 23페이지)

백서의 자가 점검표를 바탕으로 한 진단과 다음 단계 제안이 필요하다면 AX 준비도 진단을 신청할 수 있다. 에스코어는 삼성SDS 자회사로, IT 경영 컨설팅과 소프트웨어 기술 서비스를 함께 보유한 AX 전문 기업이다. AX 전략 수립부터 AI Agent 구축, 플랫폼 운영과 오픈소스 기반 인프라까지 한 팀으로 수행한다.