인사이트리포트

들어가며

2022년 ChatGPT(GPT-3.5)의 출현은 대규모 언어모델(LLM)기반 생성형 AI의 잠재력을 대중에게 경험하게 하는 시작점이 되었다. 기존 챗봇과 달리 인간의 대화와 맥락을 이해하고 반응하는 모습을 보며 영화로 보던 미래 일상을 경험하게 되었고, AI 관련 기업들의 시가총액이 말해 주 듯 AI 활용은 기업 경쟁력과 Valuation 결정에 중요한 요소가 되었다는 것을 부인할 수 없을 것이다.

2024년 국내 금융시장에서도 생성형 AI는 뜨거운 화두였다. 생성형 AI 관련 전담조직을 신설하고, 실증사업(PoC)을 통한 비즈니스 가능성 검토와 서비스 개발을 위한 AI 플랫폼 구축 사업을 진행하고 있다.

국내 AI 기본법 제정

인공지능 기술의 발전과 기업의 발 빠른 대응에 맞춰 2025년 1월 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 AI 기본법)」이 제정되었다. AI 기본법은 2024년 12월 26일 국회 본회를 통과하여 2026년 1월부터 시행될 예정으로 AI 안정성 및 신뢰성 기반 구축에 대한 국가 차원의 AI 정책 조직 체계 수립 및 고영향 인공지능 등 주요 개념을 정의함으로써 규제와 AI 사업 진흥의 기반을 제공하였다. 특히 AI 윤리 원칙을 정의하여 AI 활용의 안전성, 신뢰성, 접근성 등의 AI 윤리적 발전을 도모할 것으로 예상한다.

AI 기본법은 AI 관련 포괄적 법 제정한 EU AI법에 영향을 받기는 했지만 단일국가로서는 세계 최초 AI 법률로써 인공지능 활용이 가져올 위험(영향)에 대한 평가를 통해 10가지 ‘고영향’ 규제 영역을 정의하였고, 대통령령으로 세부 종류를 추가 할 수 있다. 이러한 위험기반(Risk-based) 차별적 규제를 통해 인공지능 기술 활용한 서비스 개발 시 어떻게 영향(위험)을 판정하고 대처해야 할지에 대한 절차와 기준을 정의한다.

고영향 AI 정의에 금융서비스 영역이 명시되면서, 대출 심사, 보험 모집 등 개인 권리·의무에 중대한 영향을 미치는 영역이 고영향 AI에 포함될 가능성이 높아져 금융 감독기관 및 금융회사 모두 AI 거버넌스 및 조직를 구성하고 AI 서비스별 신뢰성 검증 프로세스 및 의사결정 체계 수립을 준비하고 있다.

국내 감독기관 대응

금융위원회는 기존의 「금융분야 AI 운영 가이드라인」, 「AI 개발·활용 안내서」 등을 통합하여 2025년 상반기 내 개정된 「금융분야 AI 가이드라인」을 발표할 예정이다. 2024년 발표한 망분리 완화 정책과 금융 보안 규제 완화 기조로 신기술을 활용한 디지털금융 성장을 지원 방향으로 정책 패러다임이 변화한 모습이지만 AI 서비스 위험에 대해서는 AI 의사결정 설명가능성과 고위험 거래 중심의 규율체계를 갖도록 요구하고 있어, 금융회사 자체 리스크 평가에 대한 부담은 여전히 모습이다.

금융보안원은 금융회사가 안전하게 AI를 활용 할 수 있도록, 2024년 AI 전담 조직인 ‘AI혁신실’을 신설하고, AI 보안성 검증체계와 이해도 지표¹⁾를 개발하였다. 2025년에는 ‘금융 AI 보안성 검증체계’을 활용하여 금융회사 AI 서비스에 대한 제3자 검증이 예정되어 있다. 그리고 2023년에 발표한 ‘금융분야 AI 보안 가이드라인’을 개정하여 향후 종합적인 AI Safety Framework²⁾로 확대할 계획이다.

1)금융보안 이해도 지표(FSKU: Financial Security Knowledge Understanding): 고품질 자료를 바탕으로 생성형 AI 모델의 답변 품질을 객관적/정량적으로 평가하는 약 1,000개 항목으로 구성

한국정보통신기술협회(TTA³⁾)는 인공지능 신뢰성 인증(CAT⁴⁾)을 수행하고 있다. 인공지능 신뢰성 인증(CAT) 항목은 ISO/IEC, UNESCO, IEEE, NIST 등 국제 기술문서, 국제 권고안, 국제 정책 및 백서를 기반으로 국가 인공지능 윤리 기준 10대 핵심요건 중 기술적으로 검증 가능한 4개 항목(다양성 존중, 책임성, 안전성, 투명성)에 대한 위험 기반 평가 기준 수립하고 있다.

국내 감독기관의 AI 기술의 빠른 확산에 대응하기 위해 조직 구성 및 가이드 제정 준비와 함께 금융회사도 이러한 정책 방향에 맞춰 AI 서비스 개발과정에 보안성과 윤리성, 신뢰성을 동시에 확보해야 한다.

국내 금융회사 대응

금융회사는 감독기관 가이드에 따라 AI거버넌스 수립의 일환으로 AI 활용 서비스를 위한 『AI업무규정』, 『AI윤리위원회운영지침』, 『AI위험관리 정책』 등 내부 규정을 준비하고 있다.

AI 모델 개발 프로세스(수집, 가공 및 분석, 모델 개발 배포 및 운영)에도 수립된 AI 거버넌스 정책이 반영되어 위험측정 및 모니터링 환경을 구축하고 있다. AI 모델 개발 Architecture 및 서비스 개발 프로세스에 주요 고려 사항은 아래와 같다.

1. 데이터 파이프라인(수집)

데이터 수집에 필요한 수집 자동화 파이프라인 및 통합 레파지토링 구성을 통한 데이터 일관성 유지, 활용성 증대 방안을 검토한다. 정형/비정형 데이터에 대한 통합 관리체계와 개인정보 데이터 등 민감정보에 대한 관리 기준을 정의한다.

2. AI 모델 개발을 위한 데이터 및 학습

AI 모델 개발과정의 설명가능성, 공정한 결과 및 편향성 배제에 대한 신뢰성을 검증하고, 보안 및 위험노출 방지를 위한 정량적/정성적 평가지표 수립에 따라 모델 검증을 수행한다. 학습 데이터 및 출처를 명확히 관리하여 데이터 신뢰성 및 품질이 보장되어야 한다.

3. AI 서비스 배포 및 운영

어플리케이션 시스템 연계 개발를 통한 AI 서비스에도 E2E 라이프 사이클 관리 및 모니터링을 통한 지속적인 위험검증을 수행해야 한다. 가드레인 기능을 제공하여 위험에 대한 사전 통제 환경을 구축한다.

마치며

AI 기본법 시행이 이제 1년(2026년 1월 시행)도 남지 않았다. 감독기관과 금융회사 모두 분주히 AI 안정성 확보를 위해 노력하고 있다. 하지만 AI 기술 난이도와 학습 데이터 확보는 쉽지 않는 숙제로 남아 있다. AI 위험을 최소화 하기 위해 금융감독원은 금융권의 공동 AI 플랫폼 구축을 지원하고 금융지주사 중심으로 그룹 공동 플랫폼 구축에 대한 논의도 활발하다. 학습 데이터 저장 및 수집의 어려움을 해결하기 위해 데이터를 공유하지 않고 AI 모델 공유를 통한 연합학습(Federated Learning)도 금융보안원 중심으로 테스트(PoC, Proof of Concept)하고 있다. 이러한 활동을 통해     AI 모델의 신뢰성과 정확성이 확보 되어 더 빠르게 금융산업 곳곳에서 AI 서비스가 제공될 것이다.

AI 기술과 제도가 하루가 다르게 발전하고 리포트를 작성하는 지금도 몇 달 뒤 본 리포트의 의미가 어떻게 될지 예측하기 어렵다. 내년 시행될 AI 기본법이 적용된 세상에 대한 기대감도 갖게 된다.  AI 기술과 규제, 서비스에 대한 동향을 지속적으로 확인하고 대응할 수 밖에 없다.