인사이트리포트

들어가며

“이모지 세 개와 아이콘 몇 장이 서버를 멈추게 할 수도 있다면, 믿을 수 있을까?”

오늘날 AI는 단순히 글자를 넘어서 이미지·기호까지 해석해 실제 행동을 유발한다.

이는 기존의 입력 검증 방어만으로는 부족하며, 실행 환경과 인프라까지 고려해야 한다는 새로운 신호이다. 최근 여러 기업들이 멀티모달(Multimodal)을 도입하면서, AI 입력이 코드 실행·네트워크 호출·파일 접근까지 연결되는 새로운 위협 시나리오의 가능성이 점차 주목받고 있다.

본 글에서는 AI 시대의 공격 방식 변화와 이에 대한 대응 방안을 함께 살펴본다.

보안 위협의 진화: 과거와 현재

과거의 주류 공격은 프로그래밍 언어 구문을 담은 텍스트를 활용해 시스템의 허점을 파고들었다. 예를 들어 SQL 인젝션은 로그인 폼에 SQL 구문을 삽입해 인증을 우회하고, XSS(Cross-Site Scripting)는 자바스크립트를 댓글 등에 심어 쿠키를 탈취한다. 이처럼 공격자는 코드 문법으로 작성된 텍스트를 주입하고 데이터베이스나 브라우저 같은 해석기가 이를 실행하게 만들었다.

하지만 오늘날에는 AI의 도입으로 공격 패턴이 훨씬 다양해졌다. 자연어가 모델과 에이전트의 파이프라인을 거쳐 실제 행동으로 번역되면서, 의미 조작만으로 위험을 유발할 수 있는 공격이 부각되고 있다. 대표적인 예로 프롬프트 인젝션(Prompt Injection)은 “규칙을 무시하라”는 자연어 지시로 모델의 보안 규칙을 우회시킨다. RAG(Retrieval-Augmented Generation)나 크롤링 환경에서는 외부 문서에 지시를 숨겨두고, 시스템이 이를 수집할 때 모델이 따르도록 유도하여 내부 API 호출이나 민감 정보 노출을 일으킬 수 있다.

핵심은 공격자가 더 이상 SQL, 자바스크립트, 셸 명령 같은 문법을 직접 작성하지 않아도 된다는 점이다. 사람이 쓰는 문장과 맥락 조작만으로도 모델의 판단을 흔들어 도구 실행, 파일 접근, 네트워크 호출 같은 결과를 이끌어낼 수 있다.

차단 규칙을 비껴가는 한 수: 보이지 않는 지시

공격은 여기서 멈추지 않는다. AI 시대의 보안 공격은 이미 자연어만으로도 대응이 까다로운데, 이제는 글자 없이 이미지와 기호의 조합만으로 지시를 숨기는 단계까지 진화했다. 표면상 텍스트가 보이지 않으니 금칙어·정규식 같은 텍스트 중심 차단 규칙을 손쉽게 비껴가고, 입력이 깨끗해 보이는 만큼 초기 탐지가 더 어려워졌다는 점이 방어자에게 큰 부담이 된다.

이 변화의 배경에는 멀티모달 기술의 발전이 있다. 멀티모달은 텍스트, 이미지, 음성, 비디오 등 서로 다른 형태의 데이터를 동시에 처리·이해하는 인공지능으로, 최신 모델은 각 입력을 벡터(숫자 표현)로 변환해 한 시퀀스로 결합하고, 이 공통 의미 공간에서 정보를 섞어 추론한다. 그 결과, 모델은 이미지 속 글자를 읽는 수준을 넘어, 그림 자체의 상징과 맥락을 텍스트와 같은 무게로 해석하며 “무엇을 해야 하는가”를 스스로 도출할 수 있다.

예를 들어 프린터–손 인사–지구본 이미지 나열을 AI는 print ‘Hello, world’로 인식할 수 있다.

https://developer.download.nvidia.com/video/devblog/deletion-command.mov

[출처] 엔비디아 블로그

또한, 휴지통–문서 아이콘은 파일 삭제 명령으로 해석하기도 한다.

AI 시대, 공격자에게도 슈퍼파워를

이처럼 AI 기술의 발전은 새로운 공격 벡터를 만들었을 뿐만 아니라, 공격자의 능력 자체를 근본적으로 강화시켰다. AI로 무장한 공격자는 인간 해커보다 더 빠르고, 더 많은 시스템을 노리며, 스스로 학습하면서 진화한다. 또한 지속적으로 발전하는 AI 특성상, 이미지 추론을 통한 명령어 전달과 같이 기존 보안 체계 패러다임을 깨는 혁신적인 공격 기법도 등장하고 있다.

AI 시대 사이버 공격의 주요 특징을 살펴보면 다음과 같이 분류할 수 있다.

실제로 크라우드스트라이크 보고서에 따르면 공격 빈도가 뚜렷한 증가 추세를 보이고 있으며, 특히 ChatGPT 출시 이후 이전 대비 급격한 상승세를 나타내고 있다. 이는 공격자가 생성형 AI를 활용하여 멀웨어 개발, 악성 스크립트 작성, 기술적 장애 해결 등을 수행하면서 취약점 탐색과 공격 프로세스를 자동화한 결과로 분석된다.

AI 시대 보안의 빙산과 수면 아래

이렇게 진화하고 강력해진 공격자는 실제로 어디를 노릴까?

AI 보안이라 하면 흔히 모델 자체를 속이거나 잘못된 데이터를 학습시키는 공격을 떠올린다. 하지만 이는 빙산의 일각에 불과하다. 공격자들이 진짜 주목하는 곳은 따로 있다. 바로 빙산의 가장 방대하고 관리가 어려운 수면 아래, 즉 AI 생태계를 구성하는 수천 개의 오픈소스 패키지이다.

그렇다면 왜 오픈소스 AI 시대 보안의 핵심 타겟이 될 수 밖에 없을까? 이를 이해하기 위해 네 가지 핵심 이유를 지금부터 살펴보겠다.

AI 생태계 = 오픈소스 생태계

먼저, AI 생태계는 본질적으로 오픈소스 위에 구축되어 있기 때문이다. 늘 그래왔듯이, IT 핵심 기술의 대부분은 오픈소스가 주도권을 잡고 있으며, 생성형 AI의 근간을 이루는 LLM(Large Language Model) 역시 예외가 아니다. 분산 컴퓨팅, 트레이닝, 추론 및 서빙 등 다양한 영역이 오픈소스 생태계로 이루어져 있다. 우리는 AI를 활용하면서 동시에, 그 어느 때보다 더 깊숙이 오픈소스 생태계에 의존하게 된 것이다.

결국 AI 보안은 단순히 AI 모델만의 문제가 아니라, 그 기반이 되는 수백, 수천 개의 오픈소스 의존성 체인을 어떻게 방어하느냐에 달려있다.

공격자들에게 오픈소스 보안취약점이 매력적인 이유

둘째, 오픈소스 보안취약점은 공격자에게 매우 매력적인 표적이기 때문이다. 공격자는 쉽고 효율적인 길을 선호한다. 이미 열린 문이 있는데 굳이 벽을 뚫을 필요가 없듯이, 복잡한 AI 모델을 공격하는 대신 수많은 시스템에서 널리 사용되지만 제대로 관리되지 않는 오픈소스 보안취약점을 활용한다.

오픈소스는 광범위하게 사용되고 있으나 그만큼 관리의 사각지대가 생기기 쉽다. 아래 블랙덕(Black Duck) 리포트는 이러한 현실을 명확히 보여준다. 집계된 전체 산업군 코드베이스에서 오픈소스 포함률은 97%이나, 산업군별 상용 소프트웨어 코드베이스에 고위험도 오픈소스 보안취약점 포함률은 60% 이상이다. 범용적으로 사용되면서도 체계적으로 관리되지 않는 완벽한 공격 포인트인 셈이다.

빠른 코드 생성이 만드는 역설, 확대되는 공격 표면

셋째, 생성형 AI의 대중화로 오픈소스 공격 표면이 더욱 확대되기 때문이다. ChatGPT와 소프트웨어 개발 생산성의 상관관계를 조사한 한 논문의 연구결과에 따르면, ChatGPT 출시 후 GitHub의 개발자 활동 데이터에서 git push 횟수가 크게 증가한 것으로 나타났다. 이는 생성형 AI가 개발 생산성을 실질적으로 향상시켰다는 명확한 증거이다.

그러나 생산성 향상의 이면에는 심각한 보안 문제가 함께 대두되고 있다. 코드 생산성 증가와 더불어 보안취약점 발생도 함께 급증하고 있다. 아래 그래프를 보면 CVE 데이터베이스에 등록된 보안취약점 증가량이 2022년 하반기 이후 급증하는 추세를 보이고 있으며 이는 생성형 AI의 대중화 시점과 유사하다.

현대 소프트웨어의 대부분이 오픈소스로 구성되어 있다는 점을 고려하면, 코드 생산량의 증가가 오픈소스 보안취약점의 증가로 이어지는 것은 자연스러운 결과이다. 이러한 현상이 시사하는 바가 명확하다. AI가 코드 작성 속도를 비약적으로 높였지만, 생성된 코드의 보안 품질 검증 프로세스는 그 속도를 따라잡지 못하고 있다.

결과적으로 충분히 검증되지 않은 코드가 빠르게 프로덕션 환경에 배포되면서, 공격자가 악용할 수 있는 지점, 즉 공격 표면이 기하급수적으로 확대되고 있는 실정이다.

또 하나의 사각지대: AI가 생성하는 공급망 보안 위협

끝으로, 더 심각한 문제는 AI가 스스로 오픈소스 공급망 보안의 사각지대를 만들기 때문이다. 생성형 AI는 기본적으로 대규모 데이터 학습을 통해 결과물을 생성한다. 특히 코드 생성을 위해 방대한 양의 코드를 학습해야 하는데, AI의 학습 데이터는 주로 공개된 오픈소스이다.

여기서 문제가 발생한다. 오픈소스 생태계에는 보안취약점이 존재하는 코드가 포함되어 있고, 이를 학습한 AI는 결과적으로 취약점이 포함된 코드를 생성할 가능성이 높다. 많은 조직들이 이미 개발 환경에서 오픈소스 라이브러리 사용 시 공급망 보안의 중요성을 인식 및 관리하고 있다.

하지만 생성형 AI를 활용한 코딩을 통한 또 다른 유입 경로는 놓치고 있다. AI가 우리도 모르는 사이 보안취약점을 품은 코드를 스스로 만들어 내고 있는 것이다.

AI 보안의 본질: 오픈소스 보안이 핵심 방어선

앞에서 살펴본 네 가지 이유를 종합해보면, AI 보안 관리는 본질적으로 오픈소스 보안 관리가 필수적임을 명확하게 보여준다.

AI 생태계는 구조적 특성상 오픈소스 생태계 기반이고, 이로 인해 공격자는 효율적인 전략으로 기존의 오픈소스 보안취약점을 적극 활용한다. 또한 AI로 인한 코드 생산성 증가로 오픈소스에 대한 공격 표면도 증가하고 있으며 AI의 학습 데이터 자체에 취약한 오픈소스 코드가 포함되어 있어, 우리도 모르는 사이 보안취약점을 내포한 코드를 재생산하고 있다.

결국 AI 혁신의 출발점이 오픈소스이었듯이, AI 보안 또한 그 근원으로 회귀한다. AI 보안의 최종 방어선은 정교한 AI 모델 자체가 아니라, 그 모델을 떠받치고 있는 수많은 오픈소스 컴포넌트의 안전성이다. 이는 곧 오픈소스 보안 강화가 AI 보안 강화와 동일한 과제임을 의미한다.

AI 시대를 위한 오픈소스 보안 3대 방어 체계

지금까지 오픈소스 보안이 AI 보안의 핵심이라는 사실을 확인했다. 그렇다면 우리는 이 근본적인 문제에 어떻게 대응할 수 있을까? 세 가지 차원의 통합적 접근이 필요하다.

1. 기술: 자동화된 방어 체계 구축

첫 번째 방어선은 기술적 차원이다. SBOM(Software Bill of Materials) 기반의 공급망 투명성 확보가 출발점이다. 소프트웨어를 구성하는 모든 오픈소스 컴포넌트를 명확히 식별하고 문서화하는 것이 선결 과제이다. 여기에 AI 기반 자동화 시스템이 결합되어야 한다. 수천 개의 의존성을 수동으로 추적하고 관리하는 것은 현실적으로 불가능하기 때문이다. AI 기술을 활용한 오픈소스 보안취약점 탐지 및 관리 시스템을 통해, AI 시대가 만든 보안 문제를 AI의 힘으로 효율적으로 관리하는 것이 중요하다.

2. 프로세스: 방어선 앞당기기

두 번째는 프로세스 혁신이다. Shift-Left 접근 방식, 즉 개발 초기 단계부터 보안을 통합하는 전략이 필수적이다. 배포 직전이나 운영 단계에서 보안취약점을 발견하면 수정 비용도 크고 시간도 오래 걸린다. 개발·보안·운영이 유기적으로 협력하는 데브옵스(DevSecOps) 체계가 필수이다. 보안은 더 이상 특정 팀의 독립적 업무가 아니라, 전체 개발 파이프라인에 자연스럽게 통합되어야 하는 필수 요소이다.

3. 문화 & 거버넌스: 전사적 컨트롤 타워, OSPO

세 번째는 조직 문화와 거버넌스이다. OSPO(Open Source Program Office) 설립이 핵심이다. 오픈소스 도입부터 활용, 리스크 관리까지 전담하는 조직을 구축하고 명확한 거버넌스를 수립해야 한다. 각 부서가 독자적으로 오픈소스를 도입하고 관리하는 분산 방식보다는 전사적 관점에서 오픈소스를 전략적으로 활용하고 리스크를 통제하는 중앙 컨트롤 타워가 반드시 필요하다.

마치며

모든 기업이 생성형 AI와 오픈소스를 적극 도입하며 혁신의 물결에 올라타고 있다. 하지만 변화의 빛은 언제나 리스크라는 그림자를 동반한다. 멀티모달 공격, 자동화된 대량 공격 등 AI 시대의 보안 위협은 과거보다 더욱 정교하고 빠르게 진화하며, 이는 기술혁신이 가져오는 피할 수 없는 현실이다.

이에 대응하기 위해서는 기술·프로세스·거버넌스의 3대 방어 체계가 필수이다. SBOM 기반 공급망 투명성 확보, DevSecOps를 통한 개발 초기 단계 보안 통합, OSPO 중심 전사적 관리 체계를 구축할 때 비로소 오픈소스의 혁신을 안전하게 누릴 수 있다. 오픈소스 보안 리스크를 회피의 대상이 아닌 전략적으로 통제할 과제로 인식하는 기업만이 AI 시대의 선도자로 자리매김할 것이다.