인사이트리포트

AI(Artificial Intelligence, 인공지능)가 4차 산업혁명의 핵심 기술로 등극하면서 많은 기업이 전담 조직을 신설하는 등 역량 확보를 위해 노력하고 있다. 그 연장선에서 AI 기술이 데이터 분석 업무에 있어 혁신적 성과를 보장할 것이라고 기대하는 것은 당연한 일이다. 하지만 우수한 성과가 많을 것만 같은 AI의 실제 활용 사례를 면밀히 살펴보면 그다지 만족스럽지 않은 경우가 대부분이다. AI 기술이 갖는 우월함은 있지만, 특히 통계와 같이 전통적이고 학문적으로 탄탄한 분석 모델이 이미 적용되고 있는 영역에서 획기적인 AI 모델을 개발하는 것은 쉬운 일이 아니다. 그렇다 보니 AI 분석 모델을 도깨비 방망이쯤으로 생각했던 사람들이 그 가능성조차 폄하하는 경우도 종종 발생한다.

그렇다면 AI 분석 모델에 대한 오해의 실체는 무엇일까? AI 분석 모델이 비즈니스 성과를 보장하기 위해 본질적으로 가져야 하는 요소는 무엇일까? 세 가지 관점에서 사례와 함께 살펴보고자 한다.

[오해 1] AI 분석 모델은 구조 상 해 찾기 과정이 블랙박스여서 결과가 도출된 이유를 설명하기 어렵지만, 월등히 우수한 예측 결과를 보장한다면 설명력이 부족해도 활용할 수 있다.

[진실] 잘 만들어진 분석 모델은 예측 성능도 중요하지만 결과가 도출된 경위를 설명할 수 있어야 한다.

AI 분석 모델 도입을 고려하는 대부분의 기업은 AI가 사람보다 월등한 분석 결과를 보장하리라 기대한다. 하지만 그렇지 못한 경우도 있고 단계적 개선이 필요하여 모델 완성에 오랜 시간이 걸릴 수도 있다.(모델을 완성하는데 2년 이상 걸리는 경우도 있다!) 이와 같은 경우 AI 모델 도입은 어려운 것일까? 이는 분석 모델의 역할을 어떻게 정의하느냐에 따라 달라진다.

좋은 분석 모델은 의사결정 기준이 될 수 있어야 하고 비즈니스 관점에서 설명할 수 있는 결과를 제시해야 한다. 예측력은 상황에 따라 좋을 수도 나빠질 수도 있기 마련이다. 하지만 분석 결과가 도출된 이유를 설명할 수 있다면 합의 기준으로 활용할 수 있다. 예측력이 아무리 좋은 모델이라도 결과의 이유를 설명하지 못하면 실무자는 임원을 설득하기 어렵고 임원도 어떤 방향의 의사결정을 내려야 할 지 곤혹스러워 진다.

에스코어(S-Core)의 성공 사례는 물류 운임(항공·해상 컨테이너, 건화물선) 예측 모델이다. 화주와 물류사 간의 운임 협상은 각자 계약에 유리한 시황정보를 주장하며 수 차례에 걸친 줄다리기를 필요로 한다. 이 같은 상황에서 에스코어가 제시한 운임 예측 모델은 비교적 합리적인 합의 기반을 제공하였다. 운임을 결정하는 수요·공급의 변화와 경제 요인이 운임에 어떤 영향을 미쳤는지 설명할 수 있었기 때문이다.

B2B 사업을 하는 모 기업에 제공한 에스코어의 수요 예측 모델도 좋은 사례로 들 수 있다. 이 경우는 영업 담당자와 비교하여 월등한 예측력을 보여주었다기 보다 예측 모델의 구조(경제 요인, 공급 요인, 수요-공급 차에 의한 전략 요인)가 갖는 현실성과 수요 예측 결과를 설명할 수 있음으로 인해 적용 가능성을 인정받았다는 사실에 의미가 있다. 이 기업은 현재 AI 수요 예측 엔진이 영업 부서의 수요 예측 업무를 대체하는 것을 목표로 모델 개선 작업을 진행하고 있다.

만일 결과에 대한 설명을 원하는 누군가에게 “AI 모델이 왜 이런 결과를 만들었는지는 블랙박스에요”라고 답한다면 AI 분석 모델 도입은 어려워질 것이다. 설명 가능한 AI(Explainable AI)를 중요한 영역으로 연구하는 이유이기도 하다.

[오해 2] AI 기술이 좋은 데이터를 선별하여 탁월한 결과를 생성할 수 있으므로 많은 변수 데이터를 제공할수록 결과가 더 좋아진다.

[진실] 꼭 그렇지 않다. 좋은 분석 결과를 얻기 위해서는 변수 데이터의 양보다도 분석 모델이 비즈니스 행태를 적절히 반영하는지가 중요하다.

예측 모델을 만들 때 예측 대상을 목적 변수, 예측을 위해 활용되는 변수를 설명 인자라고 해보자. 상당 수의 사람들은 설명 인자가 많을수록 좋고 AI 모델이 그 많은 인자들 중에서 똑똑한 인자를 선별하여 양질의 결과를 도출할 것이라 믿는다. 하지만 설명 인자가 비즈니스 행태를 반영하지 못하면 좋은 성과를 기대하기 어렵다.

딥러닝 기반 수요 예측 모델을 개발할 때의 일이다. 예측 모델을 개발할 때 가장 먼저 하는 작업은 예측 대상(수요)의 변동이 왜 발생하는지에 대한 비즈니스 시나리오를 정의하고 이 시나리오를 설명할 수 있는 인자가 무엇인지를 선정하는 것이다. 총 7개의 인자를 선정하였는데 글로벌 경기, 판매 추이, 재고 현황, 경영 계획, 전략적 수요 조정 등 실제 수요 변화에 영향을 주는 인자들이었다. 하지만 고객은 본인들이 보유하고 있던 9개의 인자를 예측 모델에 반영하길 원했다. 이유는 그들이 평소에 성과 지표로 보고하던 익숙한 것들이고 AI 모델이 이들 중 좋은 인자를 선별하여 양질의 결과를 도출할 것이라는 막연한 기대감이 있었기 때문이었다. 문제는 이들 9개 인자에는 수요 변동에 영향을 주는 인자가 누락되어 있거나 수요 변동과 연관성이 높지 않은 인자들이 포함되어 있었다는 점이다. 결국 우리는 두 가지 경우를 모두 테스트 하여 비교해야만 했다. 결과는 어땠을까? 9개 인자로 개발한 모델의 예측력보다 비즈니스 시나리오 상 유의한 7개 인자로 개발한 모델의 예측력이 30% 이상 좋았다.

“가지고 계신 데이터가 무엇인가요? 가능한 많이 주시면 저희가 모델을 정의해 보겠습니다”라고 대응하는 데이터 사이언티스트는 신뢰도가 낮아진다. “데이터 이전에 비즈니스를 설명해주시겠어요? 데이터는 그에 맞게 다시 요청 드릴게요”라고 말하는 데이터 사이언티스트가 필요하다. AI 기술이 모든 것을 자동으로 고려해 줄 수는 없다는 사실을 명심해야 한다.

[오해 3] AI 모델에 필요한 데이터 통합이 이루어지면 다양한 업무 영역의 분석 요구를 쉽게 충족시켜 줄 것이다.

[진실] 데이터 통합만이 능사가 아니다. 통합된 데이터를 잘 활용하기 위해서는 협업 분석 조직과 성과 평가가 필요하다.

최근 상당 수 대기업이 데이터 통합을 차세대 혁신 과제로 선정했다. 과연 데이터 통합이 이들 기업의 분석 역량을 비약적으로 향상시켰을까? 데이터 통합은 작게는 수십억 원, 많게는 천억 원대의 투자를 수반하지만 대부분의 기업이 통합 이후 데이터 활용 과정에서 현실적인 어려움에 부딪히게 된다. IT 관점으로 통합을 하다 보니 정작 분석에 필요한 모든 데이터가 통합되지 않았거나 어렵게 통합한 데이터가 기대만큼 활용되지 못하는 상황에 놓이는 것이다. 그 이유는 분절된 조직 문화를 넘어선 분석 협업이 필요한데 이를 이끄는 실행 주체가 없기 때문이다. 우리가 경험한 대표적인 사례는 제조, 그리고 영업·마케팅 영역이다.

제조 부문은 수율과 품질 불량 그리고 설비 고장의 원인을 알아내어 생산성을 높이고 품질 비용을 최소화 하는 것이 중요하다. 이를 위해서는 단위 공정과 설비도 분석해야 하지만 많은 경우 공정과 설비간 연계 분석이나 제조 외의 공조와 유틸리티 같은 시설 요인을 포함하는 통합 분석이 필요하다. 일반적인 생산 조직은 설비 단위, 공정 단위로 분절되어 있기 때문에 연계·통합 분석이 필요한 경우 이를 리드할 상위 조직 체계가 필요하다. 하지만 현실적으로 분석을 위한 협업 체계를 구축하기란 쉽지 않으며 전사 AI 조직이 있다고 해도 현장 직원들과 밀착 협업하지 않으면 실효성 있는 분석 모델 개발이 어렵다. 결국 제한적인 분석 모델을 테스트 하다가 기대에 못 미치는 성과로 인해 흐지부지 종료되는 경우가 허다하다.

영업·마케팅 데이터 분석도 유사한 협업 이슈가 발생한다. 고객 반응, 가격, 경쟁 관계 등 매출에 영향을 미치는 요소는 매우 다양하다. 이들 데이터의 통합 분석이 필요하다는 사실은 알고 있으나 상품 기획, 마케팅, 영업 조직이 분절된 환경에서 일하다 보니 이를 위한 협업 추진은 미흡한 것이 일반적이다. 종합적 분석 모델이 만들어지지 않음으로 인해 가격탄력도 분석이 수요 변동을 제대로 나타내지 못하고, 마케팅 활동별 판매 영향도를 충분히 설명할 수 없으며, 소비자 반응 분석 결과가 다음 상품 기획에 충실히 반영되지 못하게 된다. 결국 영업·마케팅 데이터의 통합은 개선되었을지 모르지만 분석 모델은 AI 기술을 적용했다는 미디어 홍보 용도를 넘어서기 어렵게 되는 경우가 많다.

또 하나 공통적인 통합 이슈는 분석 성과 평가 체계가 미흡한 것이다. 협업을 위해서는 관련 부서 전문가, 데이터 사이언티스트, IT 및 혁신 조직이 포함된 태스크포스를 구성하고 일을 추진해야 한다. 그러나 업무에 대한 성과 평가 기준이 명확하지 않으면 분석 모델 개발에 적극적일 수 없게 된다. 결국 데이터 통합에 막대한 투자를 집행하고도 협업 분석 실행 체계가 갖추어지지 않아 기대했던 성과를 만들어 내지 못하게 된다. 전사적 분석 협업을 위한 하향식(Top-Down) 추진 및 성과 평가에 대한 현실적 고민이 없다면 성공적인 분석 모델 개발도 멀어질 수 밖에 없을 것이다.

AI 분석 모델의 성과, 결국 사람에 달려있다.

AI 기반 분석에 대해 가장 흔히 가지는 세 가지 오해를 설명하였다. 이러한 오해는 향후 AI 모델이 확실한 성과를 내기 위해 겪을 수 밖에 없는 중요한 시행착오라고 생각한다. AI 기술의 발전과 데이터 통합, 그리고 AI 전문 조직을 갖추는 것이 중요하나 이것이 성공을 보장하는 것은 아니다. AI 분석 모델 개발에서 가장 중요한 것은 AI 기술 자체라기 보다는 해당 영역의 비즈니스 이해여야 하고, 부문별 전문가들로 구성된 태스크포스와 C레벨 임원들의 강력한 지원이다.

결국 AI 적용의 성패를 좌우하는 것은 기술이 아니라 “사람”이다.