AI(Artificial Intelligence): 오퍼링 > 오픈소스 SW 서비스 > 오픈소스 오퍼링 > AI

AI(Artificial Intelligence)

Red Hat 및 Elastic 기반 AI 기술서비스를 제공합니다.

Why We Do

엔터프라이즈 환경에서의 AI 적용을 위한 라이프사이클을 지원하며, Hybrid Search 및 RAG/VectorDB를 위한 기술을 제공합니다.

협업과 확장성이 부족한 파편화된 MLOps 환경
모델 개발(Dev)과 운영(Ops) 과정에서 발생하는 비효율적인 사일로(Silo)와, 다양한 인프라 환경에서 모델을 학습시키고 배포하는 일관성 문제는 엔터프라이즈 AI 확산의 가장 큰 걸림돌입니다. Red Hat의 핵심 AI 플랫폼 기술은 모델 실험부터 배포, 거버넌스까지 아우르는 안정적이고 단일화된 MLOps 통합 환경을 제공하여 이 문제를 해결합니다.
보안 및 일관성이 취약한 하이브리드/엣지 추론 배포
AI 모델을 퍼블릭 클라우드뿐만 아니라 온프레미스 데이터센터, 나아가 보안이 핵심인 엣지 컴퓨팅 환경에까지 효율적으로 확장하는 것이 기술적 난제입니다. Red Hat의 OS 및 추론 서버 기술은 이러한 분산 환경에서 보안 무결성과 성능을 유지하면서 모델을 신속하게 서빙할 수 있는 기반을 마련해 줍니다.
RAG/Hybrid Search를 위한 솔루션 부재
대규모 데이터에서 정확한 지식을 검색하여 LLM에 제공(RAG)하는 것은 모델 답변의 정확도를 결정합니다. 하지만 대부분의 기업은 방대한 비정형 데이터를 실시간으로 수집, 인덱싱하고, 키워드와 의미를 결합한 Hybrid Search를 수행할 수 있는 솔루션이 부족합니다. Elastic Stack은 고도화된 검색 및 데이터 관리 기능을 통해 LLM 기반 서비스의 통합적인 검색 역량을 극대화합니다.

제품 소개

Red Hat AI 기반 플랫폼 제공 및 Elastic 기반 통합 환경 제공

서비스 내용

AI 모델 개발 및 운영을 위한 플랫폼 제공

– 온프레미스 및 퍼블릭 클라우드, 엣지 등 하이브리드 클라우드 환경에서 생성형 AI 모델의 라이프사이클(개발, 학습, 배포, 모니터링) 지원

– AI 라이브러리와 하드웨어 최적화 추론 기능을 포함하는 부팅 이미지와 InstructLab 및 소형 언어 모델을 지원하여 엔터프라이즈급 LLM 기반 환경 마련

고성능 및 비용 효율적인 모델 추론 최적화 지원

– vLLM 기반 추론 처리량 향상 및 LLM 압축기를 통한 운영 비용 절감 지원

– 주요 오픈소스 모델을 지원하며, 다양한 GPU, 하드웨어에서 모델을 최적화하여 실행

대규모 데이터의 실시간 검색 및 분석 지원

– 고객 요구에 맞춘 대규모 데이터 기반 Elastic Stack(Elasticsearch, Logstash, Kibana, Beats) 및 OpenSearch 구축/컨설팅 제공

– 하이브리드 서치 및 VectorDB 측면에서 사실상 표준(De facto) 솔루션으로 수평 확장 및 분산처리 아키텍처 기반 안정적 처리 지원

고객 사례

Hybrid Search와 RAG 기술로 분산된 지식을 AI 기반으로 통합하여,

업무 효율성을 높였습니다

– A 기업 IT 관계사

도전 과제
A 기업의 사내 핵심 지식인 기술 매뉴얼, 정책 문서, 보고서 등이 다수의 내부 업무 시스템에 사일로화되어 개별적으로 관리되었습니다. 이로 인해 직원들은 정보를 찾기 위해 여러 시스템을 일일이 검색해야 하는 극심한 비효율을 겪었으며, 기존 시스템의 단순 키워드 검색 방식으로는 복잡한 자연어 질의에 대한 통합적이고 정확한 답변을 얻을 수 없어 업무 생산성이 크게 저하되었습니다.

에스코어 서비스
Elasticsearch 플랫폼을 활용하여 사일로화된 모든 내부 지식 시스템의 데이터를 통합 수집하고, 다국어를 지원하는 고품질의 임베딩을 생성하여 VectorDB에 저장했습니다. 또한 Hybrid Search(키워드 및 벡터 검색)와 RRF를 적용하여 검색 정확도를 향상시켰습니다.
이 고도화된 검색 시스템을 LLM에 연결하는 RAG(검색 증강 생성) 기반의 통합 사내 지식 서비스를 구축함으로써, 직원이 한 번의 질의로 시스템을 통합하는 최적의 답변을 얻도록 지원했습니다.

A 기업은 Elastic Stack을 기반으로 시스템을 전환 구축함으로써 다음과 같은 가치를 얻게 되었습니다.

정량적 효과
– 오픈소스 제품을 활용하여 TCO 절감
– 사내 지식 검색품질 향상 및 업무 시간 단축

정성적 효과
– 사일로화된 지식을 통합 관점에서 활용할 수 있는 대규모 업무 시스템 구축