“IT부터 고객서비스까지” 기업용 AI, 이미 도입했거나 도입 중

2025-07-31

“IT부터 고객서비스까지” 기업용 AI, 이미 도입했거나 도입 중

지난 2024년은 AI가 파일럿에서 생산 단계로 이동한 해라고 봐도 무방합니다. 2025년부터는 본격적으로 규모가 확대되는 양상을 보이고 있습니다. 

ROI를 확인한 수많은 기업이 활용처를 확대하고 있으며 기술 벤더들은 자사의 엔터프라이즈 소프트웨어 제품에 생성형 AI 기능을 추가하고 있고, AI 개발사들도 맹렬히 움직이는 중입니다.

리서치 결과에 따르면 기업들이 2024년 생성형 AI와 기타 신기술에 힘입어 대담한 실험을 추구했던 점을 언급하며, 2025년에는 가치 실현을 추구하는 전환이 나타날 것이라고 예상했습니다.


어떤 업무에 AI를 가장 많이 쓸까?

기업은 이렇게 도입한 AI 기술을 어떤 업무에 활용할까요? 조사 결과 개발, 보안 등 IT 업무(51.7%)와 고객 서비스(49.7%)라는 응답이 압도적입니다. 응답 기업의 절반이 두 업무를 꼽았습니다. 이어 불량과 오류 감지 등 품질 및 생산 관리(24.2%), 영업 및 마케팅(24.0%), 재무와 회계(11.7%), 공급망 관리(10.9%) 순이었습니다.

IT와 고객 서비스에 AI를 활용하려는 움직임은 다른 조사에서도 공통으로 확인할 수 있습니다. IDC가 아태지역 임원 900명을 대상으로 조사한 결과에 의하면, AI를 통합할 기술로 IT 운영, 사이버보안, 고객 지원 및 서비스를 꼽았습니다.

당근마켓: 사용자가 올린 상품 제목을 보고 AI가 카테고리를 자동 분류합니다

긱뉴스: 해커뉴스 등에 올라온 기술 아티클을 AI가 요약하고 번역해서 웹사이트에 게재합니다. 현재 인기글의 50% 이상이 AI가 요약한 글입니다

드롭박스: 회사의 용어 규정에 따라 모든 문서를 AI가 자동으로 교정합니다

카카오헬스케어: AI 기반 모바일 혈당 관리 솔루션 '파스타'에 구글의 제미나이 2.0 모델을 탑재했습니다

소규모 언어모델이 대세가 된 이유

2025년부터는 대규모언어모델(LLM)이 상품화되고, 기본 기능이 무료로 제공됨에 따라 AI 과금 모델이 붕괴하고, 분산형 AI 시대에 돌입하게 될 것으로 예상됩니다. 대신 각 산업의 영역에 따라 특정 범위를 전문화할 수 있는 소규모 언어모델(SLM)의 성장으로 이어져 각자 원하는 생성형 AI를 전략적으로 선택할 수 있는 시대가 시작될 것입니다.

업워크(Upwork)의 AI 및 ML 책임자인 앤드류 라비노비치는 "2025년을 내다보면 소규모 언어 모델(SLM) 중에서도 맞춤형 모델이 많은 기업에게 더 일반적인 솔루션이 될 것"이라고 예상했습니다. LLM은 큰 비용을 요구할 뿐 아니라 산업별 활용 사례에 적합하지 않을 수 있기 때문입니다.

한국IDC도 2026년까지 국내 기업용 LLM 유즈케이스의 90%는 비용, 성능, 배포 방식을 다양하게 선택할 수 있는 소규모언어모델(SLM) 훈련에 기반할 것이라고 전망했습니다.


기업용 AI 에이전트가 몰려온다

2025년의 가장 주목할 트렌드는 AI 에이전트의 본격 등장입니다. 2025년까지 국내 조직의 60%가 AI 비즈니스 가치를 더 빠르게 달성하도록 개별 코파일럿 기술 대신 특정 비즈니스 기능을 위해 개발된 기업용 에이전트를 활용할 것입니다.

국내 AI 에이전트 시장에서는 캐럿이 주목받고 있습니다. 260만 사용자가 선택한 콘텐츠 제작 AI 에이전트로, "홍보 영상 만들어줘"라는 간단한 요청만으로 기획-대본-이미지/영상-음악 생성까지 전 과정을 자율적으로 수행합니다. 이미 LG유플러스 같은 대기업들이 캐럿 AI를 도입해 광고 제작비를 95% 절감하는 등 기업용 시장에서도 그 효과를 입증하고 있습니다.


데이터 품질이 성패를 가른다

AI 도입 과정에서 기업들이 가장 큰 어려움으로 꼽는 것은 무엇일까요? 조사 결과 데이터 부족과 데이터 품질 문제가 52.9%로 1위입니다. 이어 숙련된 인력의 부족과 채용의 어려움(48.4%), 도입 이후 성과를 낼 수 있을지 불확실함(33.9%)이 뒤를 이었습니다.

흥미로운 점은 작년과 비교했을 때 인력 부족이라는 응답이 6.1%p 줄었다는 것입니다. 반면 필요로 하는 AI 기술과 솔루션을 찾기 어려움(33.0%), IT 인프라가 AI를 충분히 지원하지 못함(19.9%)이라는 응답은 각각 8.1%p, 7.0%p 늘었습니다.

RAG(검색 증강 생성) 기술이 주목받는 이유도 여기에 있습니다. 2028년까지 RAG의 60%가 생성형 AI 기능 및 제품에 내장되는 방식으로 구축되어 RAG 애플리케이션의 표준화가 확대될 것입니다. 기업 고유의 데이터와 LLM의 기능을 결합해 더 집중적이고 관련성 높은 결과를 제공할 수 있습니다.


국내 AI 기업들의 약진

글로벌 시장조사기관 CB인사이트는 '세계 100대 AI 기업'에 역대 가장 많은 4개의 한국 스타트업을 포함시키며 국내 AI 기업들의 위상을 증명했습니다. 포브스코리아의 '대한민국 AI 50' 선정에서도 다양한 분야의 혁신적인 기업들이 주목받았습니다.

대기업 중에서는 네이버가 자체 개발한 초거대 AI '하이퍼클로바X'를 기반으로 검색 서비스 '큐(CUE:)'를 고도화하고, 네이버웹툰, 커머스 등 자사 서비스 전반에 AI를 접목하며 AI 생태계를 구축하고 있습니다.

핀테크 분야에서는 에이젠글로벌이 자체 개발한 AI 금융 솔루션 '아바커스(ABACUS)'를 우리은행, 우리카드, 현대카드, NH농협생명 등 금융회사에 제공해 AI 의사결정을 지원해왔습니다. 이상거래 탐지, 디지털 전략, AI 여신심사, AML 등 금융의 핵심 업무에서 성과를 내고 있습니다.

성공적인 AI 도입을 위한 3가지 전략

구글 클라우드가 제시한 기업용 AI 성공 전략은 다음과 같습니다.

1. 역량 강화와 재교육 투자

2025년에는 AI를 능숙하게 사용할 줄 아는 인력이 필수적입니다. 직원들이 AI 시스템을 직접 사용하고, AI 기반 인사이트를 잘 해석하며, AI 도구를 효과적으로 활용할 수 있도록 교육을 시작해야 합니다.

2. 데이터 중심 문화 조성

AI를 제대로 활용하려면 데이터 기반이 잘 구축되어야 합니다. 조직이 강력한 데이터 수집, 관리, 분석 역량을 갖추는 것이 성공적인 AI 구현을 위한 토대가 될 것입니다.

3. 끊임없는 파일럿 테스트

완벽한 솔루션이 개발될 때까지 기다리기보다는 특정 영역에 AI를 도입하는 것부터 시작해야 합니다. 파일럿 프로젝트를 통해 기술의 잠재력을 이해하고, 도전과제를 파악하며, 내부 전문성을 구축할 수 있습니다.

기업용 AI는 이제 실험 단계를 넘어 실질적인 비즈니스 가치를 창출하는 도구로 자리잡고 있습니다. 하나의 AI로 모든 것을 해결하는 것이 아니라 산업별 맞춤형 솔루션이 표준이 될 전망입니다. 데이터 품질과 인력 역량을 바탕으로 점진적이고 전략적인 접근을 통해 AI를 도입하는 기업들이 2025년 시장에서 경쟁 우위를 확보할 것입니다.


이전글
이전글
다음글
다음글
목록보기