기업 AI의 핵심은 모델이 아닌 '운영 계층'…기존 기업의 역습

기업용 인공지능(AI) 분야에서 주목받지 못한 채 조용히 경쟁의 판을 바꾸고 있는 요소가 있다. 공개적 논쟁은 여전히 GPT와 제미나이 같은 거대언어모델의 성능 비교와 벤치마크 점수에 집중되어 있지만, 실제 기업 환경에서는 다른 차원의 경쟁이 벌어지고 있다는 분석이다. 바로 인공지능이 적용되고 관리되며 개선되는 '운영 계층'을 누가 소유하느냐의 문제다. 이는 단순히 AI를 필요할 때마다 호출하는 서비스로 보는 접근과 AI를 조직 전체의 업무 흐름에 내장된 운영 시스템으로 보는 접근의 근본적인 차이를 만들어낸다.

OpenAI와 Anthropic 같은 모델 제공업체들이 제시하는 비즈니스 모델은 명확하다. 고객이 문제를 제시하면 API를 통해 답변을 받는 온디맨드 유틸리티 방식이다. 이렇게 제공되는 지능은 범용적이고 상태를 거의 유지하지 않으며, 실제 업무 결정이 이루어지는 일상의 워크플로우와는 느슨하게 연결되어 있다. 각 프롬프트마다 초기 상태로 리셋되는 구조라는 의미다. 이 방식은 확장성이 높지만 조직 내에서 축적되는 학습이 제한적이다. 반면 기존의 대형 기업들은 완전히 다른 접근을 할 수 있다. 워크플로우 전반에 걸친 계측, 인간의 의사결정으로부터의 피드백 루프, 그리고 개별 작업을 재사용 가능한 정책으로 전환하는 거버넌스를 통해 AI를 운영 계층으로 취급할 수 있다는 것이다.

이 운영 계층 방식에서는 모든 예외 상황, 수정, 승인이 학습의 기회가 된다. 조직의 업무가 증가할수록 플랫폼이 더 많은 신호를 흡수하고 지능이 개선되는 선순환 구조가 만들어진다. 기업 AI 시대를 주도할 조직은 지능을 운영 플랫폼에 직접 내장하고, 그 플랫폼이 사용 가능한 신호를 생성하도록 구조화할 수 있는 곳이 될 것이다. 현재의 통념은 민첩한 스타트업이 처음부터 AI를 중심으로 구축해 기존 기업을 압도할 것이라고 본다. 만약 AI가 주로 모델 문제라면 이 예측이 맞을 수 있다. 하지만 많은 기업 영역에서 AI는 통합, 권한 관리, 평가, 변화 관리 등 시스템 문제이며, 이미 대량의 고위험 업무 흐름 속에 자리 잡은 기업이 그 위치를 학습과 자동화로 전환할 수 있을 때 경쟁 우위가 축적된다는 분석이다.

기존의 서비스 조직들은 단순한 구조로 설계되어 있다. 인간이 소프트웨어를 사용해 전문 업무를 수행하는 방식이다. 운영자들이 시스템에 접속해 워크플로우를 따라 의사결정을 내리고 사건들을 처리한다. 기술은 매개체이고 인간의 판단이 최종 산출물이다. 그런데 AI 네이티브 플랫폼은 이를 역전시킨다. 문제를 수집한 후 축적된 도메인 지식을 적용해 높은 신뢰도로 자동 실행할 수 있는 부분은 자율적으로 처리하고, 시스템이 아직 확실히 판단하기 어려운 상황에서만 인간 전문가에게 특정 작업을 할당하는 구조다. 이러한 인간-AI 상호작용의 역전은 단순한 사용자 인터페이스 개선이 아니다. 이를 실현하려면 기초가 되는 원재료가 필요하다. 도메인 전문 지식, 행동 데이터, 그리고 수년에 걸쳐 축적된 운영 지식이 갖춰져야만 가능하다.

AI 네이티브 스타트업들은 깨끗한 구조로 빠르게 움직일 수 있다는 장점이 있다. 하지만 규모 있는 도메인 AI를 방어 가능하게 만드는 원재료를 쉽게 확보하기는 어렵다. 첫째는 독점적 운영 데이터, 둘째는 일상적 의사결정이 훈련 신호를 생성하는 대규모 도메인 전문가 집단, 셋째는 복잡한 업무가 실제로 어떻게 수행되는지에 대한 암묵적 지식의 축적이다. 서비스 기업들은 이 세 가지를 이미 모두 보유하고 있다. 다만 이런 요소들이 자동으로 경쟁 우위가 되는 것은 아니다. 기업이 혼란스러운 운영 과정을 체계적으로 AI가 활용 가능한 신호로 변환하고, 그 결과를 다시 워크플로우에 피드백해 시스템이 계속 개선되도록 할 때만 비로소 경쟁 우위가 된다. 대부분의 서비스 조직에서 전문 지식은 암묵적이고 소멸 위험이 있다. 최고의 운영자들은 명확히 표현하기 어려운 것들을 안다. 수년에 걸쳐 개발한 휴리스틱, 특수한 상황에 대한 직관, 의식적 추론 이하 수준에서 작동하는 패턴 인식 같은 것들이다. 기업들이 이런 암묵적 지식을 재사용 가능한 신호로 체계적으로 코드화할 수 있을 때, 운영 계층으로서의 AI는 진정한 경쟁 무기가 될 것이다.