AI 서비스가 커질수록 중요해지는 추론 원가, Simplismart에 1,400만 달러 투자
날짜
Vacío
분류
투자/펀딩
작성자
에디터 L
AI 추론 소프트웨어 기업 Simplismart가 시리즈 B 투자를 발표했다. 모델을 실제 서비스로 운영할 때 발생하는 비용과 응답 속도를 함께 다루는 사업이다.
AI 기능을 시연하는 것과 고객에게 계속 제공하는 것은 다른 문제다. 한 번의 답변이 훌륭해도 이용자가 늘 때마다 비용이 감당하기 어려워지거나 응답이 지연되면 서비스 운영에 부담이 생긴다. 이번 투자는 모델을 개발하는 단계뿐 아니라, 만들어진 모델을 운영하는 단계에도 사업 기회가 있다는 사례로 볼 수 있다.
GPU를 소유하지 않고 운영 소프트웨어를 만든다
Simplismart는 10월 27일 공식 발표에서 Dallas Venture Capital이 주도한 1,400만 달러 규모의 시리즈 B 투자에 NVIDIA, Accel, Shastra VC, Micromax가 참여했다고 밝혔다. 발표일과 별도로 투자 계약이나 납입이 완료된 날짜는 공개하지 않았다.
회사가 만드는 것은 AI 모델을 실행하는 추론 엔진과 여러 작업·자원을 조정하는 오케스트레이션 소프트웨어다. 자체 GPU 설비를 보유하는 방식이 아니라 다른 사업자의 GPU 인프라 위에서 서비스를 운영할 수 있도록 하는 구조다. 투자금은 관련 기술, 클라우드 파트너십, 북미 사업 확대에 사용할 계획이라고 설명했다.
응답 속도와 비용은 함께 비교해야 한다
추론은 학습된 모델에 입력을 주고 결과를 얻는 과정이다. 서비스 사업자에게는 고객이 기능을 사용할 때마다 반복되는 운영 과정이기도 하다. 따라서 제품의 가격을 정할 때 모델의 성능만 보고 운영 비용을 뒤로 미루기는 어렵다.
실무에서는 같은 기능이라도 어떤 경험을 약속했는지 먼저 정해야 한다. 고객과 대화를 주고받는 기능은 답변을 기다리는 시간이 사용 경험에 직접 영향을 준다. 반면 정해진 시각까지 결과를 받으면 되는 내부 작업이라면 처리 속도와 비용을 다른 비중으로 비교할 수 있다. 이는 특정 업체의 성능 우열이 아니라, 제품 요구 사항에 따라 평가 기준이 달라진다는 뜻이다.
견적을 비교할 때도 호출 한 번의 가격만으로 결론을 내리기 어렵다. 오류 때문에 다시 실행한 요청, 사람이 결과를 수정하는 시간, 사용량이 몰릴 때의 대기까지 계산에 포함해야 실제 업무를 끝내는 데 드는 비용에 가까워진다. 저렴한 호출이 반드시 저렴한 업무 완료를 뜻하지는 않는다.
도입 판단은 실제 업무를 끝내는 비용으로
이번 발표만으로 Simplismart가 모든 서비스에 더 빠르거나 저렴하다고 판단할 수는 없다. 회사가 공개한 고객 사례와 성능 수치는 회사 측 설명이며, 서로 다른 모델과 업무를 동일한 조건에서 비교한 독립 검증으로 받아들여서는 안 된다.
스타트업이 공급업체를 검토한다면 자사에서 실제로 발생하는 요청을 기준으로 비교하는 편이 유용하다. 정상적인 요청뿐 아니라 긴 입력, 오류가 잦은 입력, 사용량이 몰리는 상황도 포함해야 한다. 평균 응답이 만족스러워도 일부 고객이 오래 기다린다면 별도로 원인을 살펴야 한다.
스타트업 생태계에 주는 시사점
모델 도입과 제품 운영은 한 번의 선택으로 끝나지 않는다. 어떤 업무를 자동화하고, 얼마의 비용으로 어느 수준의 응답을 제공할 것인지가 함께 정해져야 한다. 추론 인프라 투자를 바라볼 때에도 투자 금액을 기술 성능의 증명으로 읽기보다, 서비스 운영의 어떤 부담을 줄이려는 사업인지 살펴볼 필요가 있다.
초기팀에 필요한 첫 작업은 대규모 인프라 변경이 아닐 수 있다. 가장 많이 쓰이는 AI 기능 하나를 골라 요청 수, 성공적으로 끝난 업무 수, 재시도, 사람의 보정 시간을 함께 기록해 보자. 그 결과를 바탕으로 현재 방식의 개선과 외부 솔루션 도입을 비교하면, 비용 절감이라는 막연한 목표를 제품의 실제 판단 기준으로 바꿀 수 있다.