제품
캐릭터 채팅을 만들 때 밑에서 필요한 것들을 API 하나로 드려요.
서비스와 데이터는 고객사 것이고, 운영과 최적화는 저희가 챙겨요.
- 1주
- 연동까지
- −55%
- 토큰 원가 (실측)
- 27배
- 기억 압축
구조
서비스는 Immersive OS의 API를 부르고, OS는 LLMOps를 거쳐 그때그때 맞는 모델을 써요.
- 자체 서비스
- API 연동
- 외주 개발
- 화이트라벨 (ASP)
- 캐릭터
- 유저
- 세션
- 턴
- 계층 메모리오래된 대화도 층층이 요약해 기억해요
- 추천 답변유저가 고를 만한 다음 말을 띄워요
- 모더레이션위험한 말과 미성년자 보호를 챙겨요
- 음성과 영상글 말고 목소리와 화면으로도 이어요
- 세션 인지 캐시대화마다 반복되는 부분은 다시 사지 않아요
- Dynamic Allocator요청마다 싸고 안전한 모델로 보내요
- 품질 가드레일싼 모델로 내려도 되는지 먼저 판정해요
- 리플레이 시뮬레이터정책을 바꾸기 전에 지난 대화로 검증해요
- 안정성과 속도장애가 나면 다른 모델로 넘기고, 첫 글자를 빨리 띄워요
기능
실제 서비스에서 매일 돌아가는 기능들이에요. 따로 만들 필요 없이 바로 쓰시면 돼요.
사용자와 캐릭터마다 대화방을 만들고, 언제든 이어서 얘기할 수 있어요
주고받기, 스트리밍, 다시 만들기, 지우기, 지난 대화 보관까지 다 돼요
네트워크가 끊기거나 새로고침해도 대화가 끊기지 않아요
오래된 대화는 알아서 요약하고 줄여 둬요. 기억을 보고, 고치고, 지울 수도 있어요
페르소나, 바이블, 세계관, 로어북, 이미지를 한곳에서 관리하고, 프롬프트를 바꿨다가 되돌릴 수도 있어요
답이 올 때마다 유저가 고를 만한 다음 말을 같이 띄워 줘요
요청마다 맞는 모델을 고르고, 모델에 문제가 생기면 다른 쪽으로 돌려요
매번 똑같이 들어가는 프롬프트는 다시 쓰고, 원가가 정한 선을 넘지 않게 해요
위험한 말은 오가기 전에 걸러내고, 미성년자 보호 정책도 같이 지켜요
한 턴에 얼마가 드는지 보이고, 예산을 넘으면 멈출 수 있어요
모델
요청이 얼마나 어려운지, 어떤 캐릭터인지 보고 모델을 알아서 골라요. 품질은 지키고 원가는 아끼려고요.
원가 그대로 쓰고, 어려운 요청에만 더 좋은 모델을 써요.
캐릭터 대화에 맞춰 다듬은 모델이라, 같은 품질을 더 싸게 낼 수 있어요.
품질은 올리고 원가는 한 번 더 내리려고 저희가 직접 만들고 있어요.
고객사 서비스 데이터로만 배워서, 쓸수록 그 서비스에 꼭 맞아지는 모델이에요.
비용
같은 대화를 훨씬 적은 토큰으로 해요. 방법은 세 가지예요.
슬롯 평균 턴당 토큰이에요. 실서비스에서 잰 값이에요.
시스템 프롬프트나 캐릭터 바이블처럼 매 턴 똑같이 들어가는 내용은 한 번 사 두고 계속 써요.
지난 대화는 요약해서 넣어요. 몰입감은 그대로인데 토큰은 훨씬 적게 들어요.
요청이 얼마나 어려운지, 어떤 캐릭터인지 보고 모델을 바꿔 가며 써요. 품질은 그대로, 원가만 내려가요.
실서비스 채팅 호출과, 호출 하나하나의 원가를 따져 본 결과로 계산했어요. 중복은 걸러내고 토큰 수도 확인했어요. 환율은 1달러 1,500원으로 잡았고, 얼마나 아낄 수 있는지는 모델 구성과 쓰는 방식에 따라 달라져요.
사례
30만 MAU 플랫폼 플링의 플레이챗이 지금 이 엔진 위에서 돌아가고 있어요. 플링 × 플레이챗 보기
문의
하루 안에 연락드려요. 메일이 편하시면 [email protected]로 보내 주셔도 돼요.
