727 Finance동차가 AI뉴스를 꺾고 프라임인텔렉트(Prime Intellect)가 오픈소스 모델추론 서비스 '프라임인퍼런스(Prime Inference)'를 출시했다.
사용자는 요청 시 모델을 직접 호출할 수 있습니다. 작업에 장기적으로 안정적인 작업이 필요한 경우 추론 컴퓨팅 성능의 일부를 미리 잠글 수도 있습니다. 인터페이스는 OpenAI API와 호환되며, 최초로 공개적으로 배포된 모델은 GLM-5.3입니다.
이 시스템은 이전에 Prime Intellect 내에서 사용되었습니다. 공식적으로는 강화 학습, 합성 데이터, 모델 평가 및 코딩 에이전트를 위해 매일 거의 1조 개의 토큰을 처리합니다. 프라임 인텔렉트(Prime Intellect)도 올해 1월부터 고객을 대상으로 대규모 배포를 진행해왔다.
Prime Inference는 Agent의 긴 컨텍스트 로드를 최적화하는 데 중점을 둡니다. 다양한 GPU에 신속한 워드 프로세싱 및 응답 생성을 분산시켜 테스트에서 p90 토큰 간 대기 시간을 거의 40% 줄였습니다. Prime Intellect는 KV 캐시도 압축합니다. 동일한 비디오 메모리에서 각 디코더가 캐시할 수 있는 토큰 수는 109만 개에서 163만 개로 약 50% 증가합니다.
Prime Intellect는 이전에 강화 학습, 평가, 샌드박싱과 같은 교육 인프라를 제공했습니다. 추론 서비스를 추가한 후에는 모델 훈련과 실제 배포를 동일한 플랫폼에 연결할 수 있으며, 실제 운영에서 생성된 데이터는 후속 훈련에 계속 사용할 수 있습니다.