모레, 이기종 AI 가속기 하나처럼 활용하는 ‘토큰 팩토리 OS’ 제시
AI 인프라 전문 모레가 AI 데이터센터의 새로운 운영 패러다임으로 ‘토큰 팩토리’를 제시하고, 이를 구현하기 위한 ‘토큰 팩토리 OS’와 이기종 가속기 기반 분산 추론 기술을 소개했다. 이 기술은 다양한 가속기를 하나의 자원 풀처럼 활용해 토큰 생산 효율을 극대화하며, 엔비디아 H100과 AMD MI300X를 결합한 사례에서 처리량이 1.67배 향상된 것으로 나타났다.
(새 창에서 원문 열기)