【CNMO科技消息】Orchestro与FuriosaAI将围绕基于韩国国产NPU的人工智能基础设施展开商业化合作。按照双方规划，在完成真实客户验证之后，将把联合业务拓展到公共、金融和企业市场。
NPU
Orchestro集团21日宣布，已于18日在首尔江南区的FuriosaAI总部与FuriosaAI签署了关于NPU基础AI基础设施及平台技术与业务合作的谅解备忘录。双方自今年年初起便推进将FuriosaAI第二代NPU"RNGD"与Orchestro的AI基础设施软件相结合的技术合作，把FuriosaAI的NXT RNGD服务器部署到Orchestro的AI基础设施环境中，验证了兼容性与主要功能，并分阶段实现了让基于RNGD的大语言模型在真实服务环境中稳定部署、服务和运营的相关技术。
在此基础上，Orchestro将原本以图形处理器（GPU）为中心提供的AI推理运营平台"CONCERTO A.I."的支持范围扩展到RNGD。CONCERTO A.I.是一个集成支持AI模型部署与服务、计算资源管理、服务监控等功能的AI推理基础设施平台。双方表示，这一合作降低了客户直接搭建NPU基础大模型服务环境的负担，也为在NPU上构建和运营AI服务提供了条件。
双方还将加强同时使用GPU和NPU的异构AI基础设施运营技术。CONCERTO A.I.支持根据请求特征和加速器资源构建推理路径的智能路由，以及基于拓扑的调度功能，从而可以依据服务和负载特征灵活使用GPU与NPU等不同的AI加速器，未来还计划进一步完善覆盖模型、推理运行时和AI加速器的统一运营与监控技术。