


近日,浪潮智慧科技基于自身在人工智能领域的技术积累,正式推出创智行业一体机,目前提供基础版、进阶版、旗舰版三种大模型支撑硬件配置方案,搭载浪潮创智智能体开发平台,大幅缩短大模型到业务场景转化周期,为交通、农业、水利等行业客户提供从底层算力到模型服务、智能体开发的大模型应用落地一体化解决方案。
一、创智行业一体机多重驱动,超高性能支撑
创智行业一体机以高性能算力、灵活架构、私有化部署为核心,整合高性能硬件与优化算法,提供高并发推理、低延迟响应、安全可靠的算力基础设施解决方案。
高性能计算能力
弹性计算引擎:构建按需弹性调度的统一计算引擎,支持流水线并行及张量并行,并兼容多种高性能算子后端。在自动化资源编排与算力复用机制加持下,显著提升模型训练吞吐,确保推理环节的低延迟与高稳定性。
推理速度:单用户场景下,推理速度可达75tokens/s;多用户并发场景下,支持超500路请求,保障模型高效响应大量请求。
灵活部署方案
多模架构:支持主流大模型混合部署,可根据业务场景灵活适配多种推理模式,实现资源动态调配与处理效率优化。
私有化交付:作为私有化交付方式,一体机为企业提供个性化本地部署方案,保障数据安全隐私,避免公有云服务的网络延迟和数据泄露风险。
强大扩展性与兼容性
硬件扩展:支持12个PCIe槽位、16个DDR5内存槽位等多种预留插槽,方便用户根据业务发展进行硬件升级扩展,满足后期计算存储扩容需求。
软件兼容:全面兼容浪潮创智智能体开发平台,支持TensorFlow、PyTorch等主流深度学习框架工具,为企业提供广阔技术选型空间,无缝对接现有AI开发流程应用生态。
二、搭载浪潮创智智能体开发平台,本地化开箱即用
创智行业一体机搭载创智智能体开发平台,全面兼容主流大模型、传统模型与向量模型,用户通过简单拖拉拽,即可分钟级创建智能体应用,小时级完成复杂系统耦合开发。平台还预置多款开箱即用的智能体,如“公文撰审”“合同审核”等。依托三大核心硬件加速技术,平台实现软硬深度融合,为企业智能化转型提供全流程技术支撑。
智能知识库软硬协同存储检索优化
创智行业一体机集成向量库、Embedding模型与高性能硬件,依托存储-计算融合架构,利用多核CPU与高速存储协同加速Embedding向量生成,降低30%功耗。向量数据在存储设备内直接计算相似度,减少70%传输开销。检索时,通过GPU张量加速实现百万级向量毫秒响应,结合硬件缓存,高并发场景下QPS提升300%,稳定支撑各行业领域知识库需求。
硬件协同加速提升大模型推理效能
平台集成vLLM 推理框架,构建软硬协同加速体系。借助PagedAttention算法实现内存动态管理,结合一体机多核CPU并行计算能力与2.4TB/s显存带宽,内存碎片率降低80%。通过硬件流水线并行技术将推理任务分解,在671B参数模型推理中,单路并发速率峰值可达75tokens/s,相较传统方案性能提升3倍。通过底层内核优化技术,模型加载阶段显存占用减少40%,保障高并发场景下推理稳定性。
资源动态虚拟化支撑多元模型推理
依托"创智组件矩阵库"行业集成组件资源,平台内置多个行业传统模型,用户可按需选配。基于资源动态虚拟化技术,可根据模型需求灵活分配显存、内存、CPU核数及存储资源。以显存分配为例,单张141GB显存GPU可按需划分资源,实现小模型推理2GB显存、10GB内存的精准供给,有效降低资源冗余。结合PCIe 5.0高速传输与NVMe SSD存储加速,通过存储资源动态分配算法,模型加载速度提升50%。硬件级资源切分技术实现CPU、GPU、内存等资源细粒度调度,多模型混合部署场景下资源利用率达95%。
本次浪潮智慧科技发布的创智行业一体机再次验证了浪潮智慧科技在人工智能领域的领先技术水平和卓越创新能力。未来,浪潮智慧科技将继续实现新提升、新跨越,为用户提供全方位、高品质的数智化服务。
(一审:王 珂 二审:康亚琼 三审:付金涛)
(一校:郭翌寒 二校:张 晗 三校:康亚琼)