芯东西（公众号：aichip001）
作者 | 云鹏
编辑 | 漠影
大模型狂飙至今，比拼绝对参数规模早已成为过去时，如何让AI高效落地成为关键。
在AI落地浪潮中，Agent爆发成为关键节点，进一步让AI推理需求呈指数级暴涨。各类Agent开始高效处理复杂任务、编程Agent把过去整个团队一两年才能完成的复杂项目缩短至“天级”。
当AI终于可以转化为直接生产力，真正开始“帮你赚钱”，厂商关注的焦点也从“谁囤的卡多算力多”转变为“谁能做得多快好省”，算力行业焦点战场从训练加速转向推理。
面对复杂多元的AI推理场景，传统“大芯片”算力方案瓶颈凸显，行业迫切需要更加高效、灵活、低成本的算力解决方案，这成为整个国内算力产业面对的新机遇。
在技术摸索过程中，行业逐渐发现，在AI推理落地的诸多场景中，“小芯片”往往能比“大芯片”更能在实际应用中实现优秀表现。
在这样的行业“拐点时刻”，国产AI算力黑马企业芯动力科技在上海WAIC期间首次亮出其基于自研RPP（可重构并行处理器）架构芯片打造的全栈AI加速产品矩阵，横跨云边端场景，其突出特点是能把每10亿Token的推理成本压缩到行业最优水平，直指大模型落地核心痛点。
▲芯动力科技WAIC展台
我们看到，一颗“指甲盖大小”的AE7100E芯片，可以12片集成到一块加速卡中，这些加速卡还可以无缝集成至企业级服务器中，基于8卡高密度服务器能支持400B到1.6TB参数的LLM部署，其单卡超大显存成为突出优势之一。
▲基于RPP架构的AE7100E芯片
WAIC期间，芯动力科技接受芯东西独家专访，CEO李原首次对外详解了其自研单芯片覆盖云边端全场景技术路径和背后深入思考。
其自研芯片AE7100E正式扩展至云端，是芯动力的关键战略升级，也是AI推理浪潮中国产算力在云端的一次重要突破。
一、AI编程爆发+开源生态带来巨大机遇，分布式计算成为大模型推理时代必然方向
基于其自研的RPP架构，芯动力科技很早就在国内算力圈崭露头角；虽然RPP架构本身就有着原生灵活、兼顾通用与专用性的特点，但在当下这一行业节点入局云端市场，实则是基于其对AI推理市场发展的关键判断。
李原提到，从去年底开始，大模型在AI编程上取得了重大突破，其团队自身也在深度使用相关模型和工具。在他亲身尝试过程中，发现AI甚至可以在一天内搞定CPU编译器这样的“硬骨头”，以往需要专业团队几年时间完成的工作，被AI在数小时内攻克，这是极具颠覆性的。
并且这样的能力是可“技能化”的，同样的模式可以快速复制到不同具体工作中，相比于大模型问答或其他非必要场景，AI编程有极为明确的商业化目的，跟企业“钱袋子”紧密相关。
在芯动力看来，AI编程是大模型推理落地绝佳场景，这是一个明确的未来方向，行业都意识到了它的价值，这一定会成为一个所有人都要使用的刚需场景。
AI编程直接转化为生产力，以非常标准化的产品形式出现，变成每一家公司的核心生产力工具。
与此同时，芯动力深入调研发现：全球数据中心大模型调用中，有55%发生在开源模型市场，这无疑会带来巨大市场机会，因为这意味着：AI编程不再是少数巨头独占的游戏，而是人人都能参与的生态。
AI编程作为AI推理落地的核心场景，其需求的爆发无疑会带来巨大的云端算力新市场，这是算力产业所面对的新机遇，也成为芯动力在当下将其RPP芯片及解决方案扩展到云端的关键判断依据。
当然，看到趋势还不够，技术层面到底能不能做、能不能实现，还要有更准确的研判。入局一个新市场的成败，往往关乎一个企业的生死。
芯动力通过深度技术调研发现，目前超大模型（400B以上）占据了70%的市场份额，而没有任何单一芯片可以把这些超大语言模型“独自吃下”，行业利用分布式计算去解决问题已成必然。
团队研究时发现，在大模型推理的PD分离（Prefill-Decoding）阶段过程中，高算力芯片存在巨大资源浪费：在解码阶段，所需算力数据比为1:1，但英伟达计算卡提供的算力数据比约为1000:1。
这就好比“需要1个人就能完成的工作指派了1000个人来做”，在整个算力“流水线”上会形成大量算力闲置与浪费，这也客观推高了相关方案的最终实现成本。
在Token经济时代，面对激烈竞争，相比盲目追求昂贵的高容量HBM（高带宽内存），性价比才是最关键的决定性因素。
经过芯动力团队大量计算和研究，他们发现大模型推理真正需要的是三个核心要素：容量大、带宽足、成本低，相比HBM，成熟LPDDR技术实则表现不错，未来甚至会更好。
在这样的前提下，分布式思路可能是更加正确的方向，可以大幅降低成本，数据中心领域的发展已经证明了这一点，英伟达收购Groq，其底层技术原理就是用上百颗、上千颗芯片分布式地去跑一个大模型。
分布式计算之所以高效，是它把每一个硬件节点都变成了更专业化的应用，进行专业化分区，硬件效率就会大幅提升
值得一提的是，相比云巨头动用几百台服务器构建庞大集群，才在宏观上完成这种专用化分区，芯动力芯片体积小，在单个板卡可集成十多颗芯片，在单台服务器内就能实现极度精细的专用化分区，更灵活，这也是芯动力做分布式计算的差异化优势所在。
▲基于芯动力RPP架构芯片智能加速卡打造的机架服务器
在逐渐摸清底层技术逻辑后，分布式计算自然就成为芯动力全力攻克的方向，并且团队发现既有问题都可以被克服，他们可以基于RPP架构做出真正契合市场需求的产品。
从对市场趋势和需求变化的深度观察，到技术层面找到可行路径，AI推理时代，芯动力无疑找到了属于自己的关键机会所在，并探索出一条切实可行且潜力巨大的新路径。
二、多芯片协同SRAM优势凸显，RPP架构让芯片兼顾“通用”与“专用”，成熟工艺实现先进性能
明确路径可行且极有潜力和价值，那么接下来要做的就是解决技术层面的问题，实现方案的落地，并真正带来差异化优势，让“小芯片”展现出“大能力”。
全球芯片领域传奇架构师“硅仙人”、现任AI芯片公司Tenstorrent CEO吉姆·凯勒（Jim Keller）曾在近期接受采访时提到，AI推理中，不论芯片计算能力多强，对SRAM（片上缓存） 的需求都是极强的。
实际上，SRAM总量低是导致很多“大芯片”实际场景表现差的关键因素之一，而芯动力在设计之初，就为芯片规划了比较大的SRAM容量。
其单颗芯片的SRAM规模与英伟达H200相差并不多，但大量芯片组合、堆叠后系统SRAM总量大小，据称可达到H200的10 倍以上，这是极为可观的。
当大量芯片协同跑起来时，系统整体带宽、通讯带宽等都会呈现线性增长，这也证明，追求用最大、最顶级的单体芯片去实现大模型推理落地并不见得是唯一的最佳方案。
中型、小型芯片分布式协同并行解决问题时，对单颗芯片的带宽要求、通讯要求、制程要求以及容量要求都会随之降低。
当然，多芯片如何高效协同并非易事，但用李原的话来说，系统协同与通讯恰恰是芯动力老本行，他们是做通讯出身，因此目标也十分明确：“多芯片间的协同和通讯，芯动力一定要做到极致”。
在实际研究过程中芯动力发现，优秀的通讯并不意味着带宽越高越好，而是通讯的拓扑结构必须契合算法的网络架构，这是核心关键。
大模型网络架构是有序的，研发人员可以在网络拓扑上找到特定路径，让硬件网络结构完美地适配算法的数据通讯，这也是像Groq这类公司可以做好的底层技术原理，其分散的上千颗芯片适应了Transformer的网络流向。
在实现多芯片分布式协同计算的过程中，芯动力自研的RPP架构发挥了至关重要的作用，很好地解决了专用与通用特性的兼顾。
具体来看，RPP芯片在系统不同的位置、不同节点，起到的作用不一样，有一定的“专用化”特征，但要让一颗芯片在物理上做到如此专用实际上是很困难的。
芯动力采取的方法是利用RPP的可重构特性，在软件层面进行动态调整，使得硬件在处理每一件具体任务时，都能激发出不亚于专用芯片的性能——无论在什么时间、什么位置，都能把芯片性能发挥到最大，这就是可重构架构在性能上的最优解。
要知道，当前AI模型变化很快，如果能在相对通用的计算能力基础上，通过调整软件来适应可变化、可重构的计算本身，是非常关键且极具价值的。
生态兼容性方面RPP架构也能帮客户省去后顾之忧，其独特之处在于直接构建在CUDA语言生态系统之上，能直接用CUDA编译运行程序，使其既有专用芯片（TPU）的高能效、低功耗，又避开了专用芯片缺乏生态的短板。
芯动力认为，如果想让一颗芯片同时具备极强的兼容性、极高的灵活性，并且拥有降维打击般的性价比，统一算力架构就是实现这一目标的必由之路。而RPP架构正完美兼顾了这些特点。芯动力会坚持做“可编程、可重构”芯片，AI推理市场技术迭代迅速，通用和可编程的并行计算能力依然占据绝对重要地位。
值得一提的是，如此“多面手”、表现胜过一些顶级“大芯片”的全能GPU芯片，其可以直接基于成熟的14nm工艺实现，这极大提升了其供应的稳定性和产能上限，并进一步扩大了其性价比优势。
在芯动力看来，从纯粹的商业成本和晶体管性价比来评估，最高的工艺制程往往并不是成本最优、成效最好的。作为一家芯片设计公司（Fabless），正确的路径是选择最适合当前商业闭环和应用场景的成熟工艺。
关于下一代芯片，芯动力透露，已充分验证分布式计算巨大优势，会沿着这条路线继续深化，“会把之前受限、没能完全做透的地方彻底推过去”，下一代产品预计在性价比和核心性能上实现4倍左右的巨大提升。
三、从医疗到消费电子，商业化落地提速，死磕并行计算把细节做到极致
一系列技术细节的攻克和优化，最终让芯动力自研芯有了拓展至云端并实现差异化优势的底气。在商业化落地层面，芯动力也透露了不少新进展，基于AE7100E的边、云解决方案，其在全场景落地的价值和潜力进一步凸显。
在WAIC展会现场，我们看到基于RPP R8 GPU的解决方案已经覆盖了智慧城市、机器视觉、AI PC/NAS以及生命科学等前沿领域。
其中极具代表性的就是芯动力通过一块集成了12颗AE7100E芯片的板卡，与一家美国客户深度合作，实现了医疗基因测序的方案落地，最终方案的实际表现已经超过了使用英伟达5nm芯片的同类产品，这一方案中的芯片使用的正是成熟的14nm工艺。
▲在医疗基因测序领域完成落地的AzureBlade MC2A智能加速卡
在交流中我们了解到，在这一医疗基因测序方案的落地过程中他们发现，这一领域实则数据流非常明确，不需要复杂全局网络交换，在这样高度并行的结构下，“小芯片”分布式架构是最优的。
而如果面对更复杂的结构——比如大模型这种芯片之间不能简单分开、存在大量数据交换和强烈数据依赖性的场景，是否也能做到？调研和实践证明，答案依然是肯定的。
团队研究发现，只要仔细研究并抓住其有序、有规律的数据流向，分布式架构同样能够完美胜任。只要能把数据的并行切分好，让它在每一颗芯片上高效完成，分布式就是最优解。
在挑战更高的AI PC/NAS应用场景中，芯动力已经与全球PC领域头部厂商联想实现了深度合作，基于芯动力AE7100E打造的M.2形态产品成功应用于其AI PC产品，这背后的故事令人印象深刻。
▲应用于AI PC/NAS领域基于AE7100E芯片的M.2规格智能加速卡
芯动力提到，像联想这样的国际化大厂是非常严谨的，其在全世界范围内密集筛选，测试所有能够找到的芯片公司方案，前后一共测试了80家左右的芯片厂商，在经历极其严苛的筛选后，芯动力成为了最终唯一的芯片量产供应商。
很多人都喜欢问一个问题，就是一家公司的核心“技术壁垒”是什么，而在李原看来，尤其在芯片设计这一领域，建立技术壁垒绝非易事，它或许并不是某一个单点的突破，而是体现在每一个近乎苛刻的细节里。
就以这次通过测试为例，有些竞品可能在某些方面也能达到标准，但无法在每个环节中都达到最好。用李原的话来说，“前期没有长期的技术预备和积累，当世界级大厂的战略机会来临时，你是根本接不住的。”
李原特别提到了苹果公司，在他看来，在芯片设计领域，可能有些人也能做到单点，但苹果每一个微小的细节都做到了极致，这是最终其芯片能够每年在数亿设备中落地并稳定运行、带来独特优势体验的关键。
而芯动力的特点，正是同样的死磕极高工程细致度。
面对未来，李原给公司的核心定位，就是在并行计算领域做到最好，团队坚信这是继CPU之后，人类整个信息产业演进中面临的最大、最核心的市场。
如今AI正在进一步分化出千姿百态的细分推理场景，很多公司都在努力通过小芯片的思路来应对各种大模型推理需求，这是一个极具想象力的时代趋势，蕴含着无数的机会。
“其决胜关键在于谁能抓得住，能把每一个细节都做到位，在真实的商业场景中脱颖而出。符合浪潮，顺应趋势，才能真正做大。”李原说道。
结语：AI推理落地浪潮澎湃，深耕并行计算给行业提供新解
从在全球80家芯片厂商中脱颖而出跻身联想AI PC唯一AI芯片供应商，到基因测序领域用成熟工艺自研芯片板卡打赢巨头高算力方案，芯动力用一系列扎实商业成果落地，验证了其RPP架构的独特优势和突出商业价值。
放眼AI算力产业，开源生态加速生长，以AI编程为代表的大模型推理应用加速成熟，效率、成本成为业内更为关注的焦点，谁能够在竞争中提供更具性价比的方案，成为胜出关键。
在并行计算这一潜力巨大的方向之上，以珠海芯动力RPP为代表的分布式算力技术路线，正展现出旺盛生命力，此次向云端的扩展，不仅是其自身战略版图的进一步完善，也给国产算力芯片在AI推理市场中突围提供了新的方向和思考角度。