金融界2025年8月1日消息,国家知识产权局信息显示,华为技术有限公司申请一项名为“一种自注意力算子的计算方法、算子计算设备、系统以及芯片”的专利,公开号CN120409551A,申请日期为2024年01月。
专利摘要显示,本申请实施例公开了一种自注意力算子的计算方法、算子计算设备、系统以及芯片,用于将自注意力算子从推理设备卸载至算子计算设备,减少数据传输量,降低了对SSD传输带宽的需求,同时提高了推理的实时性。自注意力算子计算系统包括:所述推理设备,用于根据第一输出元素token计算得到所述多个解码器中第一解码器的第一增量KVcache,并将所述第一增量KVcache发送至所述算子计算设备;所述算子计算设备,用于根据所述第一解码器的全量KVcache和所述第一增量KVcache,执行所述第一解码器的第一自注意力算子的计算,得到第一计算结果,并将所述第一计算结果发送至所述推理设备,其中,所述第一解码器的全量KVcache是预先存储在所述算子计算设备中的。
天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4104113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了52家企业,参与招投标项目5000次,财产线索方面有商标信息5000条,专利信息5000条,此外企业还拥有行政许可1516个。


