7月20日，AI 基础设施创业公司中科加禾正式发布了第一代异构原生 AI 算力工具——加禾异构原生 AI 算力工具。
中科加禾创始人兼 CEO 崔慧敏发布并介绍，「加禾异构原生 AI 算力工具」已经在国产算力的 AI 基础设施上发挥一定作用。它兼容多种国产 AI 芯片，为屏蔽芯片差异提供了高性能的统一接口。在异构原生平台的基础上，AI 算力集群在大模型推理上的时延可以降低 3-74 倍，吞吐率提升 1.4-2.1 倍，能效比提升 1.46 倍，可支持 340B 参数量的稠密大模型，以及 640B 的 MoE 大模型。
据了解，这套软件工具包含异构原生大模型推理引擎「SigInfer」、异构原生微调引擎「SigFT」以及算子自动生成、转译工具「SigTrans」三款产品。
其中， SigInfer 是一款跨平台、高性能的异构原生推理引擎，不但支持服务器级的 AI 加速卡，还支持消费级 GPU。因此，它既可以部署于数据中心，也可以为各种端侧设备实现加速。
作为异构计算的技术底座，通过 SigInfer 接入的不同 AI 算力，可以做到调用接口统一，平滑迁移业务应用。SigInfer 会在调用多种不同算力的同时进行多层次深度优化，充分挖掘芯片算力的潜能。
它具备现代大模型推理引擎所具备的各种特征，如支持 API Serving、请求调度、Batch 管理、KV Cache 优化、张量并行、流水线并行、专家并行、甚至多机流水并行等能力。
中科加禾表示，SigInfer 已经支持了业界大部分的大模型结构。目前，SigInfer 已经可以实现完备的推理引擎能力。其支持的异构加速卡集群可以灵活调度英伟达 AI 加速卡 + 国产 AI 加速卡进行混合推理，最高可扩展至万亿级的大模型。
来源：机器之心
