Advantage
通用高性能编程接口库
执行和存储模型简化数据切分和数据流操作
进行算子融合等高层图优化,并提供动态性支持
准确定位系统的软、硬件性能瓶颈,提高性能分析的效率
虚拟化实现计算、存储、网络的解耦
资源可灵活切分,实现最大化利用率从而降低成本
云燧集群通信库添加了RDMA peer-direct特性,节约了网卡成本且支持多租户隔离
在拓扑算法上进行了升级以更好地支持资源弹性分配
Architecture
Platform
基于算子泛化技术及图优化策略,支持主流深度学习框架下的各类模型训练;利用Horovod分布式训练框架与GCU-LARE互联技术相互配合,为超大规模集群高效运行提供解决方案。
开放升级的编程模型和可扩展的算子接口,为客户提供了自定义的开发能力。
自研AI推理框架TopsInference,提供了更轻量通用的推理图优化能力。支持众多推理模型,并在高吞吐量和低延迟上做了大量优化工作,能满足各种推理场景的需求。
可以提供Python、C++的API接口,大量内建的算子融合策略,模型量化和混精支持,以及多模型调度。