
快科技11月21日讯息,据媒体报说念,华为本日讲求发布Flex:ai AI容器软件。该居品的中枢打破在于欺诈算力切分时候,可将单张GPU/NPU算力卡密致切分为多个虚构算力单位,最小粒度精确至10%。
这一改换使得单张算力卡大致同期承载多个AI责任负载,显耀教训硬件资源利用率。
同期,Flex:ai大致将集群内各揣摸节点的舒服XPU算力进行高效团员,酿成和谐的“分享算力池”,兑现算力资源的全局疗养与天真分派。
其中枢时候旨趣是一套深度交融软硬件的系统工程,笼罩从底层芯片到顶层疗养。通过改换性的软件时候深度挖掘硬件后劲,Flex:ai收效将GPU/NPU的典型利用率从30%-40%教训至70%,灵验践行了“以软件补硬件”的理念。
在硬件协同方面,Flex:ai深度整合华为自研的昇腾AI处理器,通过软硬件协同绸缪优化,兑现了最好的性能功耗比。
荒谬在大模子检会场景中,Flex:ai通过软件层面的改换,兑现了对包括英伟达GPU、昇腾NPU在内的多种异构算力资源的和谐管制与疗养,灵验措置了现时大模子检会濒临的算力恶果瓶颈问题。
据悉,Flex:ai将在发布后同步开源在魔擎社区中,以促进时候分享与生态发展。
ag九游会网站