连年来，大模子工夫发展迅猛，成为鼓动东说念主工智能产业超越的重要力量。在此布景下，华为推出的昇腾大EP决策，为大模子的应用和发展提供了弘远的算力维持色妈妈成人，激刊行业平淡存眷。

据业内AI工夫领域从业者向记者先容，当下大模子发展呈现出“工夫摸高”和“工程翻新”两条光显旅途。一条是头部科技企业捏续探索工夫极限，对算力需求不停攀升；另外一条等于以DeepSeek为代表征战的工程翻新之路。

该工夫东说念主员暗意，“DeepSeek的大模子不仅模子性能额外，还战胜MIT契约开源，大幅裁汰业界部署门槛。通过翻新教练模式，愚弄基础模子生成高质料合成数据，聚拢极少行业数据就能教练模子，遏止了数据戒指。同期，裁汰了单个模子使用的算力门槛，将推理资源池的门槛降至百卡/千卡范围，何况开源模子，鼓动了统共这个词行业的普及。这使得大模子从极少大大家模式向大齐小大家模式演进，两种模式并存发展。在这个流程中，大界限跨节点大家并行（EP）成为趋势，它能减少每张卡权重加载时延和显存占用，提高单卡并行才气，已毕更大朦拢和更低时延，但也带来了负载平衡和卡间通讯等挑战 。”

巨乳porn

华为昇腾大EP推理决策恰是为布置这些挑战而生。该决策可通过交换机进行参数面互联色妈妈成人，基于现存组网架构进行软件升级，就能从之前的一体机平滑过渡而来，已毕了单卡性能提高3倍的极致朦拢。在提高性能的同期，推特 拳交它还裁汰了单卡显存占用，使单卡并发提高到3倍，灵验裁汰了客户部署老本，Decode（大模子逐词生成阶段）时延裁汰50%以上，权贵提高了用户体验。

据了解，昇腾大EP决策之是以能得回如斯出色的成果，收获于多项重要工夫。在MoE负载平衡方面，通过自动寻优、自动配比、自动瞻望、自动降解等工夫，已毕了备份节点和副本大家的纯真可推广、高可用和极致平衡，幸免了大家负载不均的问题。比如在践诺应用中，就像病院诊断时能自动为患者匹配最合乎的大家，保证每个大家的责任量合理分拨。

PD（Prefill和Decode）分歧部署工夫上，华为遏止了传统同节点部署筹办访存资源竞争的局限，以及业界静态分歧决策不够纯果真问题。其翻新的autoPD分歧部署决策，能自动感知负载变化，无需东说念主工介入即可自动伸缩P、D实例，聚拢多级缓存内存资源池化，使系统灵验朦拢提高50%以上。这就好比凭据不同期段的交通流量自动抨击说念路的使用形态，让资源得到更合理的愚弄。

双流/多维搀和并行工夫也为性能提高作念出遑急孝顺。在Prefill（预填充）阶段，通过拆分Batch已毕筹办和通讯相互隐敝；MoE expert大家双流并行愚弄Cube和Vector筹办单位，已毕两条Stream并行筹办；Weight预取双流并行则愚弄L2 Cache大容量，裁汰权重加载时辰，平均性能提高30%。

MLAPO会通算子工夫将MLA预处理阶段的小算子会通成单一算子，使Vector和Cube筹办并行处理，减少了资源支出，裁汰筹办耗时70%，让算力得到更高效的说明。

华为昇腾大EP决策在夸耀不同业业需求方面进展出色。无论是互联网、运营商、金融、政务，还是电力、教学、医疗等行业，齐能提供全面维持。关于互联网行业，濒临大界限用户并发拜访，该决策弘远的并发处理才气和低时延特质，简略确保处事踏实高效；在教学和医疗行业，天然用户界限相对较小，但对数据安全和秘密保护条目较高，昇腾大EP决策不错通过土产货部署的形态，夸耀这些行业的需求，同期保证数据安全。

从产业生态角度来看，华为凭借全自研的上风，简略快速安妥大模子工夫发展带来的新需求。其软件开源绽放，兼容主流框架，如PyTorch，同期领有我方的昇念念深度学习框架和MindIE推理引擎，也维持vLLM等业界框架，为用户提供了丰富的选拔，便于用户进行自主教练和翻新。此外，华为积极与广大伙伴互助，共同打造完善的贬责决策，鼓动统共这个词产业生态的蕃昌发展。

跟着大模子工夫在百行万企的长远应用色妈妈成人，对算力的需求将捏续增长。华为昇腾大EP决策凭借其额外的性能、翻新的工夫和完善的生态，有望在昔日的东说念主工智能算力市集会占据遑急地位，为鼓动东说念主工智能产业发展、加快大模子落地说明重要作用。（发布）