linkwan 发表于 2025-7-25 15:16:48

智谱GLM4.5疑似即将发布，疑似采用新MoE架构

<p>https://github.com/modelscope/ms-swift/commit/a26c6a1369f42cfbd1affa6f92af2514ce1a29e7#diff-56be9fe963a760573f3e2166157222d00c193041a95076d5326b2b7f557a5bf2R341</p>
<p><img src="data/attachment/forum/202507/25/151615ybmo8miibfbm8z99.webp" alt="b0e6aba2599d86f64edc390e4b9323c4803488be.webp" title="b0e6aba2599d86f64edc390e4b9323c4803488be.webp" /><br />
<img src="data/attachment/forum/202507/25/151619szbgr4mthrb4bcra.webp" alt="044dac6608d4e38f4a920de630a4e3d9e823e7f3.webp" title="044dac6608d4e38f4a920de630a4e3d9e823e7f3.webp" /></p>
<p>从vllm的commit看出，疑似采用新MoE架构，使用MLA机制</p>
<p>https://github.com/vllm-project/vllm/commit/10eb24cc91315481414fba0e0134209e6a9d7c94<br />
<img src="data/attachment/forum/202507/25/151637wuwmauw4w3aq14uz.webp" alt="20a736b8248d5ec2ad9cc328eab2f5f712f00f76.webp" title="20a736b8248d5ec2ad9cc328eab2f5f712f00f76.webp" /></p>
<p>从该commit的其他代码来看，支持reasoning和tool_use</p>
<p>简单分析代码得出：</p>
<p>GLM-4.5 是基于混合专家（MoE）结构的多模态可扩展大模型，具备高吞吐推理、结构化工具调用、可解释推理追踪、分布式负载均衡等特性。</p>
<p>支持多专家分组、负载均衡、分布式推理和多 token 预测（MTP）推理。</p>
<p>添加了新的推理解析器和工具调用解析器，允许模型输出严格的 … 推理内容和 &lt;tool_call&gt;…&lt;/tool_call&gt; 工具调用内容，便于工具增强推理与函数调用。</p>
<p>文档显示 GLM-4.5 支持 T（文本）、I（图像）、E+（可扩展）、V+（视觉扩展），表明模型定位为多模态增强大模型。</p>

mahao 发表于 2025-7-25 15:17:40

吐槽一下上面那两个 commit, 这类参数不应该搞到某个配置文件或者数据文件里面吗, 竟然直接 hardcode 了

qinzusong 发表于 2025-7-25 15:17:49

期待一波

linkwan 发表于 2025-7-25 15:24:38

<p><img src="data/attachment/forum/202507/25/152434pvcuh4b0dfuafbah.webp" alt="16bc3731073effdbb607797b6560b18da4c3aae2.webp" title="16bc3731073effdbb607797b6560b18da4c3aae2.webp" /><br />
问题不大，应该是快了</p>
页: [1]
查看完整版本: 智谱GLM4.5疑似即将发布，疑似采用新MoE架构