手机端侧大模型的参数规模正在进一步扩大。
10月13日，华尔街见闻获悉面壁智能正式发布新一代端侧多模态大模型MiniCPM-V 4.7，包括35B-A3B和1B两个版本。
其中，35B-A3B采用MoE（混合专家）架构，总参数量达到350亿，单次推理仅激活约30亿参数。
面壁智能称，这是首个能够在端侧无损流畅运行的开源MoE模型。在其公布的测试中，该模型仅需约3GB运行内存，便可在iPad Pro上实现每秒15个以上Token的解码速度。
股票杠杆配资软件此前，受限于手机的运行内存、计算能力和功耗，大模型在端侧部署面临较多限制。尤其是随着模型参数规模扩大，如何在有限的硬件资源下兼顾模型能力与运行速度，成为行业需要解决的问题。
MoE架构的应用为这一难题提供了新的思路。
与每次推理都需要调用全部参数的稠密模型相比，MoE模型内部包含多个不同的“专家”，每次推理只激活部分专家。这使得模型可以在保持较大总参数规模的同时，减少单次计算量。
元股证券:ygzq.hk但新的问题随之出现。虽然每次只激活部分参数，模型仍需要存储完整的专家权重。手机运行内存有限，无法将所有专家权重都放入内存，频繁从存储设备读取数据又容易造成推理卡顿。
针对这一问题，面壁智能的解法是LES（前瞻专家调度）技术。
面壁智能的核心思路是提前预测模型接下来需要调用哪些专家，在当前计算尚未结束时，就将下一阶段可能使用的专家权重提前加载，让数据读取与模型计算同步进行。
相比传统的按需加载方式，这一技术减少了等待专家权重加载的时间，同时保留模型原有的专家选择机制，避免因减少专家调用而影响模型能力。
根据面壁智能公布的技术资料，结合权重量化、存储布局优化等方案，LES可将端侧推理速度提升约5倍。
值得注意的是，约3GB指的是特定部署方案下的运行内存占用，并不意味着350亿参数的完整模型只需要3GB存储空间。
除了35B-A3B版本，此次面壁智能还推出了1B轻量级版本，进一步降低端侧部署门槛，面向更多硬件配置有限的设备。
生态适配方面，MiniCPM-V 4.7已支持iOS、安卓和鸿蒙系统，并适配瑞芯微、Intel、Apple等芯片平台。面壁智能还同步开放端侧适配代码，支持开发者基于开源推理框架进行部署。
截至目前，面壁智能联合OpenBMB开源社区推出的MiniCPM系列开源模型，全球累计下载量已突破6000万次，覆盖文本、视觉、语音等多个领域。
面壁智能此次的突破也反映出端侧大模型技术路线正在发生变化。
过去，受限于手机的硬件条件，行业更多围绕小参数模型进行压缩和优化。如今，随着MoE架构、低比特量化和专家调度等技术逐步成熟，数百亿参数模型开始尝试进入移动终端，手机本地AI的能力边界正在进一步拓宽。
不过从模型跑通到真正进入普通消费级手机仍有一段距离。如何控制持续推理带来的功耗和发热，如何适配不同价位的芯片平台，以及更大的模型能否带来足够明显的体验提升，都需要进一步验证。
随着模型和芯片技术持续演进，手机端侧大模型有望承载更复杂的多模态理解和智能体任务，进一步减少对云端的依赖。谁能率先让数百亿参数模型从技术演示走向日常应用股票配资平台资金托管安全吗，或将成为下一轮端侧AI竞争的重要看点。
风险提示及免责条款 市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。国内靠谱配资网提示：本文来自互联网，不代表本网站观点。
