湘潭网

11月6日，淘宝旗下MNN团队发布MNN-Pocket-0.3B，定位为手机应用原生大模型，兼顾任务能力、响应速度与持续运行体验。团队定下四个目标：指定配置下解码吞吐超过200token/s、峰值内存低于300MB、典型负载下100次推理耗能不超过电池总量的1%，以及能力上对标指定业务场景的8B级模型，兼顾中英文理解、数学与代码推理并强化指令遵循。模型约3亿参数，从零训练，重点支持中英文，结构、词表、训练数据与量化、推理引擎协同优化。

真机实测中，模型在苹果iPhone 18 Pro上通过MNN推理引擎完全离线运行，平均解码速度约350token/s。其INT4 MNN部署文件仅173MB。在iPad Pro M5、Metal后端、512token配置下，峰值Metal驻留内存较基线增加228MB；同条件下Qwen3-0.6B部署文件340MB、峰值内存增量427MB。相比之下，新模型部署体积减少约49%，峰值内存增量减少约47%。

iPad Pro M5/Metal、512token配置下，Prefill吞吐达8,721token/s，Decode吞吐466token/s，约为同条件Qwen3-0.6B（286token/s）的1.63倍；Snapdragon 8 Gen 5的CPU后端Decode为251token/s。团队在约50M至1.3B参数的稠密模型中选定约300M规模，最终采用28层结构并结合分组查询注意力（GQA）。

能耗方面，在一加13（骁龙8至尊版）上以CPU4线程、输入1024输出128负载测试4-bit模型，扣除闲置耗电后三轮平均增量能耗约2.7J/轮；按6000mAh电池计算，100次同等任务约占电池总电量0.3%。评测中，英文IFEval得73.20，中文IFEval-zh得74.59；11项评测平均50.00，高于同规模及MiniCPM4-0.5B、Qwen3-0.6B等更大对比模型。

开源方面，W4A16 QAT端侧部署版本在特定设备解码吞吐可达466token/s。