淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s
Source: IT之家 ·
IT之家 11 月 6 日消息，淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型 ，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 速度上，在指定设备与上下文配置下， 解码吞吐超过 200token/s 。这一目标参考高速云端模型服务的生成吞吐，力求在本地提供流畅的生成体验。 内存上，在指定测试条件下， 峰值内存低于 300MB 。即使手机拥有 8～16GB 内存，也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例，将推理峰值控制在 300MB 以下，可以为上下文增长和集成开销保留余量。 功耗上，在典型推理负载（输入 512~1024token、输出 128token）下，单次推理增量能耗目标不超过参考手机电池能量的万分之一， 即 100 次推理耗能不超过电池能总量的 1% ，控制高频调用的续航开销。 能力上，以在指定业务场景上达到 8B 级模型的效果为目标，兼顾中英文理解、世界知识与数学、代码推理能力，重点强化指令遵循，并为长上下文与多步骤任务保留扩展空间。 MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型，将模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎纳入协同
Foire aux questions
Qu'est-ce que 淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s ?
淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s is a article discovery curated from IT之家. IT之家 11 月 6 日消息，淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型 ，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 速度上，在指定设备与上下文配置下， 解码吞吐超过 200token/s
Comment puis-je y accéder ou l'essayer ?
You can experience this content directly on its original host (IT之家) by clicking the "Open Original" button.
D'où vient ce contenu ?
Curated from IT之家 by the OnSuggest team to surface the most interesting and serendipitous content on the web.
Dans le même esprit
Toutes les découvertes Technologie →回家做饭🥢
还在上学的时候，晚上放学回家，有时候爸妈都不在家，我自己就开始做饭了，前面文章说过我自己做饭做的最多的其实就是蛋炒饭，那时候一般中午做米饭的时候会多做一些，晚上可以做成炒饭，菜再随便热一热就可以了。从那时候开始，我就算是掌握了基本养活自己饿不死的本领了。其实做饭是一件挺麻烦
OpenWrt 扩容实战：NVMe 分区已经扩大，但 df 显示空间不变
《OpenWrt 扩容实战：NVMe 分区已经扩大，但 df 显示空间不变》## 一、问题背景最近升级 OpenWrt 后，发现系统根目录空间不足，只有约 122MB，已经接近 100% 使用率...
JS拖拽交互必用setPointerCapture方法
之前自定义拖拽行为的时候，我都是将move行为绑定在document上的，最近才知道，原来还有个setPointerCapture方法，直接绑定在触发元素上，不必担心快速移动时候目标对象的丢失。
[分享创造] 写了个火箭车小游戏练练手
写了个火箭车小游戏练练手 小程序备案确实比域名备案省心省事多了，加上最近工具类小程序对个人开放了虚拟支付、降低了流量主门槛，感觉会越来越多产品经理用业余的时间参与到创造的队伍，门槛太低了。。。 https://imgur.com/a/116mmnk.png
[分享创造] 做了一个锻炼组间计时小程序
每次锻炼的时候组间休息还要开个计时器，自己搞了个小程序，gpt 的风格有点浓，希望能帮助到有需要的人，有啥需求也可以评论区，偶尔更新，得看剩多少额度，小程序 搜 [锻炼吗]