淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s
Fonte: IT之家 ·
IT之家 11 月 6 日消息，淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型 ，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 速度上，在指定设备与上下文配置下， 解码吞吐超过 200token/s 。这一目标参考高速云端模型服务的生成吞吐，力求在本地提供流畅的生成体验。 内存上，在指定测试条件下， 峰值内存低于 300MB 。即使手机拥有 8～16GB 内存，也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例，将推理峰值控制在 300MB 以下，可以为上下文增长和集成开销保留余量。 功耗上，在典型推理负载（输入 512~1024token、输出 128token）下，单次推理增量能耗目标不超过参考手机电池能量的万分之一， 即 100 次推理耗能不超过电池能总量的 1% ，控制高频调用的续航开销。 能力上，以在指定业务场景上达到 8B 级模型的效果为目标，兼顾中英文理解、世界知识与数学、代码推理能力，重点强化指令遵循，并为长上下文与多步骤任务保留扩展空间。 MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型，将模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎纳入协同
Perguntas frequentes
O que é 淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s?
淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s is a artigo discovery curated from IT之家. IT之家 11 月 6 日消息，淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型 ，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 速度上，在指定设备与上下文配置下， 解码吞吐超过 200token/s
Como posso acessar ou experimentar?
You can experience this content directly on its original host (IT之家) by clicking the "Open Original" button.
De onde vem esse conteúdo?
Curated from IT之家 by the OnSuggest team to surface the most interesting and serendipitous content on the web.
Mais como este
Todas as descobertas em Tecnologia →回家做饭🥢
还在上学的时候，晚上放学回家，有时候爸妈都不在家，我自己就开始做饭了，前面文章说过我自己做饭做的最多的其实就是蛋炒饭，那时候一般中午做米饭的时候会多做一些，晚上可以做成炒饭，菜再随便热一热就可以了。从那时候开始，我就算是掌握了基本养活自己饿不死的本领了。其实做饭是一件挺麻烦
OpenWrt 扩容实战：NVMe 分区已经扩大，但 df 显示空间不变
《OpenWrt 扩容实战：NVMe 分区已经扩大，但 df 显示空间不变》## 一、问题背景最近升级 OpenWrt 后，发现系统根目录空间不足，只有约 122MB，已经接近 100% 使用率...
JS拖拽交互必用setPointerCapture方法
之前自定义拖拽行为的时候，我都是将move行为绑定在document上的，最近才知道，原来还有个setPointerCapture方法，直接绑定在触发元素上，不必担心快速移动时候目标对象的丢失。
[分享创造] 写了个火箭车小游戏练练手
写了个火箭车小游戏练练手 小程序备案确实比域名备案省心省事多了，加上最近工具类小程序对个人开放了虚拟支付、降低了流量主门槛，感觉会越来越多产品经理用业余的时间参与到创造的队伍，门槛太低了。。。 https://imgur.com/a/116mmnk.png
[分享创造] 做了一个锻炼组间计时小程序
每次锻炼的时候组间休息还要开个计时器，自己搞了个小程序，gpt 的风格有点浓，希望能帮助到有需要的人，有啥需求也可以评论区，偶尔更新，得看剩多少额度，小程序 搜 [锻炼吗]