穿越者必备:一台手机装下现代文明,在古代直接开挂

我们把 MiniCPM5-2B 塞进 zllm-app,在高通 NPU 上完全离线运行。带着一台手机穿越古代,种粮、制肥、酿酒、翻译、练兵、办工坊,现代文明从此随身携带。

穿越者手持本地大模型手机,用太阳能点亮古代农田、水车、粮仓和工坊

假如明天一睁眼,你穿越到了古代。

没有电网,没有互联网,没有搜索引擎,更没有云端大模型。你背不出《天工开物》,记不住怎么轮作,也分不清发酵失败和正常起泡。脑子里那些“我好像在短视频里看过”的现代知识,真到要用的时候,十有八九只剩一句:这东西到底怎么做来着?

别人穿越带打火机,你带一台装有 zllm-app 的手机。

手机里完整装着 MiniCPM5-2B。模型权重就是知识本身,不需要网络,不需要服务器,不需要提前准备问题清单。种粮、制肥、酿酒、翻译、建水车、办工坊、训练队伍,想到什么就问什么。

再带一块折叠太阳能板和一个充电宝:白天晒太阳,晚上召唤现代文明。

这不是穿越,是开管理员权限。

屏幕上先敲下一句穿越开局题,MiniCPM5-2B 当场把种粮、制肥、酿酒和队伍训练铺成路线图;紧接着再敲一句中文,英语、日语、韩语同时到手。飞行模式也拦不住,因为整个答案都从手机里长出来。

先把神器装进口袋

zllm-app 0.1 SM8635 预览版 APK(8.7 MB)

SHA-256:d3cbc48b928da4932cea37c4538dc0ed687336b1c4d5d93d18692b3f92d2cb5a

这是可直接安装的技术预览版。APK 不把 2B 模型硬塞进安装包:首次启动会自动从 Hugging Face 或魔搭择快下载约 2.6 GiB 核心模型,支持断点续传和 SHA-256 校验。模型就位后,断网也能继续对话。

当前机型限制

项目当前支持边界
已完整验证机型Motorola XT2451-4
SoC / NPUQualcomm SM8635(骁龙 8s Gen 3)/ HTP V73
内存12 GB 已验证;更低内存暂不支持
系统与 ABIAndroid 16、arm64-v8a 已验证
存储核心模型约 2.6 GiB,建议至少预留 4 GiB

当前模型包和 QNN context 图是针对 SM8635 / HTP V73 构建的。其他骁龙机型、其他 HTP 版本、联发科、三星或麒麟平台目前均不在支持范围内。神器已经出世,但这一版先只认这块 NPU。

现代文明,不在云端,就在模型权重里

大多数 AI App 离开网络就只剩一个输入框。zllm-app 不一样:MiniCPM5-2B 的权重、tokenizer、对话模板和推理引擎全部在手机本地。

你问一句,手机自己算;模型答一句,答案直接从本地生成。问题不用发给任何服务器,回答也不需要从千年后的互联网传回来。

文字 ───────────────────────┐
语音 → SenseVoice 本地识别 → MiniCPM5-2B
                    高通 HTP/NPU 推理
                    流式回答、自动保存

只要手机还能亮,知识就还在。

我们真的把它跑在了高通 NPU 上

“手机里跑大模型”最容易写成一句宣传语,真正做起来却是一场硬仗。

这次真机是一台 Motorola XT2451-4,搭载 SM8635、12 GB 内存和 HTP V73,运行 QAIRT 2.38。我们没有把模型扔给 CPU 慢慢磨,而是正面接入 Qualcomm QNN:动态加载 libQnnHtp.so,创建 backend、device、context 和执行图,把 MiniCPM5-2B 的核心计算送进手机 NPU。

最终,embedding、42 层 Transformer、final norm 和词表投影全部在 HTP 上跑通。SenseVoice-Small 的 encoder 和 CTC head 也进入 HTP:按住麦克风说话,手机先在本地把语音转成文字,再把问题交给 MiniCPM5-2B,答案一边生成一边显示。

中间踩过的坑足够写一本小册子:

  • 固定前缀的 activation outlier 把量化范围拉歪,42 层 K/V 误差一度完全不可接受;
  • QNN 在这套硬件和 SDK 上不能直接使用我们原本期待的 S32/F16/F32 输出路径,只能重新设计 S8 输入、S8 输出和 scale 还原;
  • 全 INT4 很快,却在长生成中跑偏;全 INT8 质量稳,却只有 8.97 tok/s;
  • DSpark 推测解码成功跑通,但 draft 接受率不够,5.723 tok/s 反而比普通 decode 更慢;
  • 每次重新加载 43 张图,光启动成本就要几秒,最后给 decode 和 ASR runner 加上常驻模式,让图只加载一次。

最终的 2B INT8 方案,长回答实测约 8.7–9.8 tok/s。常驻图复用后,App 内第二问从 14.1 秒降到 9.65 秒。长输入超过阈值时,再由 AR8 批量 prefill 接管;831-token 新会话从原来的 95–143 秒缩短到 36.9 秒。

这不是 PPT 里的“支持 NPU”,而是一部真实手机、一套真实 QNN 图、一条从输入框到流式回答的完整链路。

第一问:穿越第一周,怎么活下来?

别人刚穿越,先吟诗、认亲、找靠山。你打开 zllm-app,先解决真正重要的事:饮水、食物、住处、安全、当地气候和权力结构。

几秒之后,手机给出第一天、前三天和第一周行动表。

别人还在研究自己是哪朝哪代,你已经开始建立根据地。

第二问:怎么让粮食翻倍?

古代真正的硬通货不是金银,是粮食。

你不需要背下一整套农学教材,只要告诉 zllm-app:这里是什么气候,地里种什么,什么时候播种,叶子是什么颜色,去年收了多少。它会替你把问题拆开:选种、育苗、轮作、堆肥、排水、密植、除草、虫害、收割、晾晒、仓储。

第一年,你让农户留下对照田,记录每块地的播种量、肥料和收成。第二年,经验不再靠“老辈人说”,而是变成一张张能比较的账。哪种种子产量高,哪种堆肥有效,哪块地容易积水,全部有据可查。

别人靠天吃饭,你开始做农业实验。

当粮食稳定增长,你就不只是养活自己。你能养活工匠、商队、护卫和一座正在扩张的城。

第三问:没有化肥厂,怎么做肥料?

穿越者不可能第一天手搓一座化工厂,但你有模型,就知道技术树该从哪里点。

先从腐熟堆肥、绿肥、轮作、豆科固氮、草木灰和排水开始;再根据作物表现区分缺氮、缺磷、缺钾;每次只改一个变量,做小块对照,记录投入与产量。

最可怕的不是你会背某个配方,而是你知道怎样试验、怎样排错、怎样把偶然经验变成可复制的方法。

一个村学会,十个村照做;十个村做成,整片土地的产量都开始上涨。

这才是知识真正的威力。

第四问:粮食多了,怎么酿酒、制醋、保存食物?

农业有了余粮,发酵就是下一棵科技树。

温度、卫生、容器、时间、批次记录——zllm-app 会把看似玄学的“祖传手感”拆成流程。哪一批酒用了什么原料,什么时候入缸,什么时候起泡,什么时候出现异味,全部记下来。

稳定的酒能贸易,醋能调味和加工食物,发酵技术还能继续延伸到酱、腌菜和长期储藏。

别人家酿酒靠运气,你的工坊开始做质量管理。

第五问:语言不通?手机就是你的鸿胪寺

穿越不一定落在中原,也可能掉进商路、边城、港口,甚至一个完全听不懂当地话的地方。

这时候,翻译不是锦上添花,是保命技能。

MiniCPM5-2B 的真机质量回归已经覆盖翻译小样本;语音前端 SenseVoice-Small 支持中文、英文、日语、韩语和粤语,中文、英文、粤语都通过了手机端 HTP 转写门禁。你可以让对方对着手机说,再让 zllm-app 整理含义、翻译成自己的语言,还能把回信改写成更礼貌、更正式或更适合交易的版本。

别人遇到异族商队只能比手画脚,你能谈价格、问路线、读契约、写回信。

一台手机,就是翻译、书记官和外交顾问。

商路从此不再是地图上的线,而是你的情报网、贸易网和人才网。

第六问:古代怎么练出一支强军?

真正决定一支军队战斗力的,从来不只是武器。

zllm-app 给你的,是一整套组织系统:十人一组、逐级负责;统一口令、队列和集合时间;固定训练体能、负重、行军、警戒、救护和撤离;建立粮秣清点、装备登记、伤病记录和奖惩制度;每次行动结束必须复盘。

别人练兵靠将领当天心情,你开始使用标准训练表。

别人行军走散、粮草不明、命令传错,你的队伍知道谁负责谁、物资在哪里、出了问题向谁报告。平时能修堤、救火、护粮、搬运;战时令行禁止,不会一声锣响就乱成一团。

你带去的不是某一种神兵利器,而是现代组织学。

这东西比神兵更可怕。

一部手机,就是一棵完整的科技树

穿越者最容易犯的错误,是一上来就想造蒸汽机。

真正的发展顺序是:先解决水和粮食,再建立记录与度量;有稳定余粮后组织工匠;有工匠后改进农具、窑炉、水车和作坊;有剩余产能后再发展冶炼、机械、交通和教育。

你手里的资源下一步可以做什么
一块地、一些种子轮作、育苗、堆肥、对照田、储粮
粮食开始富余酿酒、制醋、食品加工、建立仓储
能接触不同语言的人翻译、贸易、外交、搜集技术
有木匠和铁匠改农具、做水车、统一零件尺寸
有稳定税粮养工匠、办学堂、建道路、训队伍
有成熟工坊发展冶炼、机械、印刷与规模生产

模型不是替你凭空造出机器,而是让你永远知道:目标是什么,原理是什么,缺什么条件,先做哪一步。

穿越者真正的外挂

一台手机,MiniCPM5-2B,zllm-app,高通 NPU,再加一块折叠太阳能板。

没有网络,照样问答;没有云端,照样生成;说一句话,SenseVoice 在本地识别;答到一半退出,会话和 KV 还能保存;换一个话题,可以另开一条完全独立的对话。

别人穿越,知识全靠脑子里那点模糊印象。

你穿越,口袋里装着一位不会睡觉的农学顾问、工艺顾问、翻译、历史老师、组织教官和技术总监。

从第一口干净的水,到第一亩高产田;从第一缸稳定的酒,到第一支令行禁止的队伍;从第一次跨语言交易,到一整套不断向前滚动的技术体系——所有问题,都可以从手机屏幕上的一句话开始。

这就是 zllm-app。

完全离线,把现代文明装进口袋。

真要挑剔,这件穿越神器还差最后一块拼图:TTS。等它能把答案直接念出来,手机里这位现代军师就不只能为你写策,还能当场开口。

不过也好。

神器,不可轻易示人。

这一声,就留给下一个版本。

← 回到所有文章