
把 MiniCPM5-2B 跑进骁龙 NPU:AidLux 端侧大模型部署实录
之前一直觉得"端侧大模型"是个噱头——要么是 CPU 上硬扛,慢到没法用;要么是拿个 0.5B 的小模型意思一下。 这次在犀牛派 X1 上把MiniCPM5-2B跑通了,而且是实实在在跑在Hexagon NPU上:用高通的 QNN 2.48 后端,AidLux 官方的 AidGen SDK 做推理引擎。中文对话流畅,速度约 28 tokens/s,全程不联网。
技术干货 · 实战教程 · 项目经验

之前一直觉得"端侧大模型"是个噱头——要么是 CPU 上硬扛,慢到没法用;要么是拿个 0.5B 的小模型意思一下。 这次在犀牛派 X1 上把MiniCPM5-2B跑通了,而且是实实在在跑在Hexagon NPU上:用高通的 QNN 2.48 后端,AidLux 官方的 AidGen SDK 做推理引擎。中文对话流畅,速度约 28 tokens/s,全程不联网。

摄像头对着工位上半身。人在不在、是不是在静坐、坐姿好不好,都从同一组关键点来。静坐满 25 分钟,或者坐姿把 HP 扣光,进入一组 2 分钟的上半身动作。做完回到监测,这段久坐清零。

最近看到一个非常有意思的开源项目: MindPaw。 它是一只桌面级四足机器狗,原始项目使用 ESP8266 作为核心控制器,同时集成: 四足舵机运动;OLED 表情;语音命令;OV2640 摄像头;手势识别;大模型对话;PAD 情感状态;Web 遥控;多模态融合...