把 MiniCPM5-2B 跑进骁龙 NPU：AidLux 端侧大模型部署实录
之前一直觉得"端侧大模型"是个噱头——要么是 CPU 上硬扛，慢到没法用；要么是拿个 0.5B 的小模型意思一下。 这次在犀牛派 X1 上把MiniCPM5-2B跑通了，而且是实实在在跑在Hexagon NPU上：用高通的 QNN 2.48 后端，AidLux 官方的 AidGen SDK 做推理引擎。中文对话流畅，速度约 28 tokens/s，全程不联网。
高通开发者共创菁英社
每一个改变世界的应用，都始于不肯停歇的想法；；从文章、代码、Demo 到产品，每一次技术落地的尝试都值得被托举；；高通开发者共创菁英社，面向机器人、端侧 AI 与智能终端开发者；；汇聚技术同路人，打造集技术、资源、舞台、伙伴于一体的成长网络，全链路赋能创意落地。
让探索不孤单，让好创意走向更大舞台。
加入我们，并肩同行，以热爱铸作品，向未来共赴。
高通开发者精选
技术干货 · 实战教程 · 项目经验
没有清闲座椅怎么办？在犀牛派 X1 上做一个工位 AI 教练：姿态识别、久坐监测与体感交互
摄像头对着工位上半身。人在不在、是不是在静坐、坐姿好不好，都从同一组关键点来。静坐满 25 分钟，或者坐姿把 HP 扣光，进入一组 2 分钟的上半身动作。做完回到监测，这段久坐清零。
瑞莎Q6A实战：把开源 MindPaw 改造成端侧 AI 情感机器狗
最近看到一个非常有意思的开源项目： MindPaw。 它是一只桌面级四足机器狗，原始项目使用 ESP8266 作为核心控制器，同时集成： 四足舵机运动；OLED 表情；语音命令；OV2640 摄像头；手势识别；大模型对话；PAD 情感状态；Web 遥控；多模态融合...
QAI AppBuilder - 用AI开发端侧AI应用(3): 从模型转换到猜拳游戏实战
本文是 QAI AppBuilder 3.0 系列文章的第三篇，也是本系列的最后一篇。前两篇分别介绍了 QAI AppBuilder 3.0 在 Windows/Linux 平台上的环境准备、安装配置、示例运行，以及如何在板端使用 Model Builder 完成模型转换与部署前验证；本文将在此基础上继续向前推进，重点展示如何把“转换好的模型”真正集成到一个可运行、可交互的端侧 AI 应用中。
Rhino Pi-X1 打造本地离线语音助手：SenseVoiceSmall + Qwen3-8B 端侧组合实战
继《AidVoice SDK + SenseVoiceSmall 语音识别部署》与《AidGenSE 部署 Qwen3-8B》之后，这篇我们把两者组合成一个 完全本地推理的语音助手： 语音输入 → 语音识别（ASR）→ 大模型（LLM）→ 文字回复。 全程数据不出设备，无网络依赖。文中所有数据均为真机实测。
Arduino UNO Q 实战：温湿度检测 + 自动穿衣提醒 Demo
拿到 Arduino UNO Q 之后，如果只是写一个 Blink，多少有点浪费这块板子的“双脑架构”。这次尝试做一个比较生活化的小 Demo： 实时检测环境温度、湿度，并根据当前环境自动给出穿衣建议。 例如环境为： 温度：16.8℃ 湿度：82.4% 环境状态：偏凉 穿衣建议：建议长袖 + 薄外套；当前湿度较高，体感可能偏湿冷，可适当增加一层。
高通开发者集结
和 TA 们一起 跃上新高度
张子豪
知名科技UP主@同济子豪兄
深耕人工智能、机器人等领域科普教育工作
赵虚左
《ros理论与实践》、《ros2理论与实践》作者
智元创新特邀技术专家
李鹏鹏
Coffee&XR 创始人
Unity XR 产品技术负责人
专注于打造软硬件融合更沉浸式的 XR 体验
李江浩
协同进化创始人
ROS资深布道师
李伟斌
资深硬件创客
漂移驴车社区创始人之一
《树莓派4与人工智能实战项目》作者
张志杰
上海灵龟机器人有限公司创始人
ROS小课堂微信公众号发起者
江大白
安生智联联合创始人
AI领域技术自媒体@江大白 博主
深耕工业AI与安全生产领域
赵源麒
深耕机器人操作系统与边缘智能开发
活跃于技术社区 积极推动开源项目落地
专注于机器人开发者生态建设
张子豪
知名科技UP主@同济子豪兄
深耕人工智能、机器人等领域科普教育工作
赵虚左
《ros理论与实践》、《ros2理论与实践》作者
智元创新特邀技术专家
李鹏鹏
Coffee&XR 创始人
Unity XR 产品技术负责人
专注于打造软硬件融合更沉浸式的 XR 体验
李江浩
协同进化创始人
ROS资深布道师
李伟斌
资深硬件创客
漂移驴车社区创始人之一
《树莓派4与人工智能实战项目》作者
张志杰
上海灵龟机器人有限公司创始人
ROS小课堂微信公众号发起者
江大白
安生智联联合创始人
AI领域技术自媒体@江大白 博主
深耕工业AI与安全生产领域
赵源麒
深耕机器人操作系统与边缘智能开发
活跃于技术社区 积极推动开源项目落地
专注于机器人开发者生态建设
自荐成为高通开发者共创菁英社成员
我们正招纳一批优秀的高通平台开发者共创活跃的用户圈层，欢迎你加入共创、交流分享，成为我们重要的一员。
确认过眼神 你是自己人
我搞了很多端侧 AI 教程，擅长拆解落地案例，想把成套实操干货分享给大家
经常组织技术工坊，现场实操教学轻车熟路，我们一起搞高通技术沙龙
科技企业AI码农，日常做模型迁移工作，端侧硬件值得深入研究
我是高校AI专业教师，想和各种各样的开发者们聊一聊，一定会有很多火花
研究生开发团队，主攻机器视觉部署，我们还想离市场真实需求更近一点
专职技术内容创作者，擅长通俗易懂的AI部署教学，现在接受许愿
计算机视觉在读本科生团队，实操能力强，有没有厉害的战队我们来抱团
新手任务
STEP 2
交个朋友
添加小助手好友，让我们展开唠一唠
STEP 3
菁英试炼
成为共创菁英社成员，从一篇教程、一个 Demo、一次 Workshop 开始...
高通开发者资源
官方工具 · 开发资源 · 开源项目 · 技术文档
开发工具
- 高通神经处理 (QNN) SDK帮助开发者节省时间和精力，以优化在使用高通® AI 产品的设备上经过训练的神经网络性能
- 高通AI Engine Direct SDK提供了可供人工智能部署的低级、统一的API
- 高通 AI Runtime (QAIRT) SDK运行时库和工具QAIRT可帮助您为高通支持的硬件开发、运行和优化 AI 模型
- QAI AppBuilder旨在帮助开发者轻松地在 WoS 和 Linux 平台上运行模型
- 高通AI推理套件一套全面的即用型 AI 应用程序、智能体、工具和程序库，可用于在本地或通过云端部署开发和部署AI推理
- 高阶量化算法使用AIMET量化算法库一个提供先进量化和压缩技术的库，适用于训练好的神经网络模型
- 骁龙分析器由高通技术公司提供的分析软件，可供开发者分析、优化和调试由骁龙处理器所驱动设备上的应用程序、游戏和其他体验的性能
案例参考与支持
- 在犀牛派A1上部署Home AssistantHome Assistant是一款开源的智能家居中枢，能在本地统一控制不同品牌的物联网设备
- 快速在骁龙手机上部署YOLOv10模型介绍如何快速将YOLOv10 部署在高通芯片的手机/平板上
- 在高通芯片手机&平板本地部署大模型DeepSeek本教程使用的设备是8GEN2芯片的手机，部署的模型为deepseek-r1:7b
- 在Rhino PI X1上部署Qwen3支持Qwen3 在高通平台的深度适配运行，可在端侧实现低延迟、离线可用、数据更安全的本地AI服务，为终端设备带来原生智能
- 端侧openclaw办公技能拆解OpenClaw在端侧具备的能力，并真实测试了每个能力能够复用的场景