测试环境

Linux版本：debian 12

RK182x SDK版本：V1.0.4

rknn-smi Version: 1.3.0

硬件：DFRobot RK3576+RK1828

环境搭建

安装驱动

  1. 下载驱动安装包（请选择RELEASE_V1.0.4及以上），下载地址：https://console.box.lenovo.com/l/PHk0PF
  2. 将文件推送到开发板并解压，并安装
tar -zxf rknn3_rk182x_m2_installer_arm64.tgz
sudo ./install.sh

测试环境

  1. 查看RK182x状态
# 如果当前非root用户，建议切换到root用户执行 
linaro@linaro-alip:/$ [ $(whoami) != "root" ] && sudo su - 
root@linaro-alip:/# rknn-smi info 
+------------------------+---------------+---------------+----------------------+ 
| rknn-smi Version: 1.3.0 | 
+========================+===============+===============+======================+ 
| Device Status | Health | Power(mW) | Npu(%) | 
| Chip Name | Bus-Id | Temp(C) | Memory-Usage(MB) | 
+========================+===============+===============+======================+ 
| 0 Online | OK | 81 | 0 | 
| 0 RK1828 | 0000:01:00.0 | 44 | 32 / 5120 | 
+========================+===============+===============+======================+

下载模型与应用文件

  1. 下载模型文件

预转换RKNN模型网盘地址：RKNN3_SDK (https://console.box.lenovo.com/l/H1fig1, 提取码: rknn)，路径：RKNN3_SDK/rknn3_models/v1.0.4

  1. 下载应用文件：offline-model
  2. 将模型放在 /userdata/models/目录下

注意模型文件前缀需要保持一致

  1. 将offline-model文件中的rkllm3_server.sh放在/userdata/models/目录下目录下；将offline-model文件中的run.sh和switch_to.sh放在模型文件夹下

参考文件夹格式

/userdata/models/
├── rkllm3_server.sh
├── Qwen2.5-3B/
│   ├── Qwen2.5-3B-Instruct.rknn
│   ├── Qwen2.5-3B-Instruct.tokenizer.gguf
│   ├── Qwen2.5-3B-Instruct.embed.bin
│   ├── Qwen2.5-3B-Instruct.weight
│   ├── run.sh
│   └── switch_to.sh
└── MiniCPM-V-4/
    ├── MiniCPM-V-4-llm.rknn
    ├── MiniCPM-V-4-llm.tokenizer.gguf
    ├── MiniCPM-V-4.embed.bin
    ├── MiniCPM-V-4.weight            ← 注意前面4个为LLM部分，需要保持前缀名字一致
    ├── MiniCPM-V-4-vision.rknn       ← 多模态可能多 1 个 rknn
    ├── run.sh
    └── switch_to.sh

启动应用

  1. 将offline-model镜像包，解压后放在/home/linaro/目录下
  2. 执行命令
sudo bash /home/linaro/offline-model/start.sh --install-docker   # 首次启动，自动安装docker
sudo bash /home/linaro/offline-model/start.sh                    # 后续启动


3. 通过浏览器访问<开发板IP>:5000，即可进行网页对话

在右上角可设置模型和语言

注释

常用命令

docker logs -f offline-model                         # 看实时日志
docker exec -it offline-model bash                   # 进容器
docker restart offline-model                         # 重启
docker stop offline-model && docker rm -f offline-model  # 停止
sudo bash /home/linaro/offline-model/start.sh        # 启动&重启

脚本清单

脚本 位置 数量
rkllm3_server.sh /userdata/models/ 1 份
run.sh /userdata/models/<每个模型>/ 每模型 1 份
switch_to.sh /userdata/models/<每个模型>/ 每模型 1 份
run_rkllm3_server.sh /userdata/models/ 1 个软链(会自动创建)

run_rkllm3_server.sh是软链，由 switch_to.sh 运行时自动创建：

# 内容（只是个符号链接, 没有实体文件）:
run_rkllm3_server.sh -> /userdata/models/MiniCPM-V-4/run.sh

首次部署没软链不会报错，start.sh 会自动 fallback 到第一个含 run.sh 的模型目录。也可以使用每个模型里面一份的switch_to.sh来切换该模型为当前加载模型

回到顶部