产品简介
RK1828 AI 加速器是一款面向边缘计算和端侧人工智能应用设计的高性能 AI协处理器。基于瑞芯微 RK1828 AI处理器平台，集成高性能 NPU 神经网络计算单元，提供最高 20TOPS AI算力，为机器人、智能终端、工业检测、工业电脑、边缘服务器等设备提供强大的本地 AI 加速能力。
快速入门
硬件连接
- 将RK1828插入RK3576 M.2 M插槽，并将电源线连接到电源接线端子
注意：此时RK3576主板只能使用12V电源
安装驱动
- 下载驱动安装包（请选择RELEASE_V1.0.4及以上），下载地址：https://console.box.lenovo.com/l/PHk0PF
- 将文件推送到开发板并解压，并安装
tar -zxf rknn3_rk182x_m2_installer_arm64.tgz
sudo ./install.sh
测试环境
- 查看RK182x状态
# 如果当前非root用户，建议切换到root用户执行
linaro@linaro-alip:/$ [ $(whoami) != "root" ] && sudo su -
root@linaro-alip:/# rknn-smi info
+------------------------+---------------+---------------+----------------------+
| rknn-smi Version: 1.3.0 |
+========================+===============+===============+======================+
| Device Status | Health | Power(mW) | Npu(%) |
| Chip Name | Bus-Id | Temp(C) | Memory-Usage(MB) |
+========================+===============+===============+======================+
| 0 Online | OK | 81 | 0 |
| 0 RK1828 | 0000:01:00.0 | 44 | 32 / 5120 |
+========================+===============+===============+======================+
- 核对版本信息
# 如果当前非root用户，建议切换到root用户执行
linaro@linaro-alip:/$ [ $(whoami) != "root" ] && sudo su -
# 软件版本信息
root@linaro-alip:/# rknn-smi -v
rknn-smi version : 1.3.0 # rknn-smi 工具版本
PCIe driver version : 3.3.0 # PCIe ep 驱动版本
RC chips connect version : 3.3.0 # rc 端 libchips_connect 组件版本
EP chips connect version : 0.0.2 # ep 端 libchips_connect 组件版本
rknn3 API version : 1.0.4 # RK1820/RK1828 rknn runtime 版本
# 硬件版本信息
root@linaro-alip:~# rknn-smi info -l
Device Count : 1
Device ID : 0
Communication mode : PCIe
Product Name : RM1828MC0
Serial Number : A10CB253900022
Chip Count : 1
Chip ID : 0
Chip Name : RK1828
模型测试
预转换RKNN模型网盘地址：RKNN3_SDK (https://console.box.lenovo.com/l/H1fig1, 提取码: rknn)，路径：RKNN3_SDK/rknn3_models/v1.0.4
LLM类模型验证（以Qwen3_0.6b为例）
- 将模型上传到开发板，并移动到userdata目录，并进入目录
# 移动文件
mv /home/linaro/Qwen3-0.6B /userdata/
# 进入目录
cd /userdata/Qwen3-0.6B
- 执行测试命令
# 模型推理命令
rknn3_session_test Qwen3-0.6B.rknn Qwen3-0.6B.weight Qwen3-0.6B.tokenizer.gguf Qwen3-0.6B.embed.bin 1024 256 0xff
应用案例
Web对话
支持模型
大语言模型（LLM）
| 模型名称 |
模型来源 |
| Qwen2.5-0.5B |
https://huggingface.co/Qwen/Qwen2.5-0.5B |
| Qwen2.5-3B |
https://huggingface.co/Qwen/Qwen2.5-3B-Instruct |
| Qwen2.5-7B |
https://huggingface.co/Qwen/Qwen2.5-7B-Instruct |
| Qwen3-0.6B |
https://huggingface.co/Qwen/Qwen3-0.6B |
| Qwen3-1.7B |
https://huggingface.co/Qwen/Qwen3-1.7B |
| Qwen3-4B |
https://huggingface.co/Qwen/Qwen3-4B |
| Qwen3-8B |
https://huggingface.co/Qwen/Qwen3-8B |
| HY-MT1.5-1.8B |
https://huggingface.co/tencent/HY-MT1.5-1.8B |
| Youtu-LLM-2B |
https://huggingface.co/tencent/Youtu-LLM-2B |
| GLM-Edge-1.5B-Chat |
https://modelscope.cn/models/ZhipuAI/glm-edge-1.5b-chat |
多模态视觉大模型（VLM）
| 模型名称 |
模型来源 |
| Qwen2.5-VL-3B |
https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct |
| Qwen2.5-VL-7B |
https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct |
| Qwen2.5-Omni-3B (Thinker) |
https://huggingface.co/Qwen/Qwen2.5-Omni-3B |
| Qwen3-VL-2B |
https://huggingface.co/Qwen/Qwen3-VL-2B-Instruct |
| Qwen3-VL-4B |
https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct |
| FastVLM |
https://github.com/apple/ml-fastvlm |
| InternVL3-2B |
https://huggingface.co/OpenGVLab/InternVL3-2B |
| InternVL3_5-4B |
https://huggingface.co/OpenGVLab/InternVL3_5-4B-Instruct |
| MiMo-VL-7B-RL |
https://huggingface.co/XiaomiMiMo/MiMo-VL-7B-RL |
| Gemma-4-E2B |
https://huggingface.co/google/gemma-4-E2B-it |
| Gemma-4-E4B |
https://huggingface.co/google/gemma-4-E4B-it |
| SmolVLM-500M-Instruct |
https://huggingface.co/HuggingFaceTB/SmolVLM-500M-Instruct |
| SmolVLM2-500M-Video-Instruct |
https://huggingface.co/HuggingFaceTB/SmolVLM2-500M-Video-Instruct |
| UI-TARS-2B-SFT |
https://huggingface.co/ByteDance-Seed/UI-TARS-2B-SFT |
| PaddleOCR VL |
https://huggingface.co/PaddlePaddle/PaddleOCR-VL |
检索/向量模型
| 模型名称 |
模型来源 |
| Qwen3-Reranker-0.6B |
https://huggingface.co/Qwen/Qwen3-Reranker-0.6B |
| Qwen3-Reranker-4B |
https://huggingface.co/Qwen/Qwen3-Reranker-4B |
| Qwen3-Embedding-0.6B |
https://huggingface.co/Qwen/Qwen3-Embedding-0.6B |
| Qwen3-Embedding-4B |
https://huggingface.co/Qwen/Qwen3-Embedding-4B |
| gme-Qwen2-VL-2B-Instruct |
https://huggingface.co/Alibaba-NLP/gme-Qwen2-VL-2B-Instruct |
语音模型（ASR/TTS）
| 模型名称 |
模型来源 |
| Qwen3-ASR-0.6B |
https://huggingface.co/Qwen/Qwen3-ASR-0.6B |
| Qwen3-TTS-12Hz-1.7B |
https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-Base |
| VITS |
https://github.com/jaywalnut310/vits |
| Whisper |
https://huggingface.co/openai/whisper-large-v3 |
| SenseVoiceSmall |
https://modelscope.cn/models/iic/SenseVoiceSmall |
| Zipformer |
https://huggingface.co/pfluo/k2fsa-zipformer-chinese-english-mixed |
图像特征/视觉编码模型
| 模型名称 |
模型来源 |
| SigLIP |
https://huggingface.co/google/siglip-so400m-patch14-384 |
| Siglip2-so400m |
https://huggingface.co/google/siglip2-so400m-patch14-384 |
| MetaCLIP2 |
https://huggingface.co/facebook/metaclip-2-worldwide-m16-384 |
| Dinov3 |
https://huggingface.co/facebook/dinov3-vits16-pretrain-lvd1689m |
| Depth-Anything-V2-small |
https://huggingface.co/depth-anything/Depth-Anything-V2-Small |
| GR00T-N1.6-3B |
https://huggingface.co/nvidia/GR00T-N1.6-3B |
传统CNN视觉模型（分类/检测）
| 模型名称 |
模型来源 |
| MobilenetV1 |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/mobilenet_v1/mobilenet_v1_1.0_224.tflite |
| MobilenetV2 |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/mobilenet/mobilenetv2-12.onnx |
| Resnet50V2 |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/resnet/resnet50-v2-7.onnx |
| YOLOv5s |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/yolov5/yolov5s_rknn3.onnx |
| YOLOv6s |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/yolov6/yolov6s_rknn3.onnx |
| YOLOv8s |
https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/yolov8/yolov8s_rknn3.onnx |
模型性能
LLM模型性能
| 模型名称 |
加速芯片 |
TTFT(ms) |
TPOT(ms) |
Decode TPS |
| Qwen2.5-0.5B |
RK182X |
22.74 |
4.48 |
223.40 |
| Qwen2.5-1.5B |
RK182X |
49.14 |
6.69 |
149.39 |
| Qwen2.5-3B |
RK182X |
85.54 |
9.69 |
103.24 |
| Qwen2.5-7B |
RK1828 |
162.25 |
14.19 |
70.47 |
| Qwen3-0.6B |
RK182X |
28.61 |
5.49 |
182.26 |
| Qwen3-1.7B |
RK1828 |
54.34 |
7.17 |
139.39 |
| Qwen3-4B |
RK1828 |
109.78 |
11.30 |
88.47 |
| Qwen3-8B |
RK1828 |
182.20 |
16.30 |
61.34 |
测试条件：Input Tokens=128，New Tokens=128
VLM模型性能
| 模型 |
加速芯片 |
Vision分辨率 |
Vision(ms) |
LLM TTFT(ms) |
LLM Decode TPS |
| FastVLM_1.5B_stage3 |
RK182X |
512 * 512 |
168.85 |
49.83 |
151.01 |
| InternVL3-2B |
RK182X |
448 * 448 |
184.19 |
49.85 |
147.62 |
| InternVL3_5-4B |
RK1828 |
448 * 448 |
176.99 |
110.06 |
87.95 |
| Qwen2.5-VL-3B |
RK182X |
392 * 392 |
231.4 |
97.85 |
51.48 |
| Qwen2.5-VL-3B |
RK1828 |
392 * 392 |
212.28 |
87.6 |
104.05 |
| Qwen2.5-VL-7B |
RK1828 |
392 * 392 |
215.63 |
163.5 |
69.95 |
| Qwen3-VL-2B |
RK182X |
384 * 384 |
114.38 |
56.55 |
142.00 |
| Qwen3-VL-4B |
RK1828 |
384 * 384 |
117.6 |
111.45 |
87.8 |
| MiMo-VL-7B-RL |
RK1828 |
392 * 392 |
216.56 |
173.59 |
64.97 |
| MiniCPM_V_4 |
RK1828 |
448 * 448 |
236.67 |
97.81 |
106.56 |
全模态模型
| 模型 |
加速芯片 |
Vision分辨率 |
Vision(ms) |
Audio(ms) |
LLM TTFT (ms) |
LLM Decode TPS |
| Qwen2.5-Omni-3B |
RK1828 |
392*392 |
220.01 |
93.60 |
169.93 |
104.01 |
| Gemma-4-E2B |
RK1828 |
384 * 384 |
62.20 |
103.98 |
99.41 |
70.19 |
| Gemma-4-E4B |
RK1828 |
384 * 384 |
77.72 |
119.82 |
169.93 |
51.02 |
CNN模型性能
| 模型名称 |
加速芯片 |
分辨率 |
单核性能(帧率) |
多batch多核性能(帧率) |
| MobilenetV1 |
RK182X |
224 * 224 |
388.41 |
1501.34 |
| MobilenetV2 |
RK182X |
224 * 224 |
279.67 |
1290.93 |
| Resnet50V2 |
RK182X |
224 * 224 |
112.58 |
843.24 |
| YOLOv5s |
RK182X |
640 * 640 |
34.54 |
214.49 |
| YOLOv6s |
RK182X |
640 * 640 |
30.73 |
203.46 |
| YOLOv8s |
RK182X |
640 * 640 |
33.01 |
212.32 |
性能注释
- RK182X 代表 RK1820 / RK1828；
- Qwen2.5-VL-3B：RK1820采用两段式（LMHead在RK3588），RK1828全协处理器推理；
- RK1820/RK1828 NPU频率1GHz；
- 测试平台：RK3588 + RK1820/RK1828 PCIe，RK3588 performance模式；
- TTFT：首token生成耗时；TPOT：单token平均耗时；TPS：每秒生成token数；
- VLM Vision/LLM独立测试，LLM输入/输出token均为128。
模型精度
LLM模型精度
| 模型名称 |
加速芯片 |
数据集 |
原始float32精度 |
RKNN3模型（W4A16 G32） |
| Qwen2.5-0.5B |
RK182X |
gsm8k |
40.71 |
36.09 |
| Qwen2.5-3B |
RK182X |
gsm8k |
79.91 |
80.67 |
| Qwen3-4B |
RK1828 |
gsm8k |
90.6 |
89.84 |
VLM模型精度
| 模型名称 |
原始模型(float32) |
RKNN3模型(W4A16 G32) |
| FastVLM_1.6B |
58.42 |
60.48 |
| Qwen2.5-VL-3B |
76.8 |
75.43 |
| Qwen2.5-VL-7B |
79.98 |
81.19 |
| InternVL3_2B |
77.23 |
72.51 |
| InternVL3_5-4B |
78.69 |
77.75 |
| mimo_vl_7b |
74.7 |
69.85 |
CNN模型精度
| 模型名称 |
数据集 |
原始模型 (TOP1) |
原始模型 (TOP5) |
RKNN3 W8A8 (TOP1) |
RKNN3 W8A8 (TOP5) |
| MobilenetV1 |
ImageNet |
0.677 |
0.877 |
0.676 |
0.876 |
| MobilenetV2 |
ImageNet |
0.694 |
0.888 |
0.680 |
0.882 |
| Resnet50V2 |
ImageNet |
0.729 |
0.911 |
0.721 |
0.906 |
目标检测模型精度
| 模型名称 |
数据集 |
原始模型 AP@0.5:0.95 |
原始模型 AP@0.5 |
RKNN3 W8A8 AP@0.5:0.95 |
RKNN3 W8A8 AP@0.5 |
| Yolov5s |
COCO2017 |
0.326 |
0.481 |
0.310 |
0.471 |
| Yolov6s |
COCO2017 |
0.403 |
0.551 |
0.385 |
0.534 |
| Yolov8s |
COCO2017 |
0.39 |
0.525 |
0.380 |
0.513 |