更新基于北京迅为iTOP-RK3588大语言模型部署测试

1.jpg

2.jpg

3.jpg

默认以将RKLLM动态库集成在了Ubuntu和Debian系统中，用户可以直接拷贝转换完成的RKLLM大预言模型和推理程序进行测试。详细说明请见NPU手册中RKLLM模型转换和测试相关步骤。更新内容《iTOP-RK3588开发板NPU使用手册》v1.1添加第八章RKLLM大语言测试相关章节目录:第1章 你好！NPU1.1 NPU的诞生！1.2 初识RKNPU第2章 准备RKNPU开发环境2.1 开发环境2.1 软件架构2.2 SDK说明第3章 让NPU跑起来3.1 在Linux系统中使用NPU3.1.1 设置交叉编译器3.1.2 修改编译工具路径3.1.3 更新RKNN模型3.1.4 编译demo3.1.5 开发板运行demo3.2 在Android系统中使用NPU3.2.1下载编译所需工具3.2.2 修改编译工具路径3.2.3 更新RKNN模型3.2.4 编译demo3.2.5 开发板运行demo第4章 体验RKNN_DEMO4.1 rknn_ssd_demo体验4.2 rkn_api_demo体验4.3 rknn_multiple_input_demo体验第5章 模型转换5.1 RKNN-Toolkit2 介绍5.2 RKNN-Toolkit2环境搭建5.2.1 安装Miniconda5.2.2 创建RKNN虚拟环境5.2.3 安装pycharm5.2.4 配置pycharm5.3 RKNN-Toolkit2工具的使用5.3.1 模型运行在模拟器5.3.2 模型运行在RK3588开发板第6章 其他模型转换6.1 使用tensorflow框架6.2 使用caffe框架6.3 使用tflite框架6.4 使用onnx框架6.5 使用darknet框架6.6 使用pytorch框架第 7章 使用RKNN-Toolkit-lite27.1 主要功能说明7.2 环境搭建步骤7.2.1 安装Miniconda7.2.2 创建RKNN虚拟环境7.2.3 安装RKNN-ToolkitLite 2软件包7.2.4 安装opencv7.3 运行测试程序第8章 RKLLM大预言模型测试8.1 RKLLM-Toolkit介绍8.2 RKLLM-Toolkit环境搭建8.2.1 安装Miniconda8.2.2 创建RKLLM虚拟环境8.3 大语言模型转换8.4 推理程序编译8.5 开发板运行测试