【 香橙派 AIpro评测】大语言模型实战教程：香橙派 AIpro部署LLMS大模型实站（保姆级教学）

引言

OrangePi AIpro 这块板子作为业界首款基于昇腾深度研发的AI开发板，一经发布本博主就火速去关注了，其配备的 8/20TOPS澎湃算力是目前开发板市场中所具备的最大算力，可谓是让我非常眼馋啊！这么好的板子那必须拿来用用，今天也是很荣幸拿到一款 OrangePi AIpro 开发版！于是迫不及待的去开源项目选中了一款LLMS大模型来为部署为大家体验体验。

文章目录

  • 引言
  • 一、香橙派介绍
    • 1.1 香橙派 AIpro 开发版介绍
    • 1.2 到手的第一感觉
    • 1.3 外观对比&开机进入
  • 二、部署LLMS大模型
    • 2.1 项目介绍
    • 2.1 拉取代码到环境
    • 2.2 自定义算子部署
      • 配置protoc 环境
      • 算子编译部署
      • 修改环境变量
      • 编译运行& 依赖安装
    • 2.3 推理启动
    • 2.4 项目体验
  • 三、香橙派 AIpro 的使用体验
    • 3.1 优良的性能
    • 3.2 丰富的项目实战教学
    • 3.3 社区文档的丰富性

一、香橙派介绍

香橙派（Orange Pi）是深圳市迅龙软件有限公司旗下开源产品品牌，成立于2005年，是全球领先的开源硬件和开源软件服务商，致力于让极客、创客、电子爱好者享用到来自中国的优质、低价的科技产品，通过大规模的社会化协作去创建一个更加美好的信息化人类文明。

1.1 香橙派 AIpro 开发版介绍

OrangePi AIpro 是2023.12月初，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，作为业界首款基于昇腾深度研发的AI开发板 Orange Pi AIpro 不仅集成图形处理器，还有拥有8GB/16GB LPDDR4X，可以外接32GB/64GB/128GB/256GB eMMC模块，支持双4K高清输出，还有很多扩展口这里博主就不介绍了大家直接看图吧。

  • 正面展示
    在这里插入图片描述
  • 背面展示
    在这里插入图片描述

1.2 到手的第一感觉

要问的刚收到板子的心情那当然是非常激动的，刚回来就迫不及待的才开包装给大家展示一下，不多不说香橙派这次外观上没得说，连我一个抠脚大汉都觉得非常精致漂亮。

在这里插入图片描述

1.3 外观对比&开机进入

拆来包装上去看香橙派也是非常深得我心，到手82g 重量刚刚好。整体呢只有大概一个巴掌大小，当然想我这种手大的男同胞可能还没我手掌大哈哈哈，而且这次香橙派的散热风扇也是备受好评已经在群聊里看到不少朋友去夸赞他的质感了，后面博主也回给大家来俩张对比图。

在这里插入图片描述

  • 我这块 OrangePi AIpro 板子提前配备了一张32G的TF卡来进行烧录系统，其背后还有一个 m.2 固态硬盘接口来为我们拓展内存，以运行大型项目。

在这里插入图片描述

  • 树莓派5 与 OrangePi AIpro 散热风扇对比

  • 树莓派5
    在这里插入图片描述

  • 香橙派 AIpro，哈哈哈是不是感觉 香橙派 AIpro 在做工上更精细一些

在这里插入图片描述

  • 开机启动

激动人心的时刻终于来了，开机启动。由于这套开发版内置了 OpenEuler 系统镜像（）博主就暂时不烧录其他镜像了，直接开机启动。

  • openEuler 是一由中国开源软件基金会主导，以Linux稳定系统内核为基础,华为深度参与,面向服务器、桌面和嵌入式等的一个开源操作系统。

  • 这里直接插电启动，默认用户名 HwHiAiUser、密码 Mind@123 当然root密码也是一样的

  • 这里我们进来之后可以直接选择链接WiFi 非常便捷

在这里插入图片描述

  • 然后我们打开命令窗查看IP , 由于系统默认支持ssh 远程连接，所以博主这里就直接采用 Sxhell 进行连接
  • 输入ip 选择 HwHiAiUser 登录 密码 Mind@123

在这里插入图片描述

二、部署LLMS大模型

说到大语言模型相信大家都不会陌生，大型语言模型(LLMs)是人工智能文本处理的主要类型,也现在最流行的人工智能应用形态。ChatGPT就是是迄今为止最著名的使用LLM的工具,它由OpenAI的GPT模型的特别调整版本提供动力。

2.1 项目介绍

本来博主是准备来部署一下咱们的，清华大语言模型镜像这个目前也是非常的火啊，吸引了很多人的注意其优秀的性能和GPT3 不相上下，但是由于考虑到咱们目前的内存只有TF卡上的32G就决定去 gitee 上找一个小型一点的大模型来实战一下。

  • 果不其然刚搜索就发现 一个基于香橙派AI Pro 部署的语言大模型项目，这不正好吗？直接开始

在这里插入图片描述

  • 点进去一看发现这是南京大学开源的一套基于香橙派 AIpro部署的Tiny-Llama语言模型
  • （开源地址）

2.1 拉取代码到环境

  • 先cd进入 cd ~/samples 目录
  • 之后直接利用git 拉取我们的项目，git 由于系统镜像自带的有就不用我们手动安装了

在这里插入图片描述

2.2 自定义算子部署

配置protoc 环境

  • 使用wget工具从指定的华为云链接下载 protobuf-all-3.13.0.tar.gz文件
wget  https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/protobuf-all-3.13.0.tar.gz --no-check-certificate

在这里插入图片描述

  • 解压刚刚下载的文件
tar -zxvf protobuf-all-3.13.0.tar.gz

在这里插入图片描述

这里解压速度非常快，基本一秒就OK了

在这里插入图片描述

  • 进入 protobuf-3.13.0 文件夹中
cd protobuf-3.13.0

更新apt包管理器的软件包列表

apt-get update

在这里插入图片描述

  • 使用apt-get安装必要的构建工具，包括autoconf、automake和libtool，这些工具用于配置和构建开源项目
apt-get install autoconf automake libtool

在这里插入图片描述

  • 生成配置脚本 configure , 运行 ./configure 生成一个Makefile
./autogen.sh
./configure
  • 编译源代码,由于 香橙派 AIpro 是4核64位处理器+ AI处理器支持8个线程，我们我们可以大胆的使用4个并行进程进行编译，以加快编译速度。
  • 编译这里的时候大家就可以放松放松了大概只需要10几分钟就好了
make -j4

在这里插入图片描述

  • 将编译后的二进制文件和库文件安装到系统指定的位置
make install

在这里插入图片描述

  • 更新系统共享库缓存的工具，检查protoc 版本
sudo ldconfig

protoc --version

在这里插入图片描述

算子编译部署

  • 将当前工作目录切换到 tiny_llama

在这里插入图片描述

  • 设置了一个环境变量 ASCEND_PATH，并将其值设为 /usr/local/Ascend/ascend-toolkit/latest
  • export ASCEND_PATH=/usr/local/Ascend/ascend-toolkit/latest
    在这里插入图片描述
  • 将 custom_op/matmul_integer_plugin.cc 文件复制到指定路径
cp custom_op/matmul_integer_plugin.cc $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx/framework/onnx_plugin/
  • cd 进入 目标文件夹进行配置
cd $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx

在这里插入图片描述

修改环境变量

  • 打开build.sh，找到下面四个环境变量，解开注释并修改如下：
#命令为 vim build.sh

在这里插入图片描述

# 修改内容为
export ASCEND_TENSOR_COMPILER_INCLUDE=/usr/local/Ascend/ascend-toolkit/latest/include
export TOOLCHAIN_DIR=/usr
export AICPU_KERNEL_TARGET=cust_aicpu_kernels
export AICPU_SOC_VERSION=Ascend310B4

在这里插入图片描述
在这里插入图片描述

编译运行& 依赖安装

  • 编译构建项目,进入到构建输出目录以后续处理生成的文
./build.sh
cd build_out/

在这里插入图片描述

  • 生成文件到 customize 到默认目录 $ASCEND_PATH/opp/vendors/
./custom_opp_ubuntu_aarch64.run
  • 删除冗余文件
cd $ASCEND_PATH/opp/vendors/customize
rm -rf op_impl/ op_proto/

在这里插入图片描述

  • 安装依赖：从指定的华为云 PyPI 镜像源安装所需的 Python 包
cd tiny_llama/inference
pip install -r requirements.txt -i https://mirrors.huaweicloud.com/repository/pypi/simple
  • 先cd 回到根目录，在进入家目录，找到咱们的 tiny_llama/inference
    在这里插入图片描述

2.3 推理启动

  • 下载tokenizer文件
cd tokenizer
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tokenizer.zip
unzip tokenizer.zip

在这里插入图片描述

  • 获取onnx模型文件
cd ../model
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tiny-llama.onnx

  • 我们在复制代码的时候一定要仔细嗷博主这里少打了一个w 导致并没有获取到模型，后期找了半天才发现错误所以提醒大家一定要注意好每一步
    在这里插入图片描述

  • atc模型转换

atc --framework=5 --model="./tiny-llama.onnx"  --output="tiny-llama" --input_format=ND --input_shape="input_ids:1,1;attention_mask:1,1025;position_ids:1,1;past_key_values:22,2,1,4,1024,64" --soc_version=Ascend310B4 --precision_mode=must_keep_origin_dtype

在这里插入图片描述

2.4 项目体验

好了到这里我们就算是大功告成了，只需要启动一下mian文件就OK了

  • 在 cd tiny_llama/inference 目录下运行命令
python3 main.py

在这里插入图片描述

  • 打开网址进行访问

在这里插入图片描述
在这里插入图片描述

Tiny-Llama这个模型由于尺寸非常小，参数也只有1.1B。所以在我们部署Tiny-Llama这个大语言模型推理过程中，Ai Core的占用率只到60%左右，基本是一秒俩个词左右，速度上是肯定没问题的。后期可以去试试升级一下内存去跑一下当下主流的 千问7B模型 或者 清华第二代大模型拥有 60 亿参数 ChatGLM2 感觉用 OrangePi AIpro 这块板子也是没问题。

三、香橙派 AIpro 的使用体验

3.1 优良的性能

这俩天体验下来 香橙派 AIpro 开发板带给我的感觉还是挺优秀俩个字 ，自从到手了来几乎是不间断地运行，但没有一次自动重启，在持续的高负荷运作中，温度一直保持在50到60°左右，这也体现了 香橙派 AIpro 对温控的把持是非常到位的。

而且还有有目前业界最强大的 8/20TOPS澎湃算力，AI 处理器，丰富的插件扩展口这对未来我们需要做的嵌入式AI 项目，具有良好的支持可玩度非常高，为项目创新和开发人员提供广阔的空间不仅可以做智能家居开发，还能对各种ALot 都可以能应用。
在这里插入图片描述

  • 同时精巧的颜值也是吸引我的一部分，香橙派 AIpro 作为开发板有AI的强大算力和接口的扩展灵活性，和不错的颜值这样的板子谁不爱呢？

3.2 丰富的项目实战教学

这个也是在本博主在思考做什么开源项目的的时候的感受， 香橙派 AIpro 不仅在 gitee 上有很多开源项目，并且在百度 哔哩哔哩 这些平台都有丰富的实战教学这为新手入门极大的降低了难度。

在这里插入图片描述
在这里插入图片描述

3.3 社区文档的丰富性

本着 OrangePi AIpro 这块板子作为基于昇腾深度研发的AI开发板，博主就想想看看华为的昇腾社区有没有什么文档已经学习项目来做一做结果不去不不知道，一看我嘞个乖乖原来资料这么全的嘛？

  • 香橙派AIpro学习资源一站式导航
  • 不仅有各种项目以及官方样例来供我们学习

在这里插入图片描述

  • 在这里你还可以看到各种报错解决方法，以及官方整理好的学习案例推荐
    在这里插入图片描述
    在这里插入图片描述

以上就是本博主这段时间使用的感谢啦！相信你们看到这里也已经迫不及待的想体验体验了，快去部署一个属于你的LLMS大模型咱们下次再见啦。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/769509.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

WPF 3D绘图 点云 系列五

WPF 3D绘图 点云 系列五

基本概念：点云是某个坐标系下的点的数据集。 可能包含丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等 点云可以将现实世界原子化，通过高精度的点云数据可以还原现实世界。万物皆点云。 通过三维激光扫描仪进行数据采集获取点云数据，其次通过二维影像进行…
阅读更多...
初次使用GitHub教程入门

初次使用GitHub教程入门

注册一个github账户 访问地址：https://github.com/，点击右上角sign up，录入以下信息，邮箱，密码，账号，会有邮箱验证，跟着步骤来就好了 配置 本机上设置你的github的邮箱和用户名 …
阅读更多...
R语言学习，入门

R语言学习，入门

我是一名6年开发经验的程序员，后端，大数据，前端都会。 现在加入了医疗行业，要做数据分析，前同事的实验室生信专业的，用的是R语言，为了跑通他的程序。就来学一下吧，看了一下好像挺简…
阅读更多...
农村生活污水处理监测系统解决方案

农村生活污水处理监测系统解决方案

一、概述 随着国民经济的发展和农村生活水平的提高，农村生活用水量越来越大，随之而来的污水产量也越来越大，农村生活污染对环境的压力越来越明显。环境保护意识的逐渐增强，使得人们对青山绿水的希望更为迫切，为满足人民…
阅读更多...
Nordic 52832作为HID 键盘连接配对电视/投影后控制没反应问题的分析和解决

Nordic 52832作为HID 键盘连接配对电视/投影后控制没反应问题的分析和解决

问题现象：我们的一款HID键盘硬件一直都工作的很好，连接配对后使用起来和原装键盘效果差不多，但是后面陆续有用户反馈家里的电视等蓝牙设备配对连接我们的键盘后，虽然显示已连接，但实际上控制不了。设备涉及到了好些品牌…
阅读更多...
【操作与配置】VSCode配置Python及Jupyter

【操作与配置】VSCode配置Python及Jupyter

Python环境配置 可以参见：【操作与配置】Python：CondaPycharm_pycharmconda-CSDN博客 官网下载Python：http://www.python.org/download/官网下载Conda：Miniconda — Anaconda documentation VSCode插件安装 插件安装后需重启V…
阅读更多...
layui-表格

layui-表格

1.使用方法 加上table标签 加上classlayui-table colgroup是列属性 tr是行td是列 thead是表头，后面一一对应 2.基础属性 加lay-even逐行换色 加lay-skin 设置边框风格
阅读更多...
竞赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

竞赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 卷积神经网络2.1卷积层2.2 池化层2.3 激活函数：2.4 全连接层2.5 使用tensorflow中keras模块实现卷积神经网络 4 MobileNetV2网络5 损失函数softmax 交叉熵5.1 softmax函数5.2 交叉熵损失函数 6 优化器SGD7 学…
阅读更多...
企业多存储方式如何兼顾安全统一管理、便捷流畅访问的双向需求？

企业多存储方式如何兼顾安全统一管理、便捷流畅访问的双向需求？

数据和文件存储是企业最基础的需求，常见的存储方式有磁盘存储、NAS存储、SAN存储、云存储、分布式存储、闪存存储等；随着企业规模的扩大、业务结构的复杂化，企业内部可能会同时出现多种存储方式、多个存储设备并行使用的情况。 这样的使用场景…
阅读更多...
Ubuntu24.04(22.04+版本通用)Miniconda与Isaacgym

Ubuntu24.04(22.04+版本通用)Miniconda与Isaacgym

1. ubuntu24.04安装minicondda mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh解释下这段代码 bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3~/miniconda3/miniconda.sh: 指向Mi…
阅读更多...
Meta 发布 Meta 3D Gen 文本生成3D模型

Meta 发布 Meta 3D Gen 文本生成3D模型

Meta推出了 Meta 3D Gen （3DGen），这是一种用于文本到 3D 资产生成的最先进的快速管道。3DGen 可在一分钟内提供具有高提示保真度和高质量 3D 形状和纹理的 3D 资产创建。 它支持基于物理的渲染 （PBR），这是…
阅读更多...
【笔记】强化学习，gym的命令行图形化界面适配

【笔记】强化学习，gym的命令行图形化界面适配

搞了一大堆还是搞不出来放弃了 最后用matplotlib画出来看 import gym import matplotlib.pyplot as plt from IPython import display import numpy as np %matplotlib inlineenv gym.make(CartPole-v1, render_mode"rgb_array") observation env.reset() a 0 f…
阅读更多...
新手教学系列——使用uWSGI对Flask应用提速

新手教学系列——使用uWSGI对Flask应用提速

在构建和部署Flask应用时，性能和稳定性是两个关键的因素。为了提升Flask应用的性能，我们可以借助uWSGI这个强大的工具。本文将详细介绍为什么要使用uWSGI、uWSGI的底层原理，并提供一个实例配置，帮助你更好地理解和应用这个工具。 为什么要使用uWSGI uWSGI 是一个应用服务…
阅读更多...
CentOS 7.9 快速更换 阿里云源教程

CentOS 7.9 快速更换 阿里云源教程

CentOS 7.9 更换源教程 总结 # 下载 wget yum -y install wget # 备份 yum 源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak # 下载阿里云的yum源到 /etc/yum.repos.d/ # 此处以 CentOS 7 为例，如果是其它版本或者系统的话&#…
阅读更多...
微软工具合集 -- Microsoft PowerToys v0.82.0

微软工具合集 -- Microsoft PowerToys v0.82.0

软件简介 PowerToys是由微软开发的一款免费系统工具集，专为Windows 10和Windows 11系统设计。它提供了一系列高效实用的工具，旨在帮助用户提升操作系统的使用效率和个性化程度。PowerToys工具集深受系统管理员和高级用户的喜爱，通过集成多种…
阅读更多...
Laravel介绍与学习入门

Laravel介绍与学习入门

Laravel 是一款优雅且功能强大的 PHP Web 开发框架，它被广泛认为是 PHP 领域内构建现代 Web 应用程序的最佳选择之一。Laravel 提供了一套简洁、富有表现力的语法，使得开发者能够高效地编写清晰、可维护的代码。以下是 Laravel 的一些关键特点和入门概念…
阅读更多...
Java线程同步的特征和安全类型

Java线程同步的特征和安全类型

一线程同步的特征 ◆不同的线程在执行以同一个对象作为锁标记的同步代码块或同步方法时，因为要获得这个对象的锁而相互牵制，多个并发线程访问同一资源的同步代码块或同步方法时。 ◆同一时刻只能有一个线程进入synchronized(this)同步代码块。 ◆当一个…
阅读更多...
大数据开发如何快速进阶

大数据开发如何快速进阶

目录 1. 个人经验与心得分享1.1 试错的价值与机会把握1.2 投入产出比的考量1.3 刻意练习与技能提升1.4 目标设定与职业规划1.5 自我驱动与成长1.6 第一性原理的应用 2. 大数据开发领域的挑战与机遇2.1 技术革新的挑战2.2 数据治理的难题2.3 人才短缺的问题2.4 投入产出比的考量…
阅读更多...
ruoyi-cloud登录接口实现滑块验证码

ruoyi-cloud登录接口实现滑块验证码

一、前言 ruoyi项目默认的验证码是这样的 今天来尝试增加滑块验证码，我们用到的是tianai-captcha。 文档地址：http://doc.captcha.tianai.cloud/ 源码地址：https://gitee.com/tianai/tianai-captcha 下面来看具体的步骤。 二、后端 在g…
阅读更多...
路由的基本使用

路由的基本使用

1.安装 npm i vue-router3 2.引入 import VueRouter from vue-router 3.使用 Vue.use(VueRouter) 4.在src目录下创建router 5.创建两个组件 5.1创建About组件 <template><div> <h1>我是About的内容</h1></div> </template><script> …
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站