正点原子RK3588 Ubuntu运行LLM升级Glibc

不升级遇到的问题

./llm_demo: /lib/aarch64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by ./llm_demo)
# strings /lib/aarch64-linux-gnu/libc.so.6 |grep GLIBC_
GLIBC_2.17
GLIBC_2.18
GLIBC_2.22
GLIBC_2.23
GLIBC_2.24
GLIBC_2.25
GLIBC_2.26
GLIBC_2.27
GLIBC_2.28
GLIBC_2.29
GLIBC_2.30
GLIBC_PRIVATE

最高版本只到2.30,由于使用的系统为ubuntu20.04,已经升级到了系统版本的最高版本了

升级方法

sudo vi  /etc/apt/sources.list
添加源
deb https://mirrors.aliyun.com/ubuntu-ports/ jammy main restricted universe multiverse
sudo apt update
sudo apt install libc6

再次执行,升级成功

rk@ATK-DLRK3588-Ubuntu:~$ strings /lib/aarch64-linux-gnu/libc.so.6 |grep GLIBC_
GLIBC_2.17
GLIBC_2.18
GLIBC_2.22
GLIBC_2.23
GLIBC_2.24
GLIBC_2.25
GLIBC_2.26
GLIBC_2.27
GLIBC_2.28
GLIBC_2.29
GLIBC_2.30
GLIBC_2.31
GLIBC_2.32
GLIBC_2.33
GLIBC_2.34
GLIBC_2.35
GLIBC_PRIVATE

### 加载和运行 LLM 的方法 要在 Ubuntu 系统上加载和运行大型语言模型 (LLM),可以按照以下方式实现完整的流程。这包括安装必要的依赖项、下载预训练模型以及执行推理。 #### 安装环境准备 为了在 Ubuntu 上成功加载和运行 LLM,需要先设置 Python 环境并安装所需的库。以下是具体操作: 1. **创建虚拟环境** 使用 `venv` 创建独立的 Python 虚拟环境以隔离项目依赖。 ```bash python3 -m venv llm_env source llm_env/bin/activate ``` 2. **升级 pip 和 setuptools** 确保工具是最新的版本以便支持最新的包管理功能。 ```bash pip install --upgrade pip setuptools wheel ``` 3. **安装必要库** 下面列出了几个常用的库来处理 LLMs: - Transformers: 提供访问 Hugging Face 模型的能力。 - Accelerate: 增强 PyTorch 或 TensorFlow 训练脚本的功能。 - Torch-IPEX: Intel Performance Libraries for PyTorch. 可以通过如下命令一次性完成这些库的安装: ```bash pip install transformers accelerate torch ipex ``` #### 加载模型实例化对象 一旦环境搭建完毕,就可以利用代码片段中的逻辑加载指定的大规模语言模型,并将其转换成适合本地计算资源的形式进行高效推断。 ```python from intel_extension_for_pytorch import auto_optimize import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_id = "lmsys/vicuna-7b-v1.5" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, low_cpu_mem_usage=True, # 减少 CPU 内存占用 trust_remote_code=True # 如果模型有自定义代码则信任它 ) device = 'cpu' if not torch.cuda.is_available() else 'cuda' if device == 'cpu': model = auto_optimize(model) # 对于CPU设备应用自动优化技术[^1] model.to(device).eval() ``` 这段代码实现了从远程仓库拉取预先训练好的 Vicuna-7B-V1.5 模型及其对应的分词器;随后依据当前硬件条件决定是否启用 GPU 支持或者采用 IPEX 进行进一步调优从而提升性能表现[^1]。 #### 构建输入管道与获取输出结果 最后一步就是构建一个简单的交互界面让用户提问并通过已加载的模型得到回应: ```python def generate_response(prompt_text): inputs = tokenizer.encode_plus( prompt_text, return_tensors='pt', truncation=True, max_length=64 ).to(device) with torch.no_grad(): outputs = model.generate(**inputs, temperature=0., max_new_tokens=64) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response question = input("Ask your question here:") output = generate_response(question) print(f"Response:{output}") ``` 以上函数接受一段文字作为参数传入到先前初始化过的模型当中去生成相应的回复内容[^1]。 ### 总结 综上所述,在Ubuntu平台上部署并运行大规模的语言模型涉及到了多个方面的准备工作和技术细节考量。从基础软件栈的确立到最后实际应用场景下的对话服务提供均需精心设计才能达到理想效果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值