- 博客(6)
- 收藏
- 关注
RSS订阅原创 一个好用的python日志配置函数
答案是新建一个logging_config.py 文件进行logger的管理与配置。下面是一个我自己常用的日志配置文件。logger是一个全局的概念，只要我们配置好对应名称的logger之后，只需要在各个文件中通过。通常一个python项目是由很多的python文件组成的，那我的logger应该如何配置呢？但是日志的使用一直没有搞清楚，写这篇博客进行梳理记录一下。即可获取相应配置好的logger。
2024-11-15 10:02:07
208
1
原创 CUDA 118 安装vllm
下载完上面的两个文件之后可以进行离线安装，安装顺序为先安装torch，然后再安装vllm。安装完torch之后，安装vllm的时候就会检测到torch已经安装并且满足要求，就会略过torch的安装，这也是核心所在。最新版本的vllm基本都需要pytorch版本2.4.0或者2.5.0。会默认使用CUDA12进行编译安装，导致安装失败。但实际操作中也会出现一些问题，下面介绍一下我平时探索出的安装方法。没有具体的包含所有whl的网站，大家可以去。下面给出一个最新的支持cu118的版本。
2024-11-11 17:49:30
2056
1
原创 Linux本地复现 open_llm_leaderboard 评测
huggingface官方提供了大模型的评测体系，并在提供了运行评测的方法，可以在本地对自己的模型进行评测，得到各个指标的结果。
2024-09-24 14:16:19
548
原创 使用vllm部署ChatGLM2并提供兼容 OpenAI 的 API Server实现异步访问
运行下面的命令，默认host为0.0.0.0，默认端口为8000，也可以通过--host --port指定。使用chatglm等模型时，请指定 --trust-remote-code参数。调用时可以用下面测试，注意model参数一定要传。SamplingParams 类中的说明。中的sampling_params。按照说明安装就可以了，不赘述。到vllm的GitHub仓库。其他更多的参数请参照。具体参数的含义请参照。
2023-12-12 11:14:45
8424
原创 解决使用docker加载模型报错/opt/hpcx/ompi/lib/libmpi.so.40: undefined symbol: opal_hwloc201_hwloc_get_type_dept
个人推测是c++的什么库缺少，导致有未定义的符号出现。
2023-11-03 11:19:36
1730
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人