- 博客(10)
- 收藏
- 关注
RSS订阅原创 百度智能云-免费大模型API接口调用记录
百度搜索“百度智能云千帆大模型平台”点“模型开发及服务”点“立即使用”点左侧“模型广场”在价格筛选中选择免费模型目前可免费调用的就是这几个了选择其中一个打开API文档。
2025-03-10 18:59:48
465
原创 milvus基础使用记录
下载docker-compose.yml文件下载完成后修改文件名为docker-compose.yml，然后启动docker-desktop，并在安装目录下打开终端安装完成后，安装可视化界面（可选）安装完成即可。
2024-12-11 14:07:37
919
原创 使用LLaMA-Factory进行诗词数据集预训练
在魔搭社区下载开源的中国诗词数据集数据预览该数据集仅有一列，且为csv格式，目前LLaMA-Factory微调仅支持alpaca格式和sharegpt格式，参考示例数据集中的c4_demo.json格式，因此首先对数据做预处理，代码如下： 转换后格式如下：上传到LLaMA-Factory/data文件夹后进行数据注册，打开dataset_info.json，添加内容：启动LLaMA-Factory可视化界面后，选择参数如下：然后开始训练即可
2024-12-05 16:55:24
657
原创 大模型基础参数知识点总结，持续更新......
大模型有大量的参数，每个参数都有参数值，我们假设某个参数值为1.5678，那么要想减小存储所占的内存，需要进行四舍五入，比如约等于1.57，甚至约等于整数1，量化正是基于这样的思想。例如Qwen2.5-0.5B模型，共有5亿参数量，那么采用FP32将占用20亿字节，即2G显存，向下每种格式依次减小一半，如果采用Int4格式即占用0.25G显存，当然在实际应用中应该大于这个值。
2024-12-05 16:05:06
327
5原创 使用vllm容器化部署Qwen1.8b模型OpenAi兼容的api
这里注意：--served-model-name参数不可取消，否则会导致后面请求不成功，同时，为减小模型推理所占用的显存资源，使用量化后的模型进行推理。注意这里应该直接在requirement.txt中加上vllm框架，使镜像直接包含vllm。如有响应正常返回，则表示成功！
2024-10-28 14:03:54
505
原创 使用Docker容器部署Qwen2-0.5B模型记录
修改serve_model.py中的路径名称，这里由于我已将本地路径D:/Qwen2-0.5b挂载到容器中的app文件夹下，所以我直接在本地修改代码即可，再次运行，成功！进入容器之后发现app文件夹下没有serve_model.py文件，不清楚哪里出了问题，通过在宿主机路径下手动添加该文件，同时容器中也会对应添加。后台模式：容器在后台运行，终端可继续运行其他操作（本次采用这种）交互模式：提供一个可与容器进行交互的界面。
2024-10-24 12:09:10
591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人