- 博客(25)
- 收藏
- 关注
RSS订阅原创 InternVL 部署微调实践
在视觉模型和语言模型之间，加入了 MLP 投影层，用于将视觉特征映射到语言模型的输入空间，促进视觉和语言信息的融合。：采用了经过微调的视觉模型，如 ViT（Vision Transformer），用于提取输入图像的视觉特征。：基于大型语言模型，如 InternLM，处理文本输入并生成相应的输出。"xtuner-env"为训练环境名。2.1.LMDeploy基本用法介绍。微调前认为是意大利面，现在回答正确。2.LMDeploy部署。训练环境既为安装成功。1.1.训练环境配置。1.2.推理环境配置。
2024-11-29 22:25:10
646
原创 使用 OpenCompass 评测浦语 API
以 OpenAI 的 GPT 模型为例，你只需要在 OpenAI 官网申请一个 API Key，然后在评测配置文件中设置好这个密钥和相应的模型参数就可以开始评测了。评测过程中，评测框架会自动向模型服务发送测试用例，获取模型的回复并进行打分分析。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。考虑到 openai 的 API 服务暂时在国内无法直接使用，我们这里以评测 internlm 模型为例，介绍如何评测 API 模型。
2024-11-16 16:11:35
406
原创 书生大模型 -XTuner 微调个人小助手认知任务
在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。微调完成后，我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。assistant_Tuner_change.jsonl 是修改后符合 XTuner 格式的训练数据。
2024-11-15 22:27:30
599
原创 书生大模型实战营 llamaindex+Internlm2 RAG实践
如图所示，由于xtuner是一款比较新的框架， InternLM2-Chat-1.8B 训练数据库中并没有收录到它的相关信息。下面完成本次任务，使用RAG技术 和为使用RAG技术情况下对什么是LLaVA的回答！可以看到作图采用了RAG技术能正确回答！是未对 InternLM2-Chat-1.8B 进行任何增训的情况下，通过 RAG 技术实现的新增知识问答。问答均未给出准确的答案。
2024-10-31 22:14:36
292
原创 书生大模型实战营--浦语提示词工程实践
提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction。
2024-10-30 21:48:46
640
原创 8G 显存玩转书生大模型 Demo
经在 /root/share/pre_envs 中配置好了预置环境 icamp3_demo使用这个环境来运行demo。
2024-10-27 18:29:42
178
原创 书生大模型全链路开源开放体系
核心工具：OpenCompass。核心工具：InternEvo。核心工具：LMDeploy。核心工具：XTuner。
2024-10-27 17:09:38
795
原创 书生大模型实战第四期 第四关 玩转HF
安装成功后，开始下载internlm2_5-7b-chat的配置文件，在/workspaces/codespaces-jupyter 目录下创建 hf_download_josn.py。https://huggingface.co/spaces，在创建页面中，输入项目名为intern_cobuild，并选择Static应用进行创建。在 https://github.com/codespaces中选Jupyter Notebook进行创建环境 ，安装以下依赖，以便模型运行。
2024-10-27 10:55:20
193
原创 书生大模型实战营第4期系列课程-第一关核心知识
linux中链接分为两种 : 硬链接(hard link)与软链接(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。在实际的 web_demo 模型部署实践中，我们可以利用端口映射将开发机中的服务端口（例如 Web UI 端口）映射到本地，这样既避免了代理问题，又确保了资源能够完整加载，提升了开发和调试的便利性。端口映射是一种网络技术，可以将外部网络的请求通过指定端口转发到内部网络的设备或应用上。
2024-10-26 17:22:17
1020
原创 conda 的一些操作
创建虚拟环境，在开发过程中，很多时候不同的项目会需要用到不同版本的包，甚至是不同版本的Python,使用虚拟环境可以轻松解决这些问题。在虚拟环境中，“pip install”命令只会安装需要安装的那个包本身，而“conda install”命令除了会安装需要安装的包，还会自动安装这个包的依赖项。当前环境输入 python文件存放的路径后，可以直接运行Python文件，或者在命令行窗口输入“python”命令进入交互模式。如查看python版本后，创建一个名为“NLP”的虚拟环境，并指定版本号。
2022-10-21 23:38:37
932
原创 【无标题】报告实录文本挖掘与分析(简单版)
中国共产党第十八、十九、 二十次全国人民代表大会。高频词分析以及画词云图替换txt文件即可。报告实录文本挖掘与分析(简单版)爬取18大报告实录文本。收集数据后进行数据处理。关键词分析(简易版)
2022-10-21 22:57:35
446
翻译 在 GOOGLE 云平台上使用 **Docker** 和 **Kubernetes** 部署 AI 模型的分步指南
在 GOOGLE 云平台上使用和部署 AI 模型
2022-09-17 11:54:15
568
原创 个人信用风险评估项目
2007-2008年的全球金融危机凸显了和在银行业务中的重要性。由于信贷供应受到了限制，所以银行正日益紧缩其贷款体系，转向机器学习来更准确地识别高风险贷款。通过构建自动化的信用评分模型，以在线方式进行即时的信贷审批能够为银行节约很多人工成本。......
2022-08-12 23:03:34
895
原创 SQL 增删改查中“查”的常考知识点
SELECT基础检索的知识点考查过滤数据的知识点考查字段的知识点考查数据处理函数的知识点考查聚合函数知识点考查分组的知识点考查子查询知识点考查多表连接的知识点考查:组合查询知识点考查CASE WHEN知识点考查窗口函数的知识点考查SQL语法简单，这里总结下SQL的"增删查改"常用操作中的"查"。面试笔试中经常考查“多表连接”，“窗口函数”，“子查询”，“分组聚合”等知识点SELECT基础检索的知识点考查检索单列与多列数据正确使用DISTINCT数据查询并排序ORDER BY限制数据返回行数LI
2022-08-09 09:52:56
333
原创 Python数据分析项目 matplotlib & seaborn总结
本文是数据科学与人工智能综合项目训练营python数据分析项目关于Matplotlib和Seaborn的个人总结。有些语法没写以节约空间，希望对大家有帮助。Matplotlib介绍Matplotlib主要绘图函数及参数:Seaborn介绍：Seaborn主要绘图函数及参数:项目流程(续)Matplotlib介绍Matplotlib是基于 Python 的图表绘图库，主要用于绘制2D图形，也可以绘制3D图形，操作简单，以渐进、交互方式实现数据可视化，对图像元素控制力强，可输出PNG、PDF、SVG和E
2022-08-09 00:28:26
1027
原创 2021-10-04
#task01#使用Pandas完成数据集读取import pandas as pdTrain_data =pd.read_csv('H:/MEdownload/二手车交易价格预测/used_car_train_20200313.csv',sep=' ')Test_data = pd.read_csv('H:/MEdownload/二手车交易价格预测/used_car_testB_20200421.csv',sep=' ')...
2021-10-04 11:36:16
67
原创 条件语句
if …else…temp = input("猜⼀猜⼩姐姐想的是哪个数字？")guess = int(temp) # input 函数将接收的任何数据类型都默认为 str。if guess == 666: print("你太了解⼩姐姐的⼼思了！") print("哼，猜对也没有奖励！")else: print("猜错了，⼩姐姐现在⼼⾥想的是666！")print("游戏结束，不玩⼉啦！")if语句支持嵌套，即在一个if语句中嵌入另一个if语句，从而构成不同层次的选择结构。python使用
2020-07-23 22:40:26
148
原创 Task01 ：变量、运算符、数据类型及位运算
注释在python中有两种注释，一种作用于整行，用#表示；一种是区间注释，用 ‘’’ ‘’'或者""" “”"表示运算符算术运算符：+、-、 *、 /、 //、 %、 **。比较运算符：>、 <、>=、 <=、!=。逻辑运算符：and 、or、 not。位运算符：按位取反 ~ 、按位与 &、按位或 |、按位异或 ^ 、左移<<、右移>>。运算符的含义：&按位与如果两个相应的二进制位都为1，则该位的结果值为1，否则为0| 按
2020-07-22 19:00:24
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人