- 博客(92)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 房贷计算及比较
本博客主要介绍：1. 等额本金计算公式2. 等额本息计算公式3. 对比两种还款方式4. 本示例:贷款金额为35万， 期限12年，年利率4.9%
2024-09-08 22:52:23
420
原创 pytorch在docker里面使用GPU
本博客主要介绍如何在容器里面使用pytorch进行推理，同时用上GPU。（注意：训练尚未验证）本教程中，启动了一个fastapi服务，服务提供了一个接口使用pytroch进行模型推理。注意--gpus all 选项，这个参数指定容器可以使用宿主机所有的GPU。2.2 启用experimental packages （可选）2. 安装nvidia-container-toolkit。1. 前置条件，安装好docker。本教程使用的是yum安装。4. 重启docker。3 docker配置。
2024-05-17 11:28:45
634
原创 中文语音识别实战（ASR）
本博客主要介绍了1. 语音识别基础知识2. 中文语音识别数据集3. 语音识别常用模型方法4. 自己训练一个中文语音识别模型目录语音识别基础数据集模型wav2vecwhipser训练代码工具代码推理代码单条推理参考语音识别基础音视频开发基础入门｜声音的采集与量化、音频数字信号质量、音频码率_量化后的声音信号-优快云博客数据集包含大陆，香港，台湾等地的语音数据。模型。
2024-04-25 11:46:26
1982
2
原创 Could not load library libcudnn_cnn_train.so.8. Error: /usr/local/cuda-12.1/lib64/libcudnn_cnn_train
把如下这个环境变量删除。之后重新训练不再报错。
2024-04-17 11:43:56
678
原创 快速下载huggingface资源 （cli使用）
因为墙的原因，huggingface上的资源难以下载，通过本博客的方法不需翻墙也能快速下载。本博客主要介绍：1. 如何离线下载huggingface 资源2. huggingface cli 的简单使用。
2024-04-12 15:16:22
1848
原创 中文bert预训练
我们知道bert-base的大小大约在400M左右，有时候我们的任务比较简单，并不需要如此重量级的bert，这时候，我们可以使用轻量级的tiny-bert（100M以内），在保证性能的同时，降低对硬件的门槛。本博客主要介绍：1. 预训练数据集2. 预训练代码。
2024-04-03 15:46:59
1188
原创 jupyter 设置工作目录
删掉目标得"%USERPROFILE%/"，然后重新启动jupyter即可。2. 打开jupyter_notebook_config.py文件编辑。搜索notebook_dir，把这行代码的注释取消，值设置成你要得目录。1.打开 anaconda prompt , 执行。执行这个命令后悔生产一个配置文件。
2024-03-29 16:30:15
1282
原创 目标检测学习 faster rcnn
跟着操作代码可以运行学习（可在CPU环境下执行）视频提供了可供运行的代码，可以debug观看。（这个up主的其他视频也很适合cv入门）
2024-02-22 08:56:22
226
原创 GPT2文本摘要
这次准备使用之前预训练的模型，finetune一个文本摘要任务。后面是生成的摘要。fine-tuned 文本摘要模型。后面是正文。
2024-01-30 11:41:27
377
原创 预训练中文GPT2（包括重新训练tokenizer）
1.训练数据采用了LCSTS数据集，LCSTS_new是中文短摘要最常用的LCSTS短摘要数据集的升级版本，在数据量、质量方面均有显著提升，在信息摘要与提炼的过程中，与原文的事实一致性需要得到重点关注。3.训练数据大约500M，都是短文本，新闻数据，缺乏多样性。可以尝试增加数据多样性，增加文本长度。2.从生成结果上看，自己训练的比原始的更好。
2024-01-09 09:17:02
1350
2
原创 jupyter notebook 切换python虚拟环境
我已经创建了很多虚拟环境，如何在notebook中使用这些虚拟环境呢？比如说我要添加nlp 这个虚拟环境到notebook中。name:在notebook中显示的名称。4. 出现新的环境了，可以切换使用了。当前只有两个环kernel。1. 切换到nlp环境。
2023-10-10 15:43:18
1038
原创 transformers 之 head介绍
head and ahead.有两个头，MLM head: 可以简单理解是一个全连接层（实际不是，先经过liner（hidden_size>hidden_size）>激活>layernorm>liner（hidden_size>vocab_size）），预测被mask的单词nsp head: nsp预测，也是一个全连接层， hidden_size->2。
2023-09-12 15:21:55
1168
原创 langchain agent
核心思想：工具如果需要多种输入，也需要将参数一起构建进prompt当中。每一步action，可以是另外一个chain，
2023-08-31 17:49:42
839
2
原创 chain of thought (思维链， cot)
思维链 (Chain-of-thought，CoT) 的概念是在 Google 的论文 "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" 中被首次提出。。如上图，左边是传统的输入输出，右边是基于CoT思想的输入及输出。高亮部分及CoT, 说白了就是一个推理过程。
2023-08-30 18:02:36
874
原创 self instruct 介绍
背景：大模型表现惊人，但是严重依赖于人工编写的指令数据。本文中提出self-instruct框架：一种基于大模型自动生成指令数据的方法。
2023-08-28 11:07:41
1421
原创 Prompt Tuning 和instruct tuning
prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。prompt 的方法是把下游任务转化为预训练任务，我们知道bert的预训练任务是MLM，于是把“今天天气很好。”转化为“今天天气很好。我很[mask][mask]”，我们希望bert预测出"开心"两个字。然后对“开心”映射到正面情感。
2023-08-25 09:23:46
3895
原创 文本生成解码策略 Beam Search, top_k, temperature
本文主要从原理、源码实现等几个方面，依次介绍从Greedy Search到Beam Search、从Beamsearch到Top-k固定采样、从Top-k固定采样到Top-p（Nucleus Sampling）动态采样、从动态采样到概率侧重缩放：temperature温度采样、针对重复生成问题的ngrams重复惩罚机制、针对重复生成问题的RepetitionPenalty重复惩罚、看针对多样性生成中huggingface中还有那些实现策略等7个方向的内容。
2023-08-19 15:29:02
2330
原创 sentence_transformers 教程
对比损失，同一批次的，其它样本视为负样本，分别两两求余弦相似度，最后做交叉熵损失，正样本的得分应该最高。计算出样本的余弦相似度，和label做MSE损失。该模主要用来做句子嵌入，下游常用来做语意匹配。
2023-08-03 11:52:07
809
原创 GLM模型介绍
GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练，这导致在NLU任务上的性能优于BERT和T5。在NLU、条件和无条件生成的广泛任务中，GLM优于BERT、T5和GPT，并在1.25×参数的预训练模型中获得最佳性能，证明了其对不同下游任务的通用性。：从文随机抽取出span，用【mask】替代，然后把span随机排列，拼接到输入序列的后面，每个span input 开始位置插入【start】,span的输出结束位置插入【end】自回归方式的span预测（片段预测）
2023-08-02 11:00:56
639
原创 Toolformer :让AI学会使用工具
把这些结果插入到原文，如果API调用的结果对于预测下一个token有利（不调用API和调用API，损失之差大于于一个阈值，则认为有利），那么就保留这条数据。利用上述步骤构造出一个新的数据集，使用这个数据集（含API调用的文本），去做模型微调，让模型学会何时去生成API调用。解码步骤的时候，模型预测出API调用时，先去执行API，把API的结果拼接到文本中，然后继续解码。：设计设计prompt,让模型生成含API调用的文本（如图3），只保留K个概率最高的API调用。然后执行这些API，拿回结果，
2023-08-02 10:58:43
188
原创 pycharm 配置docker: ssh连接
pycharm 连接docker 有两种方式1. 把docker当做一台服务器，通过ssh连接，和配置ssh解释器一样。2. 配置docker解释器（研究中）本文主要讲的是第一种方式。
2023-07-10 13:46:16
1088
原创 python 包（模块）制作
上传: 需要把生成的.wheel文件上传到 pypi上，才能使用pip来安装。在setup.py所在层级目录下执行如下命令既可生成wheel文件。源码结构如何设计，可以参考一下其它第三方包，如：requests。安装：pip install mysdk。使用：import sdk。sdk目录里面存放源码。
2023-06-21 15:02:50
135
原创 pycharm 远程解释器导入包飘红
开发的时候经常需要用pycharm连接远程解释器，有时候会出现这种情况，远程解释器上新安装了某些包，在pycharm里面导入了，但是出现红色下划线，并且无法阅读这个包的源码。但执行的时候却是可以正常执行。把pycharm的解释器设置成其他的（如本地解释器），然后再重新设置回远程解释器，这时候会更新远程解释器的包，就不会再出现飘红了。这主要是因为新装的包没有更新到本地。
2023-06-21 14:33:45
2045
5
qwen2.5-7b Alpaca微调
2025-03-04
混合专家模型 (MoE) 详解
2025-02-05
~中文GPT2文本摘要
2024-01-30
预训练好的中文GPT2模型
2024-01-30
维基百科数据集，可用于预训练模型
2024-01-19
博客《预训练中文GPT2》（https://blog.youkuaiyun.com/u014403221/article/det）使用的数据
2024-01-18
关系抽取 DuIE2.0数据集
2022-11-22
篇章级事件抽取 DuEE-fin数据集
2022-11-22
句子级事件抽取 duee 数据集
2022-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人