<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Carl_changxin的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Carl_changxin</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Carl_changxin]]></copyright><item><title><![CDATA[Bert Encoder和Transformer Encoder有什么不同]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/136454241</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/136454241</guid><author>Carl_changxin</author><pubDate>Mon, 04 Mar 2024 16:01:55 +0800</pubDate><description><![CDATA[前言：本篇文章主要从代码实现角度研究 Bert Encoder和Transformer Encoder 有什么不同？应该可以帮助你：

深入了解Bert Encoder 的结构实现
	深入了解Transformer Encoder的结构实现
本篇文章不涉及对注意力机制实现的代码研究。



注：本篇文章所得出的结论和其它文章略有不同，有可能是本人代码理解上存在问题，但是又没有找到更多的文章加以验证，并且代码也检查过多遍。



观点不太一致的文章：bert-pytorch版源码详细解读_bert pyto]]></description><category></category></item><item><title><![CDATA[nn.Embedding 理解及其参数 padding_idx含义]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/136430666</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/136430666</guid><author>Carl_changxin</author><pubDate>Sun, 03 Mar 2024 13:47:41 +0800</pubDate><description><![CDATA[误区文章：https://blog.youkuaiyun.com/weixin_38257276/article/details/114195454。看到一些文章对Embedding层理解上存在误区，故贡献一点自己的想法。]]></description><category></category></item><item><title><![CDATA[win10使用IE访问某些特殊地址的极简办法（成功有效）]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/135980477</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/135980477</guid><author>Carl_changxin</author><pubDate>Thu, 01 Feb 2024 18:55:46 +0800</pubDate><description><![CDATA[1、打开win10默认的Edge浏览器的设置：点击右上角的三个点，然后里面有个设置选项。5、在Edge中去访问你要访问的地址，就好了。前言：看了好多其它办法，都没什么作用~2、找到默认浏览器选项。3、添加你要访问的地址。]]></description><category></category></item><item><title><![CDATA[交叉验证理解]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/135508756</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/135508756</guid><author>Carl_changxin</author><pubDate>Wed, 10 Jan 2024 17:26:12 +0800</pubDate><description><![CDATA[2、k-折交叉验证，就是把数据集分成k份，其中k-1份作为训练集，剩下的1份作为测试集，于是模型可以训练k次，每次训练好的模型都在不同的测试集上得到一个指标比如是acc，把k次的指标取平均值，可以更好地，更准确地，更客观地知道模型的表现或者效果。即每种参数选择之后，都是用k-折交叉验证，获取当前参数下，模型的综合水准，然后比较哪种参数情况下，模型的综合表现效果最好。1、将数据切分成单一的训练集和测试集，然后用测试集去验证模型的效果，是不那么可靠的，有可能刚好这部分测试集更容易被训练好的模型拟合。]]></description><category></category></item><item><title><![CDATA[python使用SQLAlchemy连接国产化数据库高斯DB（OpenGauss）]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/131080839</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/131080839</guid><author>Carl_changxin</author><pubDate>Wed, 07 Jun 2023 10:23:15 +0800</pubDate><description><![CDATA[这使得安装速度更快，因为它不需要编译过程。我们现在要让SQLAlchemy去连接OpenGauss，OpenGauss对应的驱动程序是psycopg2，需要先安装psycopg2包，可以安装psycopg2-binary，更简单、方便（pip install psycopg2-binary）。也就是说，要用SQLAlchemy操作数据库，需要安装SQLAlchemy和对应的数据库驱动程序，然后就能用统一的ORM执行相应的操作，即使数据库改变了，程序也不需要变动，只需要更改与数据库的连接方式；]]></description><category></category></item><item><title><![CDATA[oracle创建带有自增字段和自动更新时间的表]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/125655143</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/125655143</guid><author>Carl_changxin</author><pubDate>Thu, 07 Jul 2022 11:11:49 +0800</pubDate><description><![CDATA[oracle创建表，时间字段，自增id]]></description><category></category></item><item><title><![CDATA[Keras使用load_weights加载模型之后，没有predict方法]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/125067556</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/125067556</guid><author>Carl_changxin</author><pubDate>Tue, 31 May 2022 15:55:10 +0800</pubDate><description><![CDATA[有可能你是这么写的，按图片中修改即可：


]]></description><category></category></item><item><title><![CDATA[docker 操作]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/124960996</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/124960996</guid><author>Carl_changxin</author><pubDate>Wed, 25 May 2022 10:16:53 +0800</pubDate><description><![CDATA[docker中镜像和容器的区别：1、镜像是包含了各种环境或者服务的一个模板，而容器是镜像的一个实例；2、镜像是不能运行的，是静态的，而容器是可以运行的，是动态的。


1、镜像操作
（0）查看版本
docker --version

（1）列出镜像
docker image ls -a

REPOSITORY：镜像所在的仓库名称
TAG：镜像标签
IMAGEID：镜像ID
CREATED：镜像的创建日期(不是获取该镜像的日期)
SIZE：镜像大小

（2）从镜像去启动一个容器，也就是创建一个容器实例
doc]]></description><category></category></item><item><title><![CDATA[git push 有冲突，pycharm解决]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/123112662</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/123112662</guid><author>Carl_changxin</author><pubDate>Tue, 08 Mar 2022 16:22:54 +0800</pubDate><description><![CDATA[1、上传
本地文件–add-&gt;缓冲区–commit–&gt;本地仓库–push–&gt;远程仓库
（1）git ls-files 查看缓冲区内有哪些文件;
git add 是将本地文件存到缓冲区；
git restore --staged 是将缓冲区文件撤出缓冲区；
git resore 将不在暂存区的文件撤销更改；
（2）git status  用于查看在你上次提交之后是否有对文件进行再次修改；
会显示文件有如下几种状态：
Changes to be committed  当前文件已经在缓冲区，可以]]></description><category></category></item><item><title><![CDATA[终于解决了模型训练每次结果不同的问题]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/122619926</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/122619926</guid><author>Carl_changxin</author><pubDate>Fri, 21 Jan 2022 13:58:26 +0800</pubDate><description><![CDATA[1、解决方法
1、确保训练过程中每个epoch的数据之间是不同的，但是又要保证每次实验中的所有epoch数据是相同的；
def batch_iter2(x, y, seed_id, batch_size):
    """生成批次数据"""
    data_len = len(x)
    num_batch = int((data_len - 1) / batch_size) + 1
    np.random.seed(seed_id)  # 设置每个epoch的随机种子，保证每个epoch的数据不同]]></description><category></category></item><item><title><![CDATA[集成模型1]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/120666152</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/120666152</guid><author>Carl_changxin</author><pubDate>Wed, 12 Jan 2022 09:57:11 +0800</pubDate><description><![CDATA[参考：https://blog.youkuaiyun.com/hellozhxy/article/details/82143554
参考：https://blog.youkuaiyun.com/liulina603/article/details/78742614

1、策略:Bagging和Boosting

将弱分类器转换成强分类器，常用的方式有两种：Bagging和Boosting

Bagging即套袋法，其算法过程如下：
A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping（Bootstrapi.]]></description><category></category></item><item><title><![CDATA[其实挺简单：RNN的反向传播]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/122192696</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/122192696</guid><author>Carl_changxin</author><pubDate>Tue, 28 Dec 2021 18:02:56 +0800</pubDate><description><![CDATA[1、一个结构和两个公式

st=f(U⋅xt+W⋅st−1)s_t=f(U\cdot x_t+W\cdot s_{t-1})st​=f(U⋅xt​+W⋅st−1​)
ot=g(V⋅st)o_t=g(V\cdot s_t)ot​=g(V⋅st​)
2、简要说明反向传播
    在训练过程中，我们会进行前向传播，得到每一时刻的预测值，在RNN中预测值就是oto_tot​，这些预测值oto_tot​和真实值yty_tyt​之间存在误差，利用这一点我们可以想办法构造出损失函数，常见的是交叉熵损失，则对于每一时刻的损]]></description><category></category></item><item><title><![CDATA[余弦相似度证明]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/122173619</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/122173619</guid><author>Carl_changxin</author><pubDate>Mon, 27 Dec 2021 16:24:54 +0800</pubDate><description><![CDATA[1、余弦定理证明
定理：给定任意一个三角形，其夹角余弦为：cos(θ)=a2+b2−c22abcos(\theta)=\frac{a^2+b^2-c^2}{2ab}cos(θ)=2aba2+b2−c2​

证明：
做红色辅助线，有，
c=b⋅cos(α)+a⋅cos(β)c=b\cdot cos(\alpha)+a\cdot cos(\beta)c=b⋅cos(α)+a⋅cos(β)
则，
c2=bc⋅cos(α)+ac⋅cos(β)c^2=bc\cdot cos(\alpha)+ac\cdot cos(\]]></description><category></category></item><item><title><![CDATA[pytorch和cuda的版本匹配]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/121538823</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/121538823</guid><author>Carl_changxin</author><pubDate>Thu, 25 Nov 2021 15:24:58 +0800</pubDate><description><![CDATA[https://pytorch.org/get-started/previous-versions/

]]></description><category></category></item><item><title><![CDATA[git常用操作总结]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/119911072</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/119911072</guid><author>Carl_changxin</author><pubDate>Wed, 25 Aug 2021 14:48:01 +0800</pubDate><description><![CDATA[1、本地仓库 &amp; 远程仓库
1、创建本地仓库
	git init
2、链接远程仓库，默认名称是origin
	git remote add origin https://github.com/coding-xian/my-nlp.git
3、查看链接到的远程仓库地址
	git remote -v
	注意：会显示fetch和push两行，其中fetch标识的是远程仓库到本地仓库的地址（从哪里获取），
push标识的是本地仓库提交到的远程仓库地址（推送到哪里去）；
4、删除本地仓库和远程仓库的链接（如果]]></description><category></category></item><item><title><![CDATA[在windows上安装第二个版本的cuda]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/119716928</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/119716928</guid><author>Carl_changxin</author><pubDate>Sun, 15 Aug 2021 22:28:08 +0800</pubDate><description><![CDATA[1、先看看版本匹配图
查看电脑驱动版本，也就是下面红色框框中的版本怎么查

直接输入nvidia-smi命令查询

你可能会遇到如下问题

GPU之nvidia-smi命令详解
Windows NVIDIA Corporation下没有NVSMI文件夹解决方法
找不到nvidia-smi命令怎么办：需要安装环境变量


说明，图片里显示的是我电脑的驱动可支持的CUDA最高版本是11.0，我已经在电脑上安装了cuda-10.1，现在我想再安装一个cuda-10

2、查看tensorflow-gpu版本、cu]]></description><category></category></item><item><title><![CDATA[linux压缩和解压]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/119649021</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/119649021</guid><author>Carl_changxin</author><pubDate>Thu, 12 Aug 2021 17:28:20 +0800</pubDate><description><![CDATA[1、有关tar的压缩命令、解压命令
dirname 表示文件或者文件夹
（1）dirname -&gt; filename.tar

压缩：tar czvf filename.tar dirname
解压： tar zxvf filename.tar

（2）dirname -&gt; filename.tar.gz

压缩：tar zcvf filename.tar.gz dirname
解压：tar zxvf filename.tar.gz

（3）dirname -&gt; filename.tar.]]></description><category></category></item><item><title><![CDATA[pytorch框架（1）安装那些破 ~ 事]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/119548825</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/119548825</guid><author>Carl_changxin</author><pubDate>Tue, 10 Aug 2021 01:27:17 +0800</pubDate><description><![CDATA[本文将介绍如何安装pytorch，包括cpu版本和gpu版本，conda安装，pip安装]]></description><category></category></item><item><title><![CDATA[将tensorflow版本的预训练模型转换成pytorch版本的]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/118759617</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/118759617</guid><author>Carl_changxin</author><pubDate>Thu, 15 Jul 2021 15:11:06 +0800</pubDate><description><![CDATA[参考：https://blog.youkuaiyun.com/qq_38880498/article/details/99867033

1、安装pytorch

2、安装pytorch-transformers

3、下载模型，例如bert-base-chinese

4、转换



5、改名

【转换后的结果】



【修改目录名称、修改文件名称、可以删除ckpt文件】



这样就得到了转换好的模型

6、使用


import torch
from pytorch_transformers import B..]]></description><category></category></item><item><title><![CDATA[from tensorflow.python.eager.context import get_config报错]]></title><link>https://blog.youkuaiyun.com/Carl_changxin/article/details/117427911</link><guid>https://blog.youkuaiyun.com/Carl_changxin/article/details/117427911</guid><author>Carl_changxin</author><pubDate>Mon, 31 May 2021 20:20:56 +0800</pubDate><description><![CDATA[一定是keras和tensorflow版本不匹配的问题

https://docs.floydhub.com/guides/environments/
]]></description><category></category></item></channel></rss>