qq_18310041的博客

1.阅读配置参数的 Config.py 文件完整代码如下：#coding:utf-8class Config(object): data_dir = 'Data/' vec_file = 'Data/vec.txt' init_scale = 0.04 learning_rate = 0.001 max_grad_norm = 10 #梯度剪裁...

1. 数据预处理文本分词、替换文本中特殊符号、去除低频词（Counter 计数器，统计字符出现的个数）、单词映射表# 筛选低频词words_count = Counter(words)words = [w for w in words if words_count[w] > 50]# 构建映射表vocab = set(words)vocab_to_int = {w: c ...

Internal Covariate ShiftInternal Covariate Shift 问题：训练过程中，由于深层网络中参数变化，引起内部结点数据分布发生变化。而ICS使得后层网络不断调整以适应输入数据分布的变化，导致学习率的降低；并且ICS使得网络训练容易陷入梯度饱和区，减缓收敛速度。为了减缓ICS问题，可以固定每一层网络输入值的分布，具体方法为白化、BN。白化白化（W...

首先需要卸载运行环境安装的tensorflow-cpu：pip uninstalltensorflowconda remove tensorflow检查运行环境的cuda，注意不是系统默认的python环境：查询当前环境下的库的版本号可使用以下命令：conda list cudnnconda list cudaconda list tensorflow以下两行命令...

激活函数的性质1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。2. 可微性：可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU，只满足几乎处处可微（即仅在有限个点处不可微）。对于SGD算法来说，由于几乎不可能收敛到梯度接近零的位置，有限的不可微点对于优化结果不会有很大影响。3. 计算简...

前段时间，我突然有了一个想法，“框架总有新的出现，重要的是其中的包含的算法思想和设计方式”，深度学习比起机器学习，理论更加简洁，全靠网络的训练，于是我打算研究一下TensorFlow 的源代码。目前在网上找到的资料就是这本《TensorFlow 内核剖析》，感谢大佬的分享。（项目链接：https://github.com/horance-liu/tensorflow-internals）以下是...

经上一篇博文，相信模型的环境准备已经完成啦！接下来我们需要根据不同的任务，使用BERT提高准确率。此篇讲的是文本的分类：1.数据的格式需要准备3个文件，分别是训练集、验证集、测试集，格式相同，每行为一个类别+文本，用“\t”间隔。（如果选择其他间隔符，需要修改run_classifier.py中_read_tsv方法）。2.修改run_classifier.py(1)添加...

经过楼主的各种挣扎，终于成功地安装好了tensorflow，参考网上的各种教程遇到很多坑，导致进度缓慢，下面进行最后总结。首先，在安装tensorflow之前需要先安装cuda和cudnn，这个楼主之前并不知道，结果饶了一大圈子。1.cudaVIDIA CUDA 解析工具的接口，libcupti-dev 库。该库提供了更高级的分析工具支持。要安装这个库，对 CUDA Toolkit 8....