- 博客(26)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Normalized Gini Coefficient
在github看到一个开源项目，deepFM，即https://github.com/ChenglongChen/tensorflow-DeepFM。代码中使用了Normalized Gini Coefficient评价指标。这篇博客系统介绍了Normalized Gini Coefficient指标。https://blog.youkuaiyun.com/u010665216/article/details/78528261我对文中一些公式和代码做一些补充说明。1 gini系数文中这里对公
2020-11-05 17:22:56
1747
1
原创 Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try loo
tensorflow/keras 引入Conv2D报错tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. [Op:Conv2D]解决方案
2020-10-01 16:29:16
336
转载 关于keras.backend.clear_session()
https://blog.youkuaiyun.com/ssswill/article/details/90211223顾名思义，clear_session就是清除一个session。而session就是tensorflow中我们常见的会话。来自：https://stackoverflow.com/questions/50895110/what-do-i-need-k-clear-session-and-del-model-for-keras-with-tensorflow-gpu简单说一下。很常见的场
2020-06-09 10:43:11
3122
转载 np.random.permutation()解析
https://blog.youkuaiyun.com/weixin_44188264/article/details/93752505np.random.permutation()：随机排列序列。例1：对0-5之间的序列进行随机排序例2：对一个list进行随机排序多维度的咋回事？来看一个例子：a矩阵输出为：现在看c矩阵，我运行了两次：第一次运行结果：然后，我又运行了一次：通过这个例子可以看出，对于一个多维的输入，只是在第一维上进行了随机排序。对这个这个3×3矩阵
2020-06-09 10:27:45
2216
原创 关于GPT2Tokenizer的一些发现
在使用transformers里的GPT2Tokenizer时，看到一句话：GPT-2 BPE tokenizer. Peculiarities: Byte-level Byte-Pair-Encoding Requires a space to start the input string => the encoding methods should be called with theadd_prefix_spaceflag set toTrue. Otherwis...
2020-06-08 20:01:53
8504
2
转载 pytorch中contiguous()
fromhttps://blog.youkuaiyun.com/appleml/article/details/80143212contiguous：view只能用在contiguous的variable上。如果在view之前用了transpose, permute等，需要用contiguous()来返回一个contiguous copy。一种可能的解释是：有些tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这.
2020-06-06 22:24:41
655
转载 Python类__call__()方法
fromhttps://www.cnblogs.com/lyu454978790/p/8630215.html__call__()：Python中，只要在创建类型的时候定义了__call__()方法，这个类型就是可调用的。Python中的所有东西都是对象，其中包括Int/str/func/class这四类，它们都是对象，都是从一个类创建而来的。元类就是创建这些对象的东西，type就是Python的内建元类。其中，func是可调用的对象，说明在创建它的类型（父类或它本身）的时候，定义了__cal.
2020-06-06 21:40:03
266
原创 关于Pytorch中detach
1 首先没有detach的情况定义了一系列操作，如下，中间结点y1和y2没有梯度。没有采取detach。import torchw1 = torch.tensor([2.], requires_grad=True)# print(w1.type()) # torch.FloatTensorw2 = torch.tensor([4.], requires_grad=True)w3 = torch.tensor([6.], requires_grad=True)w4 = torch.te
2020-05-31 12:44:23
3930
1
转载 Pytorch | 自动求导机制下tensor的各个属性
fromhttps://www.jianshu.com/p/96a687ecbac4 grad 该属性值默认为None，在第一次调用backward()方法后，该值会附上一个数值，并且grad属性值会在之后的每次调用backward()方法时进行累计，这就是为什么我们在训练网络时，每次迭代计算backward()之前需要进行zero_grad的操作的原因。 requires_grad 若当前tensor需要被计算梯度，则该属性值需要为True，否则该属性值为False。但是需要注意的是.
2020-05-31 10:36:06
718
1
原创 tensorflow 制作mask lm数据
采用一种简单的方式，截取每个样本前512个字符。随机mask一些词，其中80%被mask掉的词使用特殊符号代替，如[MASK]，10%使用随机词替代，10%使用原本的词替代。参考transformers开源代码，如下：def mask_tokens(self, inputs: torch.Tensor) -> Tuple[torch.Tensor, torch.Tensor]: labels = inputs.clone() # We sample a few tokens in
2020-05-29 10:11:37
1680
原创 tensorflow 2.x 修改tensor中某些元素
tf中直接使用下标赋值会报错误TypeError: 'tensorflow.python.framework.ops.EagerTensor' object does not support item assignment修改tensor方法1fromhttps://blog.youkuaiyun.com/Strive_For_Future/article/details/82426015主要思想:假设tensor为4行5列，要修改位置为(2,3)，将该位置元素修改为A。方法：生成一个矩阵，该矩阵.
2020-05-28 11:43:37
7411
1
原创 tf.keras.losses.sparse_categorical_crossentropy和tf.keras.losses.SparseCategoricalCrossentropy
1 tf.keras.losses.sparse_categorical_crossentropy是一个函数。返回每个样本的损失。等价于:tf.keras.backend.sparse_categorical_crossentropy2 tf.keras.losses.SparseCategoricalCrossentropy是一个类。可以返回每个样本的损失，可以返回所有样本的累加损失，可以返回样本的平均损失。参数 reduction:reduction=tf.ke.
2020-05-25 20:53:42
4520
原创 Fields with a default value must come after any fields without a default.
排错Fields with a default value must come after any fields without a default.原始程序:@dataclassclass DataTrainingArguments: """ Arguments pertaining to what data we are going to input our model for training and eval. """ data_dir: str = .
2020-05-23 09:51:28
1100
原创 Transformers 之Glossary(术语)
https://huggingface.co/transformers/glossary.html1Input IDs模型的输入，为序列经过tokenize之后的数字表示。推荐使用encode 或encode_plus方法。这两个方法会自动加上[CLS]、[SEP]等标记。The input ids are often the only required parameters to be passed to the model as input.They are token indices,..
2020-05-12 10:09:34
1191
原创 transformers学习1 quickstart
https://github.com/huggingface/transformers1BERT exampleBertTokenizer.from_pretrained:Instantiate a :class:`~transformers.PreTrainedTokenizer` (or a derived class) from a predefined tokenizer.实例化一个tokenizer。tokenizer.tokenize(text)：Converts a stri.
2020-05-12 09:05:56
481
原创 使用正则表达式去掉所有指定字符
如字符串str1 = 'am I am am am am am pop pop sw sd amw amam wam wwam am'要求去掉所有am，但是像amam、wam等不需要去除。考虑：1 am可能在str1开头。2 am可能在str1中间。3 am可能在str1结尾。4 对于str1中某个单词来说 am又有可能出现在每个单词的开头、中间、结尾。5 对于要...
2020-04-24 10:45:25
16770
原创 tensorflow2.X中BatchNormalization
BatchNormalization即对所有样本归一化，典型的图片的例子，设某一层输入shape为(m, h, w, c),其中m为样本数，h为高，w为宽，c为通道数，应用公式(x-mean)/st(实际公式不是这个，这只是简化版)，这里的mean的shape为(c,),即对于每一个通道，使用全部样本的这个通道进行归一化。tensorflow2.X定义如下:tf.keras.layers...
2020-04-22 19:30:12
3513
原创 关于tensorflow中layernormalization
众所周知循环神经网络不是十分适合LayerNormalization关于LayerNormalization:https://blog.youkuaiyun.com/liuxiao214/article/details/81037416LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差；即假设图片shape为(m, h, w, c) m为批量大小，h为高 w为宽 c为通道应...
2020-04-22 18:16:41
15413
原创 tensorflow module 'tensorflow_core.keras.experimental' has no attribute 'export_saved_model'
版本tensorflow2.1.0将图形和变量导出为与平台无关的 SavedModel 格式。 保存模型后，可以在有或没有 scope 的情况下加载模型。path = 'saved_model/'tf.keras.experimental.export_saved_model(model, path)报错如下:AttributeError: module 'tensorflo...
2020-04-10 11:51:44
3281
1
原创 keras 循环神经网路 return_sequences和return_state
RNN我一直以为循环神经网络的输出时上边的y，实际上输出的是akeras 的SimpleRNNkeras.layers.SimpleRNN(units, activation='tanh', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_ini...
2020-03-28 17:14:58
823
原创 keras LearningRateScheduler 使用
keras文档keras.callbacks.LearningRateScheduler(schedule, verbose=0)参数schedule: 一个函数，接受epoch作为输入（整数，从 0 开始迭代） 然后返回一个学习速率作为输出（浮点数）。 verbose: 整数。 0：安静，1：更新信息。例子：from keras.models import Sequenti...
2020-03-27 23:50:24
6856
翻译 Johnson's SU-distribution
from https://en.wikipedia.org/wiki/Johnson%27s_SU-distribution#opennewwindow1 公式实际就是z(x)=...假设U是一个随机变量，服从于[0, 1]之间的均匀分布，上面公式的x由如下公式产生其中是累积分布函数（cumulative distribution function）维基百科截图...
2020-03-23 15:54:28
2004
原创 github出现fatal: $HOME not set
一次在脚本里写这两句:gitconfig--globaluser.name"yournamehere"gitconfig--globaluser.email"youremail@example.com"报错为fatal: $HOME not set最终的解决办法为将上述两行改为git config --system user.email "your...
2019-08-31 19:48:26
5466
原创 关于python3的‘+=‘ 和‘=’的一些发现
a=5a=a+5print(a)和a = 5a += 5print(a)这两段代码都是输出10，我一直以为类似上边的+=和=是一样的，不过下面的2段代码:def f(x): x += [10, 11, 12, 13, 14, 15] return x a = [1, 2, 3, 4, 5]b = f(a)print(b) ...
2019-05-22 14:06:10
2004
翻译 sql学习之查询没有外键关联的两个表
要求:查询员工信息： 员工号 姓名 月薪 工资级别【员工表和级别表是没有外键关联的】工资级别表:员工表:查询员工信息： 员工号 姓名 月薪 工资级别：select e.empno,e.ename,e.sal,s.grade from emp e,salgrade s where e.sal between s.losal and s.hisal...
2019-05-18 21:28:11
4268
原创 keras处理已保存模型中的自定义层（或其他自定义对象）
这里针对model.save(filepath)所保存的模型的加载官网中文文档:如果要加载的模型包含自定义层或其他自定义类或函数，则可以通过custom_objects参数将它们传递给加载机制：from keras.models import load_model# 假设你的模型包含一个 AttentionLayer 类的实例model = load_model('my_mo...
2019-05-14 20:44:31
5999
3
Capsule.h5
2019-05-14
java调试问题，可以运行，但是不能调试
2017-12-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人