- 博客(110)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 ValueError: setting an array element with a sequence in Python
list或者array在取值时，例如：a=[1,2,3]，取第一个元素是a[0]，而不能是a[[0]]
2022-05-10 18:04:33
632
原创 pytorch bert to paddle 模型转化
使用transformers[onnx]和xpaddle进行torch模型到paddle模型的转化。
2022-05-06 22:16:42
1004
原创 Torch和Numpy的高级索引，即，方括号中还有一个Tensor或Numpy
首先把new_token_embeddings当陈一个字典，包含5个字，每个字的含义是1024维。然后，**input_flags的 每个位置上的值就是去这个字典中查这个字对应的含义**。input_flags有多少个字呢？8 × 512，所以最终查询的结果是，大声告诉我，8 × 512 × 1024，对！
2022-04-07 16:57:50
1923
原创 【BUG】conda install datasets 出现很多冲突
conda install -c huggingface -c conda-forge datasets
2022-03-04 21:00:51
856
原创 【报错】unknown error: DevToolsActivePort file doesn‘t exis
option.add_argument("--remote-debugging-port=9222")
2021-10-28 10:15:08
7228
9
原创 【报错】[3772:3772:1027/145318.178495:ERROR:browser_main_loop.cc(1473)] Unable to open X display.
google-chrome --headless --disable-gpu --no-sandbox
2021-10-27 14:58:10
2217
原创 【连招】Pytorch Tensor 索引元素并判断是否为空
场景：我们对logits判断是否有大于0.5的元素，然后判断返回结果是否为空，如果为空，标记为无标签，否则标记为该元素的索引作为标签。
2021-09-10 11:18:12
2969
原创 【正则】匹配内容多了^
原来的re库，要匹配多个非目标字符需要加上多个`^`符号，但现在，将不想匹配的字符写在一个`^`后面即可，不用加多个`^`符号。
2021-09-04 11:28:36
242
原创 pandas.fillna() 函数细节
fillna 中的na究竟是哪些东西？这个na居然还包括None，我就觉得不可思议，mark一下。import pandas as pdimport numpy as npa = [1, np.NaN, np.nan, np.NAN, None, 'None']a = pd.DataFrame(a)a.fillna('111')输出：延伸阅读np.nan np.NAN np.NaN 有什么区别？没区别。...
2021-08-30 20:38:14
367
原创 np.nan np.NAN np.NaN
np.nannp.NANnp.NaN这三个都是numpy库中的非数字类的表示方法。本质上这三个是一样的，但是很多人发现用==测试他们不相等，但实际应该用is进行等价测试。import numpy as npprint(np.nan == np.NaN)print(np.nan is np.NaN)输出：...
2021-08-30 20:37:16
1147
原创 ImportError: dlopen(): Library not loaded: @rpath/libtorch_cpu.dylib Referenced from: /torchtext/_to
ImportError: dlopen(//spert/lib/python3.7/site-packages/torchtext/_torchtext.so, 2): Library not loaded: @rpath/libtorch_cpu.dylib Referenced from: //spert/lib/python3.7/site-packages/torchtext/_torchtext.so Reason: image not found
2021-08-17 16:12:13
1629
原创 mean_average_precision_at_r
这个指标的优点在于引入了：不同位置（距离的远近）的点对指标值的大小的贡献不同，这也比较符合认知，我们希望，如果有一个query，距离它最近的都是同类别的embedding，在预测时才能有一个比较好的表现。
2021-08-01 15:44:23
258
原创 【基操】torch.stack的使用场景
多个 tensor 合并成一个大tensorif isinstance(inputs, list): inputs = torch.stack(inputs)例如：inputs 是一个list， 其中有几个相同维度的 tensor，那么可以将其使用stack，合并成更高维度的 tensor。
2021-07-28 10:43:53
235
原创 faiss-cpu 使用conda安装
# 更新condaconda update conda# 先安装mklconda install mkl# faiss提供gpu和cpu版，根据服务选择# cpu版本conda install faiss-cpu -c pytorch另附：https://www.cnblogs.com/sug-sams/p/12607662.html
2021-07-19 19:52:31
535
原创 【正则】只保留中文、英文的正则表达式
# 只保留中文 s_zh = re.sub(r"[^\u4e00-\u9fa5 ]+", '', s) # 只保留英文 s_en = re.sub(r"[^a-zA-Z ]+", '', s)
2021-07-18 17:34:15
5013
原创 【Pytorch】 如何固化参数？
经常听到Pytorch模型中有人讲要固化参数，那么怎么固化参数呢？“固化”就是固定参数，不要改变的意思。那么参数什么时候会发生改变呢，就是在损失函数对参数求导数的时候，然后参数会更新，那么我们只要阻止参数求导，令其在更新时的改变量为0，即固化参数。# freeze all transformer weightsfor param in self.model.parameters(): param.requires_grad = False下面是对有些NLP基础的人说的：一般的用法是把mo
2021-07-13 20:14:50
1499
4
转载 【mac】mac安装wget
First, download and run MacPorts installer (.pkg)And then install wget:sudo port install wget[1] https://stackoverflow.com/questions/33886917/how-to-install-wget-in-macos
2021-07-13 16:15:29
302
原创 【Python基础】从__hash__语法深入理解Python中的哈希 hash
总结，我们**重写**`_hash__`（记住这里是重写，因为默认是可hash的，所以本身会有该函数）的场景就是，如果我们新创建的类，需要保证值不重复性就可以进行进行重写，另外不要忘记还要重写`__eq__`函数。
2021-07-12 21:16:09
3236
原创 vocab.get(word, vocab.get(UNK))
在自然语言处理中为tokenize后的句子进行转化成id时会用到，该代码的意思是，如果在词表vocab中有word这个单词，那么就取出它的id；如果没有，就去除UNK（未知词）对应的id，其中UNK表示所有的未知词（out of vocab）都对应该id，对应到下一步取词向量时，该id对应的词向量就表示所有未知词语义的平均。...
2021-07-06 22:49:13
1381
2
原创 【BUG】Solving environment: failed ResolvePackageNotFound: - xz==5.2.5=h62dcd97_0 - ...
问题原因：Linux和Windows的conda环境不能直接移植。
2021-05-10 18:33:30
1195
2
原创 【Pandas】DataFrame新增加一行数据
我从文件中读取了一个DataFrame，但是呢，我做了一些判断需要保留若干行数据，并且是不连续，根据不同列的不同性质保留。
2021-04-27 23:34:23
2594
原创 python转换long型日期时间，/Date(1577808000000)/，/Date(-62135596800000)/
这个格式是long型的日期时间格式，有时会在数据库存储这个类型的数据。使用timedate库，python便可以处理该类型的数据。
2021-02-22 15:53:01
2285
原创 Python项目部署服务器
virtualenv创建虚拟环境：https://blog.youkuaiyun.com/qq_36441027/article/details/111182378?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLear
2021-02-08 17:16:03
142
原创 【BUG】PyCharm的项目突然消失，源文件也没了，Java路径也没了，Java版本也不对了
今日奇遇写着写着代码，PyCharm的项目突然消失，源文件也没了，Java路径也没了，Java版本也不对了。版本是2020.3.3。解决方法首先卸载重装，不要管什么Java版本和路径的问题。重装完成后，启动PyCharm。将左侧的Project换成Project Files。然后应该会出现的丢失的项目名称，但是没有具体的项目文件。右键单击项目名称，依次选择Local History -》 Show History，然后就会出现你的历史记录，选择你文件都还在的历史。点击左上角的箭头，即可恢复
2021-02-03 10:28:07
3758
6
原创 pytorch_pretrained_bert库报错： Model name ‘pretrained\chinese_L-12_H-768_A-12‘ was not found in model
不仅要有从上下载的PyTorch版的预训练模型，**还要有vocab.txt**，你看看你的`pretrained\chinese_L-12_H-768_A-12`文件下面是不是没有vocab.txt！
2021-01-24 22:11:16
8670
24
原创 如何优雅地使用Pycharm在本地调试运行服务器上的Python程序？
本地没有GPU的我只能用服务器跑Python程序，但是无法直接调试导致我每次只好先从本地复制到服务器，再手动在终端输入“python run.py”。那么有没有办法可以本地使用服务器的Python解释器调试呢？我就给大家总结一下如何在本地使用Pycharm和Jupyter Notebook调试服务器的Python程序。
2021-01-04 23:35:10
5963
1
原创 【BUG】Keras用了multi_gpu_model，但用Nvidia-smi看只用了一块显卡GPU
解决方法很简单，在你原来使用multi_gpu_model外层加上两句代码：strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0","/gpu:1", "/gpu:2"])with strategy.scope():
2020-11-25 12:36:17
1779
8
原创 【论文精读】The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling
这篇文章是浙江大学2020年9月15号推到Arxiv上的。文章的初始出发点应该是来自，关系抽取数据集由于数据存在长尾特征，因此直接从数据中学习语义，必定是不均衡的【样本多的语义容易过拟合某个类别中的头部样本，样本少的语义容易过拟合某个类别中的单个样本】。因此采用引入外部预训练的词向量来进行语义embedding就说得通。同时又知道，我们有三种采样的方式，来进行长尾数据集的再平衡，即将长尾数据集变成某种意义上的平衡数据集。分别是instance balance， class balance和re-wei
2020-10-24 09:48:24
409
原创 【Git】【工作流】怎么从把本地项目文件夹做成一个github库？
第一种：clone的别人的库，做了一定的修改。这里需要删除项目文件夹下的掉.git文件夹，显示隐藏文件夹即可看到。第二种：自己新建的项目文件夹。
2020-10-13 17:14:35
157
原创 微软拼音 快捷输入 自定义格式的时间和日期
设置→时间和语言→语言→添加语言下面的 中文(简体中文)→选项→微软拼音→选项→词库和自学习→添加新的或编辑现有的用户自定义短语→添加。然后在提示框中输入：%yyyy%年%MM%月%dd%日 %HH%:%mm%:%ss% +0800
2020-10-13 16:47:13
6898
4
zotero-better-bibtex-5.5.4.xpi
2021-10-23
jdk-8u281-windows-x64
2021-02-03
chinese_wwm_pytorch
2021-01-26
chinese_wwm_ext_pytorch.zip
2021-01-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人