<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ccbrid的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ccbrid</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ccbrid]]></copyright><item><title><![CDATA[KeyError: Caught KeyError in replica 7 on device 7.]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/124865066</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/124865066</guid><author>ccbrid</author><pubDate>Thu, 19 May 2022 15:56:53 +0800</pubDate><description><![CDATA[可以解决问题，但总归不是长久之计：

Pytorch多GPU并行Bug收集（长期）：KeyError: Caught KeyError in replica *[device_id] on device *[device_id]._wanghan0801的博客-优快云博客在单卡训练顺利的前提下，修改为多卡训练，可谓bug多多今天用pytorch 多GPU并行训练时，在最后一个step的时候报错了，KeyError: Caught KeyError in replica 5 on device 5.如图所示]]></description><category></category></item><item><title><![CDATA[Pytorch GPU利用率低]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/124862703</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/124862703</guid><author>ccbrid</author><pubDate>Thu, 19 May 2022 15:52:16 +0800</pubDate><description><![CDATA[GPU 利用率低常见原因分析及优化 - 知乎

GPU利用率低的解决办法_Data_Designer的博客-优快云博客_gpu利用率低

https://www.youkuaiyun.com/tags/NtjaIg1sNTk3NjMtYmxvZwO0O0OO0O0O.html
]]></description><category></category></item><item><title><![CDATA[faiss问题记录]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/123358831</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/123358831</guid><author>ccbrid</author><pubDate>Tue, 08 Mar 2022 17:32:45 +0800</pubDate><description><![CDATA[当我执行一个脚本时，报错：

  import faiss
ModuleNotFoundError: No module named 'faiss'

遂：pip install faiss autofaiss -i https://pypi.tuna.tsinghua.edu.cn/simple

再次执行脚本，报错：

  import faiss
 File "/Users/sunzhuo02/anaconda3/envs/torch_py37/lib/python3.7/site-pack...]]></description><category></category></item><item><title><![CDATA[语义角色标注]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/108566208</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/108566208</guid><author>ccbrid</author><pubDate>Sun, 13 Sep 2020 19:32:57 +0800</pubDate><description><![CDATA[原文：https://www.paddlepaddle.org.cn/documentation/docs/zh/user_guides/nlp_case/label_semantic_roles/README.cn.html

背景介绍¶

自然语言分析技术大致分为三个层面：词法分析、句法分析和语义分析。

语义角色标注是实现浅层语义分析的一种方式。

在一个句子中，谓词是对主语的陈述或说明，指出“做什么”、“是什么”或“怎么样，代表了一个事件的核心，跟谓词搭配的名词称为论元。

语义角色是指论元在动词所]]></description><category></category></item><item><title><![CDATA[【ERROR】Floating point exception]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/108519282</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/108519282</guid><author>ccbrid</author><pubDate>Thu, 10 Sep 2020 17:34:05 +0800</pubDate><description><![CDATA[问题出现：

在使用旧版本的paddle(v2)时，使用from sklearn.metrics import f1_score计算多分类时，仅macro时出现这种报错



报错原因：非法运算，如分母为0

参考博客：https://blog.youkuaiyun.com/yyangzhenjie/article/details/87859506



内在原因：因为 macro算法为求出每个实体的PRF再求平均，存在某个实体的PRF值计算时分母为0的情况。



sklearn.metrics用法参考：

h...]]></description><category></category></item><item><title><![CDATA[元学习]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/106685426</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/106685426</guid><author>ccbrid</author><pubDate>Thu, 11 Jun 2020 15:02:26 +0800</pubDate><description><![CDATA[从零开始，了解元学习【机器之心】

https://www.jiqizhixin.com/articles/meta-learning-intro

针对实验“元学习”的方法有很多，具体可以分为以下几类：

https://blog.youkuaiyun.com/qq_34886403/article/details/82664879

在元学习的领域，我们不再关注获取标签。与之相反，我们尝试让机器从少量的数据中更快的学习。

从大量任务训练模型，并通过少量数据在新任务中更快地学习。

元学习的训练过程，最初是由 O.]]></description><category></category></item><item><title><![CDATA[一文学会Pytorch版本BERT使用]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/104355299</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/104355299</guid><author>ccbrid</author><pubDate>Mon, 24 Feb 2020 21:31:02 +0800</pubDate><description><![CDATA[前言：

coder们最常用的Pytorch版本的BERT应该就是这一份了吧https://github.com/huggingface/pytorch-pretrained-BERT

这份是刚出BERT的时候出的，暂且叫它旧版

我在学习使用旧版的时候粗略的记过一些笔记：https://blog.youkuaiyun.com/ccbrid/article/details/88732857

随着BER...]]></description><category></category></item><item><title><![CDATA[open-nmt参数max_generator_batches]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/104279117</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/104279117</guid><author>ccbrid</author><pubDate>Wed, 12 Feb 2020 17:23:50 +0800</pubDate><description><![CDATA[本文关于onmt的一个参数：

【max_generator_batches】



该参数被设置为默认32：

（下图为在onmt开源代码的opt.py参数文件中的默认设置）

help文档意为：

max_generator_batches为一个序列中并行运行生成器的最大的单词数量。越高越快，但占用的内存越大。设置为0禁用。

第一次看到的时候有点懵，反复确认代码后，决定将其暂时理解为模型对...]]></description><category></category></item><item><title><![CDATA[三种rouge测评方法]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/104117338</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/104117338</guid><author>ccbrid</author><pubDate>Thu, 30 Jan 2020 18:20:39 +0800</pubDate><description><![CDATA[1. 坑爹的rouge安装

2. rouge4chinese（不用安装，拿来直接用，中文）

https://github.com/hpzhao/nlp-metrics/tree/master/ROUGE4Chinese

3. sumeval（安装很简单，安完直接用，英文）

https://github.com/chakki-works/sumeval

我的使用过程：

1）安装：pip ...]]></description><category></category></item><item><title><![CDATA[torchtext.data 的 Field, RawField]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103877009</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103877009</guid><author>ccbrid</author><pubDate>Tue, 07 Jan 2020 17:02:34 +0800</pubDate><description><![CDATA[今天试图更改open-nmt代码时，在preprocess阶段发现一处代码：


    fields = inputters.get_fields( 
        opt.data_type,
        src_nfeats,
        tgt_nfeats,
        dynamic_dict=opt.dynamic_dict,
        src_truncate=...]]></description><category></category></item><item><title><![CDATA[面经 | NLP算法岗（作业帮）]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103858733</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103858733</guid><author>ccbrid</author><pubDate>Mon, 06 Jan 2020 15:43:27 +0800</pubDate><description><![CDATA[这是我面的第一家公司，也是拿到的第一个offer

师兄和面试官都给我留下很深刻的印象

(悄悄:得知公司业务很强，利润很大



面试体验

a. 作业帮的提前批面试时间相对较早，今年是在7/8月份

b.面试内容更侧重编程和逻辑题，项目没有问的非常深入

c.面试体验很好，面试官都很nice，流程很快，衔接很好



一面

编程题：


	逆时针打印数组

	（剑指offer 和 ...]]></description><category></category></item><item><title><![CDATA[Open-NMT 使用笔记]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103660320</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103660320</guid><author>ccbrid</author><pubDate>Mon, 23 Dec 2019 10:27:40 +0800</pubDate><description><![CDATA[官网：https://opennmt.net

是什么：是一个开源NMT工具

OpenNMTis an open source ecosystem for neural machine translation and neural sequence learning.

来源：由哈佛NLP组推出，诞生于2016年年末，主版本基于Torch, 默认语言是Lua

GitHub：https://...]]></description><category></category></item><item><title><![CDATA[`pip install -e .` vs`python setup.py install`]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103635482</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103635482</guid><author>ccbrid</author><pubDate>Fri, 20 Dec 2019 17:04:42 +0800</pubDate><description><![CDATA[https://www.jb51.cc/python/241778.html
]]></description><category></category></item><item><title><![CDATA[对话摘要 | 抽取式与生成式 | 数据集与baseline]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103597213</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103597213</guid><author>ccbrid</author><pubDate>Wed, 18 Dec 2019 22:05:30 +0800</pubDate><description><![CDATA[背景：由于CVAE在summary_yxu的代码和讯飞的自己提取出来的对话数据集上，初见成效，于是这次用在一些官方的数据集上和一些对话摘要的baseline上试一下，万一效果也好呢？

NOTE：再次提醒自己这次一定要用心，用心！

一、文本摘要与对话摘要数据集对比


	文本摘要
	
	全文没有对话信息
	DUC/TAC    英文|数据集较小|适用于传统摘要方法的评估
	Gigaword...]]></description><category></category></item><item><title><![CDATA[tensorflow dataset到底有哪些数据集]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103513389</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103513389</guid><author>ccbrid</author><pubDate>Thu, 12 Dec 2019 18:00:55 +0800</pubDate><description><![CDATA[首先来看一下，tensorflow dataset都集成了哪些数据集


&gt;&gt;&gt; import tensorflow_datasets as tfds
&gt;&gt;&gt; print(tfds.list_builders())
['bair_robot_pushing_small', 'cats_vs_dogs', 'celeb_a', 'celeb_a_hq', 'cif...]]></description><category></category></item><item><title><![CDATA[一次GAN项目背景下的tensorflow_datasets中mnist数据集的下载笔记]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103491467</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103491467</guid><author>ccbrid</author><pubDate>Thu, 12 Dec 2019 17:36:52 +0800</pubDate><description><![CDATA[起因：帮我可爱的妹子跑一个GAN的代码（已有，github），这回是在我自己实验室的服务器上（到了展现我男友力的时候了！激动！）

我的背景：第一次 | 正式使用tensorflow | 要开始排坑了 | 我爱Pytorch | 用之前碎碎念

项目地址：https://github.com/google/compare_gan（很基础的一个GAN代码，谷歌大佬发布的）

项目论文：https:/...]]></description><category></category></item><item><title><![CDATA[【ERROR】TypeError: expected bytes, Descriptor found]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103425627</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103425627</guid><author>ccbrid</author><pubDate>Fri, 06 Dec 2019 16:55:49 +0800</pubDate><description><![CDATA[起因：

帮我可爱的妹子在windows电脑上，尝试跑通一个tensorflow的GAN代码



报错信息：


TypeError: expected bytes, Descriptor found



出错位置：


Traceback (most recent call last):
  File "&lt;stdin&gt;", line 1, in &lt;module&gt;
...]]></description><category></category></item><item><title><![CDATA[GitHub使用笔记]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103354763</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103354763</guid><author>ccbrid</author><pubDate>Tue, 03 Dec 2019 09:13:34 +0800</pubDate><description><![CDATA[Github是什么：这个星球上最流行的开源托管服务



如何建立自己的GitHub仓库？

1. 打开官网，并注册自己的帐号（官网：https://github.com/）

2. new一个新仓库









此时你的电脑已经复制了这段信息

3. 在保证你的电脑已经安装了git的情况下，从git Bash(Windows)或iTerm(Mac)进入你想上传的文件夹的上一级目录里，输...]]></description><category></category></item><item><title><![CDATA[【ERROR】AttributeError: 'BatchNorm2d' object has no attribute 'track_running_stats']]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103333960</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103333960</guid><author>ccbrid</author><pubDate>Sun, 01 Dec 2019 22:51:54 +0800</pubDate><description><![CDATA[起因：

一份很久之前（2018年）的项目代码image caption，今天想重新运行模型测试文件，却出现了如下错误



报错信息：

AttributeError: 'BatchNorm2d' object has no attribute 'track_running_stats'



报错位置：


  File "/users4/zsun/pytorch/paper_image_...]]></description><category></category></item><item><title><![CDATA[apex 安装/使用 记录]]></title><link>https://blog.youkuaiyun.com/ccbrid/article/details/103207676</link><guid>https://blog.youkuaiyun.com/ccbrid/article/details/103207676</guid><author>ccbrid</author><pubDate>Wed, 27 Nov 2019 15:20:38 +0800</pubDate><description><![CDATA[一、apex

是什么：混合精度

什么用：提升GPU上的训练速度

GitHub：https://github.com/NVIDIA/apex

API文档：https://nvidia.github.io/apex

使用要求：


Python 3

CUDA 9 or newer

PyTorch 0.4 or newer. The CUDA and C++ extensions req...]]></description><category></category></item></channel></rss>