<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wanghan0801的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wanghan0801</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wanghan0801]]></copyright><item><title><![CDATA[字节抖音电商NLP算法一面]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/119463757</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/119463757</guid><author>wanghan0801</author><pubDate>Fri, 06 Aug 2021 21:40:12 +0800</pubDate><description><![CDATA[这是今年秋招第一面，没怎么准备，一直在弄论文，两年前的面试经验都忘了，磕磕巴巴的，算法题也没做出来，唉，还是得刷题啊。来记录一下面试吧，给大家一个参考

1、自我介绍+随便将一个最近做的项目

这个就不赘述了，各自都有，按照自己的说，主要是要把自己做什么，为什么做，效果如何，说清楚，没有怎么准备，所以逻辑也不是很清晰，感觉面试官也没听懂，面试官态度一般般，很快这部分就过去了

2、介绍一下Bert，然后Bert里的残差连接有什么用

第一问很宽泛啊，我简要说了一下结构和一些预训练任务

第二问中这残差连接我]]></description><category></category></item><item><title><![CDATA[Linux screen常见命令使用]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/117021506</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/117021506</guid><author>wanghan0801</author><pubDate>Wed, 19 May 2021 11:31:12 +0800</pubDate><description><![CDATA[Linux screen常见命令使用screen命令常见使用方法1、创建会话2、查看当前有哪些会话3、进入和退出会话4、修改session的名字5、关闭session
screen命令
使用该命令可以在当前用户下同时管理多个窗口，同时分别生成日志方便查看，跟nohup类似
常见使用方法
1、创建会话
screen -dmS [sessionname] -L -Logfile [filename]
例如：
screen -dmS nlp -L -Logfile nlp.log
此时就会在当前用户下创建一个名为]]></description><category></category></item><item><title><![CDATA[Pytorch多GPU并行Bug收集（长期）：多个模型同时放在不同GPU上并行]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/108510832</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/108510832</guid><author>wanghan0801</author><pubDate>Thu, 10 Sep 2020 16:19:48 +0800</pubDate><description><![CDATA[##概述

最近几天有个模型，使用了local adaptation，就是在inference阶段也加入了训练的过程，因为需要进行模型复制和较大的batch_size进行训练，这样就导致我显卡直接爆炸。我用的看的K80，显存12G。模型用的BERT+文本分类，输入的Sequence_size=512（下简写为seq_size）。

##思考过程

接下来分享一下我的思考过程，可以看到就模型本身是不大的，即使扩大一倍也不会爆显存，问题就出在这个输入上，seq_size较大的时候，batch_size就要注意了]]></description><category></category></item><item><title><![CDATA[Pytorch多GPU并行Bug收集（长期）：KeyError: Caught KeyError in replica *[device_id] on device *[device_id].]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/108473879</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/108473879</guid><author>wanghan0801</author><pubDate>Tue, 08 Sep 2020 18:27:59 +0800</pubDate><description><![CDATA[在单卡训练顺利的前提下，修改为多卡训练，可谓bug多多

今天用pytorch 多GPU并行训练时，在最后一个step的时候报错了，

KeyError: Caught KeyError in replica 5 on device 5.

如图所示



我们可以看到，代码处应该是没有问题的，经过我的计算，利用train的总量/batch_size--&gt;16100/24=670---余20，无法整除，这下有点眉目了。正好出现在最后一个step上。

我这次试验用的是6个GPU跑的试验，使用torch]]></description><category></category></item><item><title><![CDATA[猿辅导算法一面]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/99456061</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/99456061</guid><author>wanghan0801</author><pubDate>Tue, 13 Aug 2019 18:26:11 +0800</pubDate><description><![CDATA[过程

整体面试体验很好，期待二面，虽然感觉有点凉。

1、自我介绍

2、项目

展开问了一些细节，这个大家自己根据自己的项目准备就好，没有太多参考价值。主要就我里面用到一个EWC正则，如何计算Fisher Information，以及在计算机中如何实现积分，因为Fisher Information是需要求一阶导和二阶导，并且进行积分消去参数x。然后这一块着实没准备，嗯，应该去看看源码。

Fi...]]></description><category></category></item><item><title><![CDATA[2020届360暑期算法实习生面经]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/89363445</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/89363445</guid><author>wanghan0801</author><pubDate>Wed, 17 Apr 2019 20:02:23 +0800</pubDate><description><![CDATA[LZ面的是搜索部门的机器学习工程师（偏NLP的），参加了3月底的宣讲会，免笔试进了大流程面试，不过基础不牢，一面挂掉。

4.17上午在360北京总部参加的百人现场面试，蛮震撼的，现场有等候区，有水有零食，还是很贴心的哦，然后在等候区里有个电视实时播报进去面试的人，跟餐厅的叫号系统一样。

前面一个人的时候面的有点长，稍微坐了会，趁空闲又各种排序看了一遍（没问到，可惜了哈哈哈）

接下来分享一下面...]]></description><category></category></item><item><title><![CDATA[Android 6.0 新特性]]></title><link>https://blog.youkuaiyun.com/wanghan0801/article/details/50802758</link><guid>https://blog.youkuaiyun.com/wanghan0801/article/details/50802758</guid><author>wanghan0801</author><pubDate>Fri, 04 Mar 2016 15:01:46 +0800</pubDate><description><![CDATA[用户层面：
1、存储与内存管理
1.1解决存储分区问题，合并分区，让手机真正可以安装更多应用
1.2Android6.0中对内存管理进行进一步的优化。对于非社交类的App
，安卓6.0会启用“墓碑机制”，后台运行时将不再占用内存。升级到安卓6.0
后，512MB内存可以流畅运行


墓碑机制：多程序后台运行，将后台数据交换到磁盘上，将不再占用系统内存，
释放出内存，给前台使用。]]></description><category></category></item></channel></rss>