- 博客(2)
- 收藏
- 关注
RSS订阅原创 【模板】Python多进程文件处理
人生苦短，所以用了Python，但是Python慢啊，所以依旧苦短。好在可以开n倍加速早点阶数这无聊的等待时间。 在NLP任务中经常会遇到对大文本进行处理的任务，这些任务包括但不限于： 分词 词性标注 词频统计（大名鼎鼎的WordCount） 关键词提取 大小写转换（当然这个bash命令更方便了，放在这里只是为了凑数:） 为了方便描述，就用task(line)笼统地表示处理这些任务的函数吧，line是每一行的句子。 在常规使用Pythn的时候，我们会打开一个文件然后一行一行地处理： with open(
2020-06-14 21:12:24
533
原创 语言模型串烧
语言模型串烧Word2Vec（2013年1月）GloVe（2014年1月）FastText（2016年7月）Transformer（2017年6月）Positional EncodingMulti-head self attentionFully connected feed forwardELMo（2018年2月）BERT（2018年10月）Transformer-XL（2019年1月）GPT-...
2020-01-14 23:51:32
698
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人