<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[shawroad的博客]]></title><description><![CDATA[github地址：https://github.com/shawroad 这里会更新关于python的一切（机器学习，PyQt，数据分析，深度学习，opencv等等）]]></description><link>https://blog.youkuaiyun.com/shawroad88</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shawroad88]]></copyright><item><title><![CDATA[基于session推荐的论文阅读]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/126686398</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/126686398</guid><author>shawroad88</author><pubDate>Sun, 04 Sep 2022 10:26:10 +0800</pubDate><description><![CDATA[今天我们要看一下如下三篇论文:
- SR-GNN: Session-Based Recommendation with Graph Neural Networks
- TA-GNN: Target Attentive Graph Neural Networks for Session-based Recommendation
- GC-SAN: Graph Contextualized Self-Attention Network for Session-based Recommendation]]></description><category></category></item><item><title><![CDATA[FLASH：一种高效的Transformer设计]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/126617904</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/126617904</guid><author>shawroad88</author><pubDate>Wed, 31 Aug 2022 09:59:18 +0800</pubDate><description><![CDATA[在标准的Transformer结构中，多头注意力和FFN是交替连接的。GLU那篇论文中，将FFN替换成基于门控的线性单元，发现效果会变好。因此，我们先简单了解一下门控单元GLU的计算，如下左图:具体计算:也就是将输入X分别经过放射变换(线性映射＋激活函数)得到U,VU,VU,V。然后再将U,VU,VU,V进行点积，最后再进行线性映射，得到门控线性单元的输出。上述的GLU中没有对token两两进行注意力计算，如果在上面的U,VU,VU,V。...]]></description><category></category></item><item><title><![CDATA[[ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/126617854</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/126617854</guid><author>shawroad88</author><pubDate>Wed, 31 Aug 2022 09:57:08 +0800</pubDate><description><![CDATA[论文链接: https://arxiv.org/abs/2202.13840。]]></description><category></category></item><item><title><![CDATA[Keyword2Text: 一种即插即用的可控文本生成方法]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/126549098</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/126549098</guid><author>shawroad88</author><pubDate>Fri, 26 Aug 2022 19:11:01 +0800</pubDate><description><![CDATA[本次分享一篇可控文本生成方面的论文。提到文本生成，可能很多人的第一印象都是不靠谱，不就是复制粘贴，模型只是将训练语料记住了而已，谈创造性都是瞎扯emem…。这趟浑水总该有人趟吧，如果对ai充满悲观的人，可以去瞧瞧cv那边文本到图片的生成，或者能让你对ai有所改观。闲话少说，直接切入文本生成主题。谈到文本生成，可能会想到很多模型，如GPT系列、T5系列、UniLM、Bart等等。但这些模型在可控方面做的都不够好，文本生成的主题主要还是依赖于训练语料的分布。...]]></description><category></category></item><item><title><![CDATA[UIE: 信息抽取的大一统模型]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/125957132</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/125957132</guid><author>shawroad88</author><pubDate>Sun, 24 Jul 2022 11:07:41 +0800</pubDate><description><![CDATA[信息抽取通常包含常见的四个子任务: 实体抽取、关系抽取、事件抽取以及情感分析等。在过去，因为不同的任务识别的实体、事件类型等等都不一样，所以针对特定的任务要训练特定的模型，定制化较高，不具有通用性。...]]></description><category></category></item><item><title><![CDATA[MarkBERT: 一种通过简单添加词边界的方法来增强预训练模型]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/125563580</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/125563580</guid><author>shawroad88</author><pubDate>Fri, 01 Jul 2022 18:00:45 +0800</pubDate><description><![CDATA[预训练模型方向一直都是大小厂的必争之地。对于中文预训练模型，将中文文本转成对应的token，到底是以字、还是词、或者字+词为单位，大家各有看法。]]></description><category></category></item><item><title><![CDATA[PromptBERT: 利用Prompt改善BERT的句子表示]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/125190802</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/125190802</guid><author>shawroad88</author><pubDate>Wed, 08 Jun 2022 19:23:33 +0800</pubDate><description><![CDATA[今天继续关注句子表示学习。之前笔者一直觉得Prompt就是概念炒作(可能我比较菜)，不觉得能有啥大的发展。但是近一年来，类似的论文层出不穷，不注意都难。今天这篇论文让我对Prompt有了很大的改观。...]]></description><category></category></item><item><title><![CDATA[[ACL2022] DCLR: 无监督句子表征的去偏对比学习]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/125096103</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/125096103</guid><author>shawroad88</author><pubDate>Thu, 02 Jun 2022 10:25:28 +0800</pubDate><description><![CDATA[句子表征一直是一个很卷的方向。从最开始的DSSM到现在的对比学习(如: SimCSE、CoSERT等)，效果不断被刷新。但是在对比学习中，有个问题一直待解决: 假负例。 即一个batch内除了自身以外全部视为当前样本的负例，这样显然有些简单粗暴。如下图:作者使用simcse训练好的模型在wikipedia的数据集上做了一个测试，当前一个样本和其在一个batch内的255个负例做了相似度计算，发现50%+的样本相似度都大于0.5，也就是有很多都是假负例。显然，这样的学习是有偏的。针对这种问题，本文提出了一种负]]></description><category></category></item><item><title><![CDATA[Docker从入门到精通手册]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/116064365</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/116064365</guid><author>shawroad88</author><pubDate>Fri, 23 Apr 2021 17:30:43 +0800</pubDate><description><![CDATA[文章目录Docker容器化技术介绍Docker中涉及的概念Docker命令拉取镜像查看本地的所有镜像查看所有运行的容器删除一个镜像删除一个容器启动一个容器停止一个容器的运行给运行的容器指定名字将宿主机中的文件传入容器内docker中重启之前的某个容器Docker运行mysql以及jdkdocker中安装mysqlDocker中安装jdkdocker中启动tomcat和nginx安装tomcat并启动安装nginx并启动数据卷数据卷的简单使用数据卷实现mysql数据的持久化DockerFile的使用Docke]]></description><category></category></item><item><title><![CDATA[python并发编程手册]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/116064284</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/116064284</guid><author>shawroad88</author><pubDate>Fri, 23 Apr 2021 17:28:37 +0800</pubDate><description><![CDATA[文章目录并发编程介绍python中的并发编程CPU密集型计算和IO密集型计算多线程，多进程，多协程的对比怎样根据任务选择对应技术全局解释器锁GIL多线程简单流程简单的一个多线程爬虫生产者消费者模式进行多线程爬虫线程安全概念线程锁使用实例线程池概念介绍线程池的使用方法使用线程池实现多线程爬虫使用线程池在flask-web服务中加速多进程多进程multiprocessing知识梳理多线程的实现使用多进程在flask-web服务中加速协程协程内容的介绍python异步IO库介绍: asyncio协程爬虫实现信号量]]></description><category></category></item><item><title><![CDATA[2021-01-05]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/112216901</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/112216901</guid><author>shawroad88</author><pubDate>Tue, 05 Jan 2021 10:40:10 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Python语言面试问题集锦(实时更新ing)]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/106047629</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/106047629</guid><author>shawroad88</author><pubDate>Thu, 30 Jul 2020 14:33:25 +0800</pubDate><description><![CDATA[1: python中小整数对象池

   Python为了优化速度，使用了小整数对象池， 避免为整数频繁申请和销毁内存空间。Python 对小整数的定义是 [-5, 256] 这些整数对象是提前建立好的，不会被垃圾回收。在一个 Python 的程序中，无论这个整数处于LEGB中的哪个位置，所有位于这个范围内的整数使用的都是同一个对象。同理，单个字母也是这样的。                         



    上图解释: 变量...]]></description><category></category></item><item><title><![CDATA[ElasticSearch, Kibana整套安装以及和python的对接，并给出部分操作案例]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/107337086</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/107337086</guid><author>shawroad88</author><pubDate>Thu, 30 Jul 2020 14:32:47 +0800</pubDate><description><![CDATA[目录

一: 软件安装

  1. 安装ElasticSearch

  2. 安装ElasticSearch-Head 主要是为了可视化我们存储的数据

  3. 安装Kibana

  4. 安装python对接ElasticSearch对接的工具包(前提是你得有个正常的python环境)

  5. 安装IK分词器插件 后面会用到

二: python对接ElasticSearch案例

  1. 创建索引

  2. 删除索引

  3....]]></description><category></category></item><item><title><![CDATA[浅谈Positional Encoding(位置编码)和WordPiece]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/105652192</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/105652192</guid><author>shawroad88</author><pubDate>Tue, 21 Apr 2020 13:22:15 +0800</pubDate><description><![CDATA[1.positional encoding

 
]]></description><category></category></item><item><title><![CDATA[机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/105639148</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/105639148</guid><author>shawroad88</author><pubDate>Mon, 20 Apr 2020 17:36:09 +0800</pubDate><description><![CDATA[一:BLEU

  1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。



BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...]]></description><category></category></item><item><title><![CDATA[tmux终端工具的简单使用]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/105118902</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/105118902</guid><author>shawroad88</author><pubDate>Thu, 26 Mar 2020 14:58:31 +0800</pubDate><description><![CDATA[tmux终端工具的简单使用

  安装方式:

     在ubuntu下可以使用apt-get的方式安装，比如：sudoapt-getinstalltmux即可

     在CentOS 7.x的系统下可以直接使用yum方式安装：yuminstall-y tmux

     另外还可以使用源码的方式编译，地址：http://tmux.git...]]></description><category></category></item><item><title><![CDATA[Google的bert预训练模型下载地址＋将tensorflow版本的预训练模型转为pytorch版本进行加载]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/104927449</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/104927449</guid><author>shawroad88</author><pubDate>Tue, 17 Mar 2020 17:59:18 +0800</pubDate><description><![CDATA[google的bert预训练模型：
BERT-Large, Uncased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parameters
BERT-Large, Cased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parameters
BE...]]></description><category></category></item><item><title><![CDATA[keras中Conv， SeparableConv2D,  DepthwiseConv2D三种卷积过程浅谈]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/95222082</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/95222082</guid><author>shawroad88</author><pubDate>Tue, 09 Jul 2019 18:39:24 +0800</pubDate><description><![CDATA[Conv， SeparableConv2D, DepthwiseConv2D三种卷积浅谈

画图能力有限，哪里不懂留言交流。


]]></description><category></category></item><item><title><![CDATA[keras各种层的简单说明]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/93862900</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/93862900</guid><author>shawroad88</author><pubDate>Thu, 27 Jun 2019 11:53:35 +0800</pubDate><description><![CDATA[[神经网络]keras中的层

全连接层：Dense
Activation层：对一个层的输出添加激活函数
Dropout层：每次更新参数的时候随机断开一定百分比(b)的输入神经元连接，用于防止过拟合
Flatten层：用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。
Reshape层：用来将输入shape转换...]]></description><category></category></item><item><title><![CDATA[上采样，上池化，反卷积 详解]]></title><link>https://blog.youkuaiyun.com/shawroad88/article/details/91815669</link><guid>https://blog.youkuaiyun.com/shawroad88/article/details/91815669</guid><author>shawroad88</author><pubDate>Thu, 13 Jun 2019 11:11:06 +0800</pubDate><description><![CDATA[1、Upsampling（上采样）
在FCN、U-net等网络结构中，涉及到了上采样。上采样概念：上采样指的是任何可以让图像变成更高分辨率的技术。最简单的方式是重采样和插值：将输入图片进行rescale到一个想要的尺寸，而且计算每个点的像素点，使用如双线性插值等插值方法对其余点进行插值来完成上采样过程。

上采样
2、上池化
Unpooling是在CNN中常用的来表示max pooling的逆操作...]]></description><category></category></item></channel></rss>