<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[tszupup的博客]]></title><description><![CDATA[1.0 2.0 3.0 ...]]></description><link>https://blog.youkuaiyun.com/tszupup</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; tszupup]]></copyright><item><title><![CDATA[PyTorch中使用LSTM处理变长序列]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/117674917</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/117674917</guid><author>tszupup</author><pubDate>Mon, 07 Jun 2021 21:40:20 +0800</pubDate><description><![CDATA[使用LSTM算法处理的序列经常是变长的，这里介绍一下PyTorch框架下使用LSTM模型处理变长序列的方法。需要使用到PyTorch中torch.nn.utils包中的pack_padd
]]></description><category></category></item><item><title><![CDATA[BiLSTM+ Attention Pytorch实现]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/117674535</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/117674535</guid><author>tszupup</author><pubDate>Mon, 07 Jun 2021 21:06:30 +0800</pubDate><description><![CDATA[最近写算法的时候发现网上关于BiLSTM加Attention的实现方式五花八门，其中很多是错的，自己基于PyTorch框架实现了一版，主要用到了LSTM处理变长序列和masked softmax两个技巧。代码如下：

1、attention_utils.py


from typing import Dict, Optional

import numpy as np
import torch
import torch.nn.functional as F
from torch import Tensor
]]></description><category></category></item><item><title><![CDATA[Co Attention注意力机制实现]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/117292683</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/117292683</guid><author>tszupup</author><pubDate>Wed, 26 May 2021 15:12:52 +0800</pubDate><description><![CDATA[“Hierarchical Question-Image Co-Attention for Visual Question Answering”中的图像和文本间的Co Attention协同注意力实现

参考：

https://github.com/SkyOL5/VQA-CoAttention/blob/master/coatt/coattention_net.py

https://github.com/Zhangtd/Models-reproducing/blob/master/NIPS2016/se]]></description><category></category></item><item><title><![CDATA[MLP Attention实现]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/117287405</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/117287405</guid><author>tszupup</author><pubDate>Wed, 26 May 2021 12:39:30 +0800</pubDate><description><![CDATA[MLP Attention注意力机制的实现公式为：



参考

https://github.com/pytorch/translate/blob/master/pytorch_translate/attention/mlp_attention.py

https://www.aclweb.org/anthology/N16-1174.pdf

基于PyTorch框架实现加性注意力机制


from typing import Dict, Optional

import numpy as np
impo]]></description><category></category></item><item><title><![CDATA[使用Google Scholar在指定出版物中检索]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/117047854</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/117047854</guid><author>tszupup</author><pubDate>Wed, 19 May 2021 22:09:25 +0800</pubDate><description><![CDATA[在使用Google Scholar进行查找文献时，我们有时候需要在指定期刊或会议下检索某个主题的相关文献，虽然在Google Scholar的首页提供了高级检索选项：



但实际使用时发现按照实例语法无法使用：在“显示以下刊物上的文章”搜索框中输入“IEEE Transactions on Knowledge and Data Engineering OR ACM Transactions on Information Systems”，发现报错



正确的使用方法是在Google Scholar搜索框]]></description><category></category></item><item><title><![CDATA[MathType注册表位置]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/115864663</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/115864663</guid><author>tszupup</author><pubDate>Mon, 19 Apr 2021 15:00:51 +0800</pubDate><description><![CDATA[MathType完整版试用满30天后，如果不能及时激活，会退化到精简版。相比于完整版，精简版有很多功能不能使用，卸载后重装也还是精简版，原因在于注册表。

MathType精简版不可用功能介绍

注册表是什么东西？

以win10系统为例，演示如何找到MathType的注册表。

1、找到注册表编辑器，单击打开；





2、找到HKEY_CURRENT_USER&gt;Software&gt;Install Options，单击即可看到MathType的注册表信息。


...]]></description><category></category></item><item><title><![CDATA[特征选择方法体系]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/114643728</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/114643728</guid><author>tszupup</author><pubDate>Wed, 10 Mar 2021 19:52:26 +0800</pubDate><description><![CDATA[特征选择（Feature Selection）的机器学习中的一项基本任务，其被定义为从可用的特征集合中选择出有意义的特征子集，从而简化机器学习问题。特征选择方法一般分为以下三类：

基于封装的方法（Wrapper Methods）
	基于过滤的方法（Filter Methods）
	基于嵌入的方法（Embedded Methods）
1、基于封装的方法（Wrapper Methods）

Wrapper methods evaluate subsets of features by training a m]]></description><category></category></item><item><title><![CDATA[文献分析工具Connected Papers]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/113699226</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/113699226</guid><author>tszupup</author><pubDate>Fri, 05 Feb 2021 17:02:49 +0800</pubDate><description><![CDATA[Connected Papers是一款知名的文献分析工具，使用它，可以


	Get a visual overview of a new academic field
	
	
	Make sure you haven't missed an important paper
	
	
	Create the bibliography to your thesis
	
	
	Discover the most relevant prior and derivative works
	
其使用非常简单，界面如下：]]></description><category></category></item><item><title><![CDATA[PyTorch检查模型梯度是否可导]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/112916388</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/112916388</guid><author>tszupup</author><pubDate>Thu, 21 Jan 2021 09:45:30 +0800</pubDate><description><![CDATA[当我们构建复杂网络模型或在模型中加入复杂操作时，可能会需要验证该模型或操作是否可导，即模型是否能够优化，在PyTorch框架下，我们可以使用torch.autograd.gradcheck函数来实现这一功能。

首先看一下官方文档中关于该函数的介绍：





可以看到官方文档中介绍了该函数基于何种方法，以及其参数列表，下面给出几个例子介绍其使用方法，注意：

Tensor需要是双精度浮点型且设置requires_grad = True
第一个例子：检查某一操作是否可导


from torch.autog]]></description><category></category></item><item><title><![CDATA[Ray Tune模型调参：以一个简单的二分类模型为例]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/112304756</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/112304756</guid><author>tszupup</author><pubDate>Thu, 07 Jan 2021 11:12:30 +0800</pubDate><description><![CDATA[以Titanic乘客生存预测任务为例，进一步熟悉Ray Tune调参工具。

titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。

本示例的基础代码参考了下面两篇文章：


	1-1,结构化数据建模流程范例（一个不错的PyTorch教程）
	
	
	How to use Tune with PyTorch
	
也可以看一下上一篇文章：PyTorch + Ray Tune 调参

教程中的原始代码如下：


import numpy as np
import panda]]></description><category></category></item><item><title><![CDATA[PyTorch + Ray Tune 调参]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/112059788</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/112059788</guid><author>tszupup</author><pubDate>Fri, 01 Jan 2021 15:43:27 +0800</pubDate><description><![CDATA[参考了PyTorch官方文档和Ray Tune官方文档

1、HYPERPARAMETER TUNING WITH RAY TUNE

2、How to use Tune with PyTorch

以PyTorch中的CIFAR 10图片分类为例，示范如何将Ray Tune融入PyTorch模型训练过程中。

其中，要求我们对原PyTorch程序做一些小的修改，包括：

将数据加载和训练过程封装到函数中；
	使一些网络参数可配置；
	增加检查点（可选）；
	定义用于模型调参的搜索空间。
下面以示例代码解析]]></description><category></category></item><item><title><![CDATA[深度学习模型需要调哪些参数]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/111400011</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/111400011</guid><author>tszupup</author><pubDate>Sat, 19 Dec 2020 09:21:40 +0800</pubDate><description><![CDATA[深度学习模型训练时需要调哪些参数？

1、参数初始化策略

  代码示例：


# Common practise for initialization.
for layer in model.modules():
    if isinstance(layer, torch.nn.Conv2d):
        torch.nn.init.kaiming_normal_(layer.weight, mode='fan_out',
                                   ..]]></description><category></category></item><item><title><![CDATA[PyTorch可视化模型结构]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/111352340</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/111352340</guid><author>tszupup</author><pubDate>Fri, 18 Dec 2020 09:07:56 +0800</pubDate><description><![CDATA[1、torchviz

代码：


import torch
import numpy as np
import torch.nn as nn
import torch.nn.functional as F
import torchviz


class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_c]]></description><category></category></item><item><title><![CDATA[python读取某目录下word文档中内容并存入txt文件]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/110247948</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/110247948</guid><author>tszupup</author><pubDate>Fri, 27 Nov 2020 21:54:16 +0800</pubDate><description><![CDATA[将某个目录下所有word文档中内容提取出来并存入txt文件中。



文档中内容如下：



直接上代码：


#!/usr/bin/env python
# encoding: utf-8
'''
@file: 1_word.py
@time: 2020/11/27 21:15
'''

import docx
import os


file_dir = './doc'

for root, dirs, files in os.walk(file_dir, topdown=True):
    pa..]]></description><category></category></item><item><title><![CDATA[博文翻译：Tackling the Cold Start Problem in Recommender Systems]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109207836</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109207836</guid><author>tszupup</author><pubDate>Wed, 21 Oct 2020 21:37:39 +0800</pubDate><description><![CDATA[博文地址：Tackling the Cold Start Problem in Recommender Systems

题目：Tackling the Cold Start Problem in Recommender Systems / 解决推荐系统中的冷启动问题

作者：Kojin Oshiba



当我在Wish进行机器学习实习时，我要解决推荐系统中的一个常见问题“冷启动推荐”。冷启动通常发生在新用户或新产品出现在电子商务平台时。传统的推荐方法如CF假定每个用户或产品有一些评分，因此我们可以推断.]]></description><category></category></item><item><title><![CDATA[常用的Top-N产品推荐评估指标]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109167878</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109167878</guid><author>tszupup</author><pubDate>Mon, 19 Oct 2020 20:14:07 +0800</pubDate><description><![CDATA[Top-N产品推荐与传统的评分预测相比，更符合实际的业务需求，在对推荐算法产生的Top-K推荐列表进行评估时，有一些常用的指标，如Hit_Rate@k、Precision@k、Recall@k、Map@k、NDCG@k和MRR@k，下面基于Python实现这6种评估指标。

主要参考了https://github.com/wubinzzu/NeuRec/blob/master/evaluator/backend/python/metric.py

代码和示例如下：


import numpy as np.]]></description><category></category></item><item><title><![CDATA[论文阅读笔记：Low-rank Linear Cold-Start Recommendation from Social Data]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109112300</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109112300</guid><author>tszupup</author><pubDate>Fri, 16 Oct 2020 11:21:46 +0800</pubDate><description><![CDATA[论文：Low-rank Linear Cold-Start Recommendation from Social Data / 利用社交数据进行低秩线性冷启动推荐
作者：Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, Lexing Xie,Darius Braziunas
发表刊物：AAAI
发表年度：2017
下载地址：http://cm.cecs.anu.edu.au/documents/loco-aaai17-final.pdf

1、背景

.]]></description><category></category></item><item><title><![CDATA[论文阅读笔记：Social Collaborative Filtering for Cold-start Recommendations]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109093362</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109093362</guid><author>tszupup</author><pubDate>Thu, 15 Oct 2020 11:44:26 +0800</pubDate><description><![CDATA[论文：Social Collaborative Filtering for Cold-start Recommendations / 用户冷启动推荐的社会化协同过滤
作者：Suvash Sedhain,Scott Sanner,Darius Braziunas,Lexing Xie,Jordan Christensen
发表刊物：RecSys
发表年度：2014
下载地址：http://users.cecs.anu.edu.au/~ssanner/Papers/recsys14.pdf

这篇文章研...]]></description><category></category></item><item><title><![CDATA[论文阅读笔记：Learning Attribute-to-Feature Mappings for Cold-Start Recommendations]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109072543</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109072543</guid><author>tszupup</author><pubDate>Wed, 14 Oct 2020 15:07:04 +0800</pubDate><description><![CDATA[论文：Learning Attribute-to-Feature Mappings for Cold-Start Recommendations / 通过学习属性到特征的映射进行冷启动推荐
作者：Zeno Gantner, Lucas Drumond, Christoph Freudenthaler, Steffen Rendle and Lars Schmidt-Thieme
发表刊物：ICDM
发表年度：2010
下载地址：https://citeseerx.ist.psu.edu/viewdoc/do]]></description><category></category></item><item><title><![CDATA[论文阅读笔记：Relational Learning via Collective Matrix Factorization]]></title><link>https://blog.youkuaiyun.com/tszupup/article/details/109045911</link><guid>https://blog.youkuaiyun.com/tszupup/article/details/109045911</guid><author>tszupup</author><pubDate>Tue, 13 Oct 2020 11:10:21 +0800</pubDate><description><![CDATA[论文：Relational Learning via Collective Matrix Factorization / 通过协同矩阵分解进行关系学习
作者：Ajit P. Singh,Geoffrey J. Gordon
发表刊物：KDD
发表年度：2008
下载地址：https://doi.org/10.1145/1401890.1401969

CMF模型是评分预测、冷启动推荐等推荐系统相关研究中经常对比的一个经典基线，其基本思想是在做关系学习任务时，可以利用与待预测的关系相关的其他关系数据来改进预.]]></description><category></category></item></channel></rss>