<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[竹生的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a478555</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a478555]]></copyright><item><title><![CDATA[ngrok 1.7搭建报错remote error: tls: bad certificate]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/121304107</link><guid>https://blog.youkuaiyun.com/a478555/article/details/121304107</guid><author>a478555</author><pubDate>Sat, 13 Nov 2021 14:36:45 +0800</pubDate><description><![CDATA[ngrok 1.7搭建报错
最近重新搭建了一遍ngrok的服务器，参考：https://zhuanlan.zhihu.com/p/33794707
由于ngrok v1版本很久都没有维护了，编译完成后，启动时服务端遇到了错误：remote error: tls: bad certificate

在网上搜索了半天，有人说是golang版本的问题，将golang版本从1.17降低到1.9后，仍然没有解决。偶然间发现客户端上的日志提示x509: certificate is valid for xxx, not]]></description><category></category></item><item><title><![CDATA[Transformer并行化训练笔记]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108721071</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108721071</guid><author>a478555</author><pubDate>Mon, 21 Sep 2020 22:52:00 +0800</pubDate><description><![CDATA[最近在看transformer，以及相关的分布式实现，发现有些问题不太明白，顺便记录下，如有错误欢迎大佬指正。
在attention的介绍中（http://nlp.seas.harvard.edu/2018/04/03/attention.html），对并行化的训练给出了代码，但没有做详细的介绍，这里仔细的分析下相关代码：
# Skip if not interested in multigpu.
class MultiGPULossCompute:
    "A multi-gpu loss comput]]></description><category></category></item><item><title><![CDATA[一种垂类作者特征的表示方法]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108305149</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108305149</guid><author>a478555</author><pubDate>Sun, 30 Aug 2020 12:43:53 +0800</pubDate><description><![CDATA[在互联网各大主类的内容平台中，有很多用户专职搬运、或者原创一类视频：有些专供游戏，为游戏用户服务，有些专注食物，教大家做美食、品美食。这些定向产出内容的作者，我们称为垂类作者。一般来讲，一个优质的内容生产者，往往是一个垂类的作者。作为平台的维护和管理者，我们往往需要一种方法来识别一个作者是否是一个垂类作者，对于站外，我们可以邀请这批作者入驻；对于站内，可以为我们挖掘优质作者提供一个有效的特征。这篇文章结合我最近一段时间的工作，阐述我是如何获取YouTube上的垂类作者的。
核心目标
什么样的作者是垂类作者？]]></description><category></category></item><item><title><![CDATA[Wide and Deep应用]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108301237</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108301237</guid><author>a478555</author><pubDate>Sun, 30 Aug 2020 12:41:52 +0800</pubDate><description><![CDATA[Wide and Deep应用
– based on Google Analytics Customer Revenue Prediction
最近发现一个回归任务，目标是预测谷歌商店的收入（链接），数据是用户在商店中的浏览数据，利用传统的GBDT方式可以做出一定的预测，baseline大约在1.4285（RSME），关于数据的处理和GBDT的训练在此不在赘述，仅记录下利用tensorflow训练wide and deep深度模型的结果。
wide and deep 原理
deep
请大家注意，在deep层]]></description><category></category></item><item><title><![CDATA[tensorflow下lstm的实践]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108301230</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108301230</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 23:36:36 +0800</pubDate><description><![CDATA[lstm作为一个优秀的rnn变体，在时间序列的预测中有着优秀的运用。在了解其原理1之后，继续来了解实践中的lstm如何运用。
说道LSTM，首先得了解RNN在tensorflow中的基本函数tf.nn.rnn_cell.LSTMCell，相比基本的BasicLSTMCell模块，LSTMCell中有加入一些变种的特性clipping,projection layer,peep-hole等，如果不了解可以保持默认设置。LSTM的基本设置为：
tf.nn.rnn_cell.LSTMCell(num_units=]]></description><category></category></item><item><title><![CDATA[关于聚类类别数k的选择]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108298198</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108298198</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 22:03:41 +0800</pubDate><description><![CDATA[如何确定聚类的类别个数


由适当的阈值确定


根据数据点的散布图直观地确定类的个数


手肘法，利用核心指标SSE（sum of the squared errors误差平方和）在k增大时下降的斜率来判断，选取下降程度变化由剧烈到平滑的分割点，即肘部
SSE=∑i=1k∑p∈Ci∣p−m∣2SSE=\sum_{i=1}^{k}\sum_{p\in C_i}|p-m|^2SSE=i=1∑k​p∈Ci​∑​∣p−m∣2


轮廓系数法：轮廓系数（Silhouette Coefficient）结合了聚类的凝聚]]></description><category></category></item><item><title><![CDATA[lightGBM的Exclusive Feature Bundling]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108298190</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108298190</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 19:00:38 +0800</pubDate><description><![CDATA[互斥特征绑定（EFB），可以规约到图着色问题。先说图着色问题：
图着色问题（Graph Coloring Problem, GCP）又称着色问题，是最著名的NP-完全问题之一。
数学定义：给定一个无向图G=（V, E），其中V为顶点集合，E为边集合，图着色问题即为将V分为K个颜色组，每个组形成一个独立集，即其中没有相邻的顶点。
独立集：给一无向图，找出一个点集，使得任意两点之间都没有连边，这个点集就是独立集。ps: 点最多的独立集，就是最大独立集。
从图着色的问题来看，给定V，将V划分成K个组，对应到互斥特]]></description><category></category></item><item><title><![CDATA[FM基础]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108296459</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108296459</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 18:54:29 +0800</pubDate><description><![CDATA[FM的特点：

针对稀疏数据也能有效估计；
FM复杂度是线性的，计算快；
对数据数据没有严格的要求，任意的实数向量都可以。

FM详细介绍
FM，作为线性回归的拓展，能够挖掘特征与特征之间的联系。
大家都知道，线性回归的方程为
y=w0+∑i=1nwixiy=w_0+\sum_{i=1}^{n}w_ix_iy=w0​+i=1∑n​wi​xi​
其中：n是特征维度，w是特征的权重。
度为2的FM的方程为：
y=w0+∑i=1nwixi+∑i=1n∑j=i+1n⟨vi,vj⟩xixjy=w_0+\sum_{i=]]></description><category></category></item><item><title><![CDATA[xgboost相关]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108296448</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108296448</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 16:41:57 +0800</pubDate><description><![CDATA[xgboost多线程预测的不安全问题
xgboost的predict_proba
官网上说了，predict_proba是一个多线程不安全的方法，主要是因为预测的一个C++代码内部调用的时候有一个PredLoopSpecalize，里面对openmp的thread_temp变量作为类成员变量，在多线程会被当成公共变量修改。说白了就是有预测的内部变量是公共变量。
xgboost特征重要性
如何获取特征重要性：booster中有三种获取方式：
Importance type can be defined as:]]></description><category></category></item><item><title><![CDATA[知识累积]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108294566</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108294566</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 16:41:36 +0800</pubDate><description><![CDATA[知识累积
word2vec
原理
核心：将词变为向量，来源是网络中每个词的参数
方法：hierarchic softmax，negative sample
训练：逻辑回归+极大似然
文本处理方式：CBOW多对一，Skip-gram一对多
参考资料：
比较详细的说明：
https://www.cnblogs.com/peghoty/p/3857839.html
我看这个看懂的：
http://www.cnblogs.com/pinard/p/7243513.html
源码阅读
关于Word2vec的c源码，其]]></description><category></category></item><item><title><![CDATA[RNN的bp]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108294548</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108294548</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 14:45:00 +0800</pubDate><description><![CDATA[RNN的bp
来源：https://zybuluo.com/hanbingtao/note/581764
RNN的权重向下层输出的同时，会将权重返回到本层的输入处，和下一次的输入加和

RNN只用了一个权重保存节点的状态，LSTM用了两个权重来保存，新加的状态称为单元状态（cell stat）

对长程记忆和短程记忆的控制，可以参考LSTM单元来了解：

LSTM用三个门来控制数据的流动：f,i,o，其中forget门控制Ct−1到Ct的C_{t-1}到C_t的Ct−1​到Ct​的量，input门控制h]]></description><category></category></item><item><title><![CDATA[VNC 的使用]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108294516</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108294516</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 14:44:10 +0800</pubDate><description><![CDATA[之前一直在用teamviwer，可是最近tv毕竟是商业软件，所以我想看看有没有什么免费的远程控制软件，发现之前在树莓派上搭建的vnc还不错于是在每个电脑上装了一个
VNC server安装
各个平台的软件大同小异，其中
linux平台有：tightvnc，vnc4server，realvnc
windows平台有：tightvnc，realvnc
IOS平台我没多看，就下了realvnc的客户端
其中realvnc做的比较好，但是免费版只支持5个电脑，我担心出现和teamviwer一样的情况，就用了tigh]]></description><category></category></item><item><title><![CDATA[Python的多进程多线程整理]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108288526</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108288526</guid><author>a478555</author><pubDate>Sat, 29 Aug 2020 14:42:44 +0800</pubDate><description><![CDATA[Python的多进程多线程整理
最近利用python跑多线程的任务，遇到了很多问题，在这里整理一下。

第一个问题是在用from multiprocessing.dummy import Pool的线程池时发现的，有这样一个程序：
from multiprocessing.dummy import Pool
import thread

class A():
    def __init__(self,i):
        # super(A, self).__init__()
        self.]]></description><category></category></item><item><title><![CDATA[python的unicode、str、byte的关系]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/108288500</link><guid>https://blog.youkuaiyun.com/a478555/article/details/108288500</guid><author>a478555</author><pubDate>Fri, 28 Aug 2020 23:27:02 +0800</pubDate><description><![CDATA[目录python的unicode、str、byte的关系Python3中的编码方式总结python3的特点**str表示字符串，byte表示字节串**Python2中的编码方式Python2的隐式转换总结python2的特点奇特的unicode_escape与string_escape总结
python的unicode、str、byte的关系
作为一个用惯了python3的人，在python2如此操蛋的编码问题中，不得不整理一下python2中字符串和字节串之间的关系。
先说一个原理，python中字节串可]]></description><category></category></item><item><title><![CDATA[attention笔记]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/107061762</link><guid>https://blog.youkuaiyun.com/a478555/article/details/107061762</guid><author>a478555</author><pubDate>Wed, 01 Jul 2020 13:53:33 +0800</pubDate><description><![CDATA[在看attention is all you need这篇论文时，对其中的描述理解不透彻，结合代码，详细的跑下整体的流程，总结了几个问题，记录下来。

为什么attention在Q∗KTQ*K^TQ∗KT之后需要除一个dk\sqrt{d_k}dk​​?

attention有加法atttention（NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE, 2014）：

、点乘attention，其中，点乘的效率要高于加法]]></description><category></category></item><item><title><![CDATA[腾讯广告算法大赛2020]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/106023199</link><guid>https://blog.youkuaiyun.com/a478555/article/details/106023199</guid><author>a478555</author><pubDate>Sat, 09 May 2020 16:55:49 +0800</pubDate><description><![CDATA[搭了个架子，有训练和上传代码，baseline 0.8
https://github.com/lkjie/txad20

]]></description><category></category></item><item><title><![CDATA[利用N2N内网穿透，并实现直连]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/89501904</link><guid>https://blog.youkuaiyun.com/a478555/article/details/89501904</guid><author>a478555</author><pubDate>Wed, 24 Apr 2019 20:11:42 +0800</pubDate><description><![CDATA[利用N2N内网穿透，并实现直连
简介
在内网穿透中，N2N做为一个点对点的穿透工具，非常适合用来远程办公。原版的n2n github地址为：https://github.com/ntop/n2n，一个较好的维护版本是：https://github.com/meyerd/n2n。
n2n设计的初衷，是为了通过中心节点的牵线搭桥，建立连接以后，不再依靠中心节点的帮助，让连接的两端直接通讯，此种状态叫住...]]></description><category></category></item><item><title><![CDATA[超微主板BIOS Product key IPMI LICENSE]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/89449134</link><guid>https://blog.youkuaiyun.com/a478555/article/details/89449134</guid><author>a478555</author><pubDate>Mon, 22 Apr 2019 11:57:56 +0800</pubDate><description><![CDATA[这里写自定义目录标题超微主板BIOS Product key IPMI LICENSE
超微主板BIOS Product key IPMI LICENSE
最近入手了一块超微: X9DRI-LN4F+的主板，在利用IPMI管理服务器的时候，发现里面有个Bios更新的功能，但是需要Product key，同时超微推出了一款软件Supermicro Update Manager (SUM)来管理bio...]]></description><category></category></item><item><title><![CDATA[自编码器python实现]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/89309257</link><guid>https://blog.youkuaiyun.com/a478555/article/details/89309257</guid><author>a478555</author><pubDate>Mon, 15 Apr 2019 11:53:51 +0800</pubDate><description><![CDATA[自编码器
自编码器是一种非常通用的神经网络工具。主要思想是通过一个编码器，将原始信息编码为一组向量，然后通过一个解码器，将向量解码为原始数据。通过衡量输入与输出的差别，来对网络参数进行训练。主要可以用来进行信息压缩。
最进在了解GAN方向的应用，发现很多GANs类似与自编码器的思想，在条件GAN中，生成器类似于自编码器中的解码器。都是通过给定一组输入，来得到相应的图片。我比较好奇自编码器产生的编码...]]></description><category></category></item><item><title><![CDATA[P106魔改1060]]></title><link>https://blog.youkuaiyun.com/a478555/article/details/85001055</link><guid>https://blog.youkuaiyun.com/a478555/article/details/85001055</guid><author>a478555</author><pubDate>Fri, 14 Dec 2018 12:25:56 +0800</pubDate><description><![CDATA[P106魔改1060
也是最近听到这个消息说矿渣P106能改成1060，于是手痒痒就入了一块准备试试，如果不行还可以跑跑伸进网络。原理大概就是改掉n卡驱动的inf文件，让P106能适配，然后在win10 1803版本系统中利用核显输出画面，P106做图形计算。下面仔细说下教程：
安装教程

首先把主板显示输出设定为核显优先，然后把P106插到主板上，开机
把系统上的N卡驱动卸载干净，这一步需要下载...]]></description><category></category></item></channel></rss>