竹生的专栏

在互联网各大主类的内容平台中，有很多用户专职搬运、或者原创一类视频：有些专供游戏，为游戏用户服务，有些专注食物，教大家做美食、品美食。这些定向产出内容的作者，我们称为垂类作者。一般来讲，一个优质的内容生产者，往往是一个垂类的作者。作为平台的维护和管理者，我们往往需要一种方法来识别一个作者是否是一个垂类作者，对于站外，我们可以邀请这批作者入驻；对于站内，可以为我们挖掘优质作者提供一个有效的特征。这篇文章结合我最近一段时间的工作，阐述我是如何获取YouTube上的垂类作者的。 核心目标 什么样的作者是垂类作者？

如何确定聚类的类别个数 由适当的阈值确定 根据数据点的散布图直观地确定类的个数 手肘法，利用核心指标SSE（sum of the squared errors误差平方和）在k增大时下降的斜率来判断，选取下降程度变化由剧烈到平滑的分割点，即肘部 SSE=∑i=1k∑p∈Ci∣p−m∣2SSE=\sum_{i=1}^{k}\sum_{p\in C_i}|p-m|^2SSE=i=1∑k​p∈Ci​∑​∣p−m∣2 轮廓系数法：轮廓系数（Silhouette Coefficient）结合了聚类的凝聚

互斥特征绑定（EFB），可以规约到图着色问题。先说图着色问题： 图着色问题（Graph Coloring Problem, GCP）又称着色问题，是最著名的NP-完全问题之一。 数学定义：给定一个无向图G=（V, E），其中V为顶点集合，E为边集合，图着色问题即为将V分为K个颜色组，每个组形成一个独立集，即其中没有相邻的顶点。 独立集：给一无向图，找出一个点集，使得任意两点之间都没有连边，这个点集就是独立集。ps: 点最多的独立集，就是最大独立集。 从图着色的问题来看，给定V，将V划分成K个组，对应到互斥特

xgboost多线程预测的不安全问题 xgboost的predict_proba 官网上说了，predict_proba是一个多线程不安全的方法，主要是因为预测的一个C++代码内部调用的时候有一个PredLoopSpecalize，里面对openmp的thread_temp变量作为类成员变量，在多线程会被当成公共变量修改。说白了就是有预测的内部变量是公共变量。 xgboost特征重要性 如何获取特征重要性：booster中有三种获取方式： Importance type can be defined as:

知识累积 word2vec 原理 核心：将词变为向量，来源是网络中每个词的参数 方法：hierarchic softmax，negative sample 训练：逻辑回归+极大似然 文本处理方式：CBOW多对一，Skip-gram一对多 参考资料： 比较详细的说明： https://www.cnblogs.com/peghoty/p/3857839.html 我看这个看懂的： http://www.cnblogs.com/pinard/p/7243513.html 源码阅读 关于Word2vec的c源码，其

搭了个架子，有训练和上传代码，baseline 0.8 https://github.com/lkjie/txad20

http://www.ams.org/samplings/feature-column/fcarc-svd

自编码器 自编码器是一种非常通用的神经网络工具。主要思想是通过一个编码器，将原始信息编码为一组向量，然后通过一个解码器，将向量解码为原始数据。通过衡量输入与输出的差别，来对网络参数进行训练。主要可以用来进行信息压缩。 最进在了解GAN方向的应用，发现很多GANs类似与自编码器的思想，在条件GAN中，生成器类似于自编码器中的解码器。都是通过给定一组输入，来得到相应的图片。我比较好奇自编码器产生的编码...