MaYingColdPlay的博客

对于常规句子来说，不是窗口越大越好，因为窗口太大的话，句子之间就没有前后依赖关系了。但是对于特定场景，比如用户偏好，每个用户的item之间存在强依赖关系，这种情况下，窗口越大越好。经过验证，窗口越大，训练速度越慢。3.mincount，取词的最小值。1.训练语料大小，最好在上千万样本。

总体来说，虽然聚类算法通常不容易过拟合，但在应用时仍然需要小心处理数据的质量、算法参数和模型复杂性等因素，以确保得到合理的聚类结果。1. **参数调整：** 一些聚类算法具有一些参数，可以通过调整这些参数来控制算法的复杂性，防止过度拟合。2. **降维：** 在应用聚类算法之前，可以考虑对数据进行降维，以减少数据的维度并去除一些不必要的噪声。4. **交叉验证：** 使用交叉验证可以评估模型的泛化性能，确保模型对未见过的数据表现良好。

概率论基础

无

无

song2vec实际上是item2vec，是word2vec在推荐场景中的应用。就是用用户兴趣序列，去模拟自然语言处理中有前后逻辑关系的句子。用户的兴趣序列是根据用户行为来构建的，比如在音乐场景下，有不同的行为，播放，点赞，收藏，分享等。给不同的行为不同的权重。取一段时间内的行为来构建序列，比如长期兴趣序列和短期兴趣序列。最终得到的是一个用户兴趣偏好向量，按照偏好度排序的。word2vec的数学原理。item2vec不能处理物品冷启动问题，但是可以加一些策略来拯救一下，比如说用...

lrhttps://www.debugger.wiki/article/html/1573704070030162

https://zhuanlan.zhihu.com/p/100019681https://zhuanlan.zhihu.com/p/58160982

1.fassi分布式存储向量的原理2.hdfs原理

1.auc有两种计算方式：roc曲线的面积,简单粗暴的根据排列组合计算aucroc曲线的面积，根据混淆矩阵，真阳性率，假阴性率计算的，同时考虑了模型分正确和分错误的情况，在样本不平衡的情况下依然很好用。https://www.zhihu.com/question/39840928/answer/241440370 如何理解auc简单粗暴的计算auc:auc从物理意义上理解，是排列组合问题，有多少正负样本对满足：正样本预测值>负样本预测值。分子是：正样本预测值，大于负样本预测值的

1.表格pd.crosstab例如tab = pd.crosstab(data_train['Pclass'], data_train['Survived'])print(tab)dummy = tab.div(tab.sum(1).astype(float), axis=0)print(dummy)dummy.plot(kind="bar", stacked=True)pl

这篇文章的大佬 https://www.kaggle.com/headsortails/pytanic 用到的命令上文中是用表格和图片分析的，只适用于两个特征之间的关系。这篇将以图表形式表示多个特征之间的关系如何查看sns.factorplotsns.barplotmosaic例如sns.barplot(x="Embarked", y="Survived", hue="

#前几篇的总结居然格式错误，找时间重新整理。一调包import numpy as npfrom sklearn.neighbors import KNeighborsClassifierknn=KNeighborsClassifier()data = np.array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]])   #打斗和接吻次数

基本算法：协同过滤，其中包括基于物品的协同过滤和基于用户的协同过滤进阶算法：隐语义模型，word2vec

sns.distplot #单一特征分布sns.violinplot #几个特征之间关系例如msurv = train[(train['Survived']==1) & (train['Sex']=="male")]fsurv = train[(train['Survived']==1) & (train['Sex']=="female")]mnosurv = train[(tra

用matplotlib进行数据可视化探索

一.数据的格式二.激活函数二分类要用sigmoid,不能用softmax,公式如下：三.优化器sgd比adam在收敛阶段效果还好四.BatchNormalization数据量少，把BN去掉，换成归一化？...

1.读取文件data_train = pd.read_csv("E:/KaggleT/train.csv")2.查看数据 data_train.info()data_train.describe()#查看特征内部的关系。看看男女各有多少人      data_train.Sex.value_counts()  #男的比女的多#丢掉没用的列data_train = da