云中寻雾的博客

导读：大家好，我是来自QQ音乐数据科学团队的Bill，接下来由我给大家分享QQ音乐在内容理解和精细化运营方面的一些实践和经验，副标题是推荐系统的精细化调控，相比于前面分享的一些硬核的算法模型和系统架构，我这里更多会介绍一些更显性的、更具可解释性的一些数据驱动方法在内容精细化运营场景的应用。本文主要分为5部分：第1部分会介绍业务背景、总体解决方案和收益，第2~4部分分别介绍内容理解、运营中台、投放系统的具体实现方案，最后做一个简单的总结和展望。01背景与方案QQ音乐作为一个以PGC内容为.

数据获取任何的机器学习算法解决问题，首先要考虑的是数据，数据从何而来？对于酷狗音乐/网易音乐这样的企业而言，用户的收藏和播放数据是可以直接获得的----歌单数据说明歌单的形式{ "result": { "id": 111450065, "status": 0, "commentThreadId": "A_PL_0_111450065", "trackCount": 120, "updateTime...

本文简要介绍我做的基于深度学习的音乐推荐系统。主要从需求分析与设计实现的角度来进行介绍。（一）需求分析  基于深度学习的音乐推荐系统旨在以个性化音乐推荐模型为基础，使用B/S架构的形式实现。个性化推荐模型使用了 随机梯度下降（SGD）、 K近邻分类算法（KNN）、协同过滤等传统机器学习领域算法进行音乐推荐的，同时使用了类似于Word2vec的词袋模型和词向量模型来对歌词进行文本处理，构建了异构文本网络，来标识用户的歌曲偏好，然后在此基础上引入了一个Java方面深度学习库deepLearning4j

接下来会研究一下音乐推荐系统，需要数据来进行算法及工程代码的演示，遂汇总一下网上开源的音乐数据集。Million Song Dataset说到音乐数据集第一位肯定是MSD，它包含了100万首歌曲的信息，总量有280GB大小。由于数据量的确较大，它使用了h5的文件压缩格式，并提供了一些code用于读这种文件。每首歌对应一个文件，字段包括歌曲的方方面面，如artist_mbid，artist_name，title，tempo等等，所有字段在这里列出。 路径是奇怪的，Q&A中解...

作者| 鲁修修，编辑 | 范志辉，音乐先声（ID:nakedmusic）从杂志、报纸上的乐评专栏，到音乐流媒体上的用户评论、算法推荐，人们听歌的选择方式一直处于私人化和公开化之间。近期，音乐软件Plexamp又进行了一次大规模的升级，其中最受关注的，当属新功能“Super Sonic”的上线。据Plex介绍，这款只针对会员用户的新功能将利用庞大的神经网络，从“声音”上对用户歌单中的歌曲进行分析，完成新内容的个性化推荐。不过，这一功能“更新需要占用大量的CPU，可能要花费您数小时甚至数天的时间...

今天给大家介绍一个github仓库，收集了非常多的推荐系统的数据集，非常的全面，非常的实用，做推荐系统相关的同学可以收藏一下。这些数据集在可作为基准的推荐系统中非常流行。Douban：http://socialcomputing.asu.edu/datasets/Douban 这是一个匿名的豆瓣数据集，包含129,490个独立用户和58,541个独立电影条目。 Epinions：http://www.trustlet.org/epinions.html Epinions是一个人们可以评论产品.

现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC 最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得.

本文将为你重点介绍：企业做标签画像的目的； 标签和画像的应用场景及应用流程； 构建标签和画像体系的实操方法论； 证券行业案例。我接触过各行各业的客户，在跟他们交流以及沟通需求的过程中，很明显的会感受到，在数据的基建和应用层面，除了重视数据分析外，也越来越重视数据资产在更多业务场景中的应用，标签画像的建设和应用就是其中一类很常见的需求和期望。事实上，我认为从对业务的价值来说，标签和画像是类似中间层的系统模块，具体来说，数据资产本质上是一些采集、采购所获得的数据源，但企业希望在数据源的基础上，实

为什么要先介绍标签体系？一个推荐系统效果好与坏最基本的保障、最基础的是什么？如果让我来回答，一定是标签体系。我这里说的标签主要是针对物料的，对于电商平台来说就是商品；对于音乐平台来说就是每一个首歌，对于新闻资讯平台来说就是每一条新闻。下一篇要介绍的是用户画像，画像中那些用户实时变化的兴趣点大都也是来自于标签体系，依据用户长期和短期行为中对于物料搜索、点击、收藏、评论、转发等事件，将物料的标签传导到用户画像上，就构成了用户的实时画像和离线画像中的各个动态维度。标签体系概览以京东的标签体系中的京