魅族技术晚场回顾，算法、架构、AI之外，还要考虑未来

最新推荐文章于 2018-04-03 12:57:32 发布

原创最新推荐文章于 2018-04-03 12:57:32 发布 · 116 阅读

0 ·

CC 4.0 BY-SA版权

本次技术开放日聚焦大数据和AI应用实践，涵盖推荐算法、用户画像、深度学习等多个热点议题。专家们深入探讨了推荐系统的架构与算法、用户画像体系构建、深度学习应用场景等问题，并分享了各自领域的实践经验。

很多技术人应该都参加过InfoQ举办的技术晚场，这是一种相对open且轻松的技术交流活动。

根据提前设置好的技术话题方向，请预先邀请好的小组组长带领小组成员进行讨论，基本上，每个愿意交流的成员都能和组长或者其他嘉宾充分交流。

在7月7日ArchSummit深圳架构师峰会上，魅族联合InfoQ共同策划举办了第9期以“大数据和 AI 应用实践”为主题的魅族技术开放日活动。活动邀请了5位小组长：分别是腾讯云大数据及AI产品中心技术专家张杉，eBay数据和商业智能研发总监沈则潜，销售易技术VP 赵宇辰，魅族高级算法工程师李梦婷，魅族数据平台研发组长、架构师张欢引。

现场讨论非常热烈，大家相见恨晚，各抒己见，畅所欲言，对于大数据平台架构、推荐系统、图像识别、机器学习等话题，几乎有说不完的想法，讨论不完的问题，借助这样的机会，确实可以帮助大家提供技术解决方案和新思路。

李梦婷小组讨论的内容以推荐算法为主，讨论了两个主要的技术点，一是用户画像体系的建立，这里面涉及用户数据获取的方式，一般包括自行收集数据、外部官方渠道的数据、市场采集数据。其次就是建立标准的标签体系，每一个标签通常是人为规定的特征标识，用高度精炼的特征描述一类人，例如年龄、性别、兴趣偏好等，不同的标签通过结构化的数据体系整合，就可组合出不同的用户画像。除此之外还涉及到画像的存储与索引、标签的计算方法，以及评价指标等内容。

二是讨论到了推荐系统，内容包括推荐系统架构，具体各个模块用到的算法以及效果如何，特征工程，线下评价以及线上评价的方式，算法人员和产品/运营之间的合作方式，推荐位与推广位的权衡等等。

张欢引小组的组员问到，魅族数据仓库是否是按主题分别存储的？除了行为数据外，像日志、DB数据等是怎么接入数据仓库的这样的问题。

实际上，魅族数据仓库是基于一个大规模Hadoop集群上实现的，根据不同业务做不同主题划分，只不过是存储在一起的。数据开发人员在集成开发平台（或流平台）配置对应的任务，将各类行为记录、业务日志、DB、第三方数据通过定时离线抽取（或实时流）方式写入统一的数据仓库，大致流程如下图：

其次，组员们对魅族的用户画像系统存储实现的组建很感兴趣，以及对标签数据生成过程和具体的使用场景很有兴趣。

张欢引介绍，魅族用户画像主要有两种场景，所用的存储组件不同：

圈人及画像洞查服务：用户通过Web进行操作，一次处理数据量大，响应时间要求在3s内，对比Vertica和ES后，最终用户宽表选择了ES方案。\\t
DMP服务主要是为PUSH、推荐、广告等提供实时接口查询，并发高，要求在ms级响应。团队最后使用的是HBase方案（对于要求更苛刻的广告业务则使用了Redis）。\

用户画像数据魅族区分指标和标签有两个概念，举例而言：用户消费金额数是指标（0.1元等），而基于此基础上的消费金额等级（高、中、低）则是标签。标签可通过标签规则设置，实则由指标生成。标签数据生成过程如下：

上述生成过程有两个不足：一是会因为某一个指标或标签的生成delay而造成整体标签宽表输出延后，另一个是未考虑实时标签。所以魅族新的方案是将生成的单个标签融合入宽表过程改为单个标签实时put（或post），这样就有效的避免了不足之处。目前魅族画像数据已经为活动分析、营销推广、推荐、广告及业务本身运营提供了支撑。

赵宇辰作为大数据方面的技术大触，和沈则潜老师带领数据挖掘和机器学习讨论组过程中，展开了关于人工智能话题的热烈讨论。在深度学习非常火爆的今天，小组首先分析了深度学习最常见的几个应用场景：图像，声音和文本。机器学习从传统的Feature Engineering（特征工程）随之转向深度模型的Architecture Engineering（架构工程）。

随后小组又讨论了深度学习是否需要大量数据作为训练，在实际应用场景中，如果没有大量数据，Transfer Learning（迁移学习）等技术是否能在此有所应用。来自阿里的组员还分享了阿里在深度学习特别是自然语言处理上的应用，从多轮对话机器人到情感分析，再到知识库，甚至自然语言生成Natural Language Generation（NLG）等等，对整个小组的话题引导和经验分享都非常有帮助。来自企业服务（B2B）的小伙伴们分享了在B2B领域人工智能应该如何发挥作用和应用机器学习的未来愿景。

张杉老师带领小组进行图像识别的话题讨论，讨论结果认为，图像识别在未来的好几个场景是有落地基础的，包括工业制造，智慧城市，智慧医疗，智慧驾驶，以及金融行业。同时在智能医疗上也有可能落地，未来的影象资料结合AI是可以实现的，对于诊断有很大的帮助。

最后小组也讨论了支撑图像识别的技术，尤其在深度学习的大背景下，深度学习其实在很大程度上是大数据的一个发展积累；另外一个重要的条件就是“计算能力＋算法”，GPU的出现使得计算能力更进一步，这两者是图像识别的一个重要资源。当然除此之外，小组还聊到了AI时代哪些岗位可能会被替代？例如智能客服的出现，很有可能会取代传统的人工客服岗位。另外数据分析岗位也在可能性行列，数据生成结果之后，怎么往数据中心去迁移则是需要重点考虑的事情。