开源大数据周刊-第99期

资讯

• 谷歌重磅开源强化学习框架Dopamine
  谷歌推出了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。
• 整合AI和数据科学新利器：基于Apache Spark的Hydrogen项目
  以往数据集的准备以及模型的训练工作是分开的，这两部分工作相当于存在两套系统中。这种方式对于开发、测试都极其麻烦。是否存在于一套方案，同时解决这两类问题呢？Apache Spark 无法做到。原因是模型的训练在 Spark 的 DAGScheduler 中支持的并不好。后来 Spark 提出了 Hydrogen 项目，从而使得 Spark 能够更好地整合深度学习框架。
• Redis杀死许可证，闭源的有：RediSearch、Redis Graph、ReJSON、ReBloom、Redis-ML
  本数据库开发商Redis Labs本周将该公司开发的Redis模块由AGPL改成了Apache v2.0和Commons Clause（共用条款）相结合的许可证，因而对销售许可证涵盖的软件作了限制。

技术

• 为什么已有Kafka，我们最终却选择了Apache Pulsar？
  本文主要介绍了一家商业公司在使用 Kafka 作为事件总线时遇到的问题，主要是性能、可扩展性以及一些技术性限制。比如 Kafka Broker 是绑定存储状态的，扩展或缩小 Kafka 集群需要重新平衡分区，而 Pulsar Broker 是无状态的，真正的做到了计算和存储分离。Pulsar 还有一些其他的优点。这篇文章可以说是消息系统选型的一个良好案例。
• 先过滤后解析：斯坦福开源数据解析引擎Sparser，解析提速22倍
  很多大型数据应用程序通常在非结构化或半结构化的原始数据格式（如 JSON）上运行。查询这些文件常常是非常耗时的，尤其是那些探索性应用程序，数据科学家用来运行查询以探索及更好地理解其数据。令人惊讶的是，这些应用程序实际上有 80%-90% 的执行时间是用于解析数据，而不是用于评估实际查询本身。因此，解析实际上才是瓶颈。这篇文章介绍了介绍 Sparser，一个来自斯坦福 DAWN 团队的一个研究项目，该项目解决了这个性能瓶颈。
• Apache Flink状态管理和容错机制介绍
  本文详细介绍了Flink的状态管理和容错机制，内容包括有状态的流数据处理、Flink中的状态接口、状态管理和容错机制实现等。
• Apache HBase中等对象存储MOB压缩分区策略介绍
  Apache HBase 中等对象存储（Medium Object Storage, 下面简称 MOB）的特性是由 HBASE-11339 引入的。该功能可以提高 HBase 对中等尺寸文件的低延迟读写访问（理想情况下，文件大小为 100K 到 10MB），这个功能使得 HBase 非常适合存储文档，图片和其他中等尺寸的对象。本文对这一特性进行了详细的介绍。