
阅读记录
小鸣的道道
这个作者很懒,什么都没留下…
展开
-
hadoop 元数据管理 atlas
Atlas是一组可伸缩和可扩展的核心基础治理服务——使企业能够有效地满足Hadoop中的遵从性需求,并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能,以构建数据资产目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。type system1.type type类似java 的类,定...原创 2019-03-21 09:03:37 · 880 阅读 · 0 评论 -
hive wiki阅读
hive 由HCatalog 和WebHCat组成HCatalog是Hadoop的表和存储管理层,允许使用不同数据处理工具(包括Pig和MapReduce)的用户更容易地在网格上读写数据。WebHCat提供了一个服务,您可以使用它来运行Hadoop MapReduce(或yarn)、Pig和Hive作业。您还可以使用HTTP (REST样式)接口执行Hive元数据操作。hive str...原创 2019-09-27 10:13:31 · 433 阅读 · 0 评论 -
HCatalog
概观HCatalog是Hadoop的表和存储管理层,它使使用不同数据处理工具(Pig,MapReduce)的用户能够更轻松地在网格上读取和写入数据。HCatalog的表抽象为用户提供了Hadoop分布式文件系统(HDFS)中数据的关系视图,并确保用户不必担心其数据的存储位置或格式(RCFile格式,文本文件,SequenceFiles或ORC文件)。HCatalog支持以可以写入SerDe...原创 2019-09-29 11:50:36 · 620 阅读 · 0 评论