
大数据
四五又十
这个作者很懒,什么都没留下…
展开
-
两万字长文全面理解Zookeeper
一、Zookeeper简介是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。二、Zookeeper应用场景2.1 维护配置信息java编程经常会遇到配置项, 比如数据库的url、 schema、 user和password等。 通常这些配置项我们会放置在配置文件中, 再将配置文件放置在服务器上当需要更改配置项时, 需要去服务器上修改对应的配置文件。 但是随着分布原创 2020-12-19 19:24:51 · 1010 阅读 · 1 评论 -
hive(1)--数据库、数据库表操作
一、Hive概述Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具,甚至更进一步可以说hive就是一个MapReduce的客户端本质是:将HQL转化成MapReduce程序二、Hive的架构1.用户接口:ClientCLI(hive shell)、JDBC/ODBC(java原创 2020-12-08 15:02:46 · 459 阅读 · 0 评论