xq_123dd的博客

项目名称：基于边缘计算的实时环境监测与分析平台。

最后，zookeeper大家启动之后查看进程，不论zookeeper搭建的正确与否，他的进程都会正常显示，所以大家搭建完成之后一定要看一看zookeeper的状态，是否实现了分布式系统中的Leader选举，如果出现Error，那么即为搭建错误，需要大家根据具体情况解决。在我们职业院校技能大赛的大数据赛项中平台搭建模块，Zookeeper组件是经常考察到的，所以今天小编为了帮助大家更好的备赛和交流学习，为大家分享一下Zookeeper的搭建笔记。的文件，并向其中写入一个数字（不同即可）。

kafka进程也是成功启动了，那么到此，我们的搭建工作就算完成啦~~希望对同学们能有一些帮助，我们kafka的搭建工作相对开说还是比较简单的，就是有一些小细节大家很可能会遗漏，而且一般越简单的东西，大家要保证越熟练，不然也是很容易出错的，好了，如果大家对全国职业院校技能大赛有兴趣，大家都可以私信我，或者添加微信，我们一起共同进步！本来我们配置好‘log.dirs’之后，会自动创建这个目录，但是我害怕他不创建，就辛苦辛苦我自己吧，我手动给他创建好，进入到kafka路径下。五、修改三个节点的id配置。

然后我们复制conf目录下的workers.template文件，workers.template文件是一个模板文件，用于配置Spark集群中的工作节点，我们一般是将其复制为workers文件进行配置系列工作节点的主机名或IP地址，每行一个。将hive中conf下面的hive-site.xml传输到spark的conf下（如果你想直接使用spark-sql操作Hive的话）Spark在访问Hive表时，需要知道Hive元数据的存储位置，以便能够正确地读取和写入Hive表。二、更改名称（这步可省略）

在大数据时代，数据量呈爆炸性增长，传统的数据处理工具已难以满足需求。Hive作为一个开源的数据仓库工具，能够处理大规模数据集，提供了强大的数据查询和分析能力，是大数据学习中的关键工具。在全国职业院校技能大赛（大数据技术与应用赛项）中的平台搭建模块，hive的搭建也是经常考察的问题，今天大家随着小编一起来看一看如何才能避开所有坑，在CentOS7系统中完成Hive的搭建工作，帮助大家快速有效的备赛！！