
大数据
文章平均质量分 72
大数据的基础搭建
Cat God 007
鲜衣怒马少年时,不负韶华行且知。
展开
-
大数据平台搭建2024(三)
获取user的rk0001时,HBase默认的版本为VERSIONS为1,只会取一个版本的数据,需要修改表的版本号。查看user中rk0001的info列族中name,age的信息。配置环境变量,(02\03可以不配置hbase的环境变量)查看user中rk0001的info,data列族的信息。再向info:name插入数据,就可一查看历史版本的数据。删除user的rk0001的info:age的数据。查看user中rk0001的info列族所有信息。查看user中rk0001的所有信息。原创 2024-04-16 23:25:47 · 888 阅读 · 1 评论 -
大数据平台搭建2024(一)
1)修改zookeeper的配置,将java环境直接配置给zk(3个节点都修改)会根据配置的hadoop的tmp文件夹生成文件,3个节点的tmp的数据是一致的。,启动3台的zk级hadoop服务(仅在node01上创建脚本)2)可以看到node01为备用节点,手动调整node01为主节点。1)启动3台节点的zookeeper,在3台节点分别执行。1)启动3台节点的zookeeper,在3台节点分别执行。实现停止集群服务的脚本(先启动的后关,后启动的先关)2)启动journalnode,在3台节点分别执行。原创 2024-04-16 22:11:16 · 1742 阅读 · 1 评论 -
大数据平台搭建2024(二)
给root账号设置密码和登录权限 (密码要有大小写、数字、符号,至少8位)overwrite:如果有overwrite,表示覆盖,不是追加数据。chmod : u 用户 ,g 用户组,o 其他用户 -R 递归,注:第三条命令对因权限问题出错,先不管它,其他命令能成功执行即可。实现jdbc链接要执行hive,还要执行hiveserver2。hive的命令行上,输入;后面,但在实际应用中是有账号密码泄露的风险的。三个命令都要执行一下,不管是否能执行成功。可以在hive的命令行,手动修改。原创 2024-04-16 20:51:52 · 876 阅读 · 2 评论 -
大数据疑难问题2024
大数据搭建过程中遇到的问题原创 2024-03-12 15:41:48 · 459 阅读 · 0 评论 -
Hadoop集群hbase的安装
hbase安装原创 2022-10-10 22:50:28 · 949 阅读 · 0 评论 -
hadoop集群hive 的安装
hive集群安装原创 2022-10-10 22:49:34 · 605 阅读 · 0 评论 -
MySQL的yum安装与更改数据库安全策略
数据库的安全策略更改原创 2022-10-10 17:58:34 · 369 阅读 · 0 评论 -
hadoop集群部署
hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架,主要解决海量数据存储与计算的问题,是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理,用户可以在不了解分布式底层细节的情况下,开发分布式程序,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。hadoo原创 2022-04-19 08:23:41 · 7700 阅读 · 7 评论 -
hadoop的单台部署
基础环境1.一台电脑,电脑上有安装VMware Workstation2.有centos7的镜像(任何版本都行)3.远程连接软件具体操作1.创建用户useradd hadoop-chpasswd hadoop-ch两次输入密码,回车。1-2.设置sudo用户vi /etc/sudoers加入如下内容(最后):hadoop-ch ALL=(ALL) ALL保存,退出(wq!)。1-3.使用新创建的用户登陆linuxssh hadoop-ch@ip地址2.安装Apache-原创 2022-04-18 08:08:38 · 434 阅读 · 0 评论 -
hadoop的本地部署
基础环境1.一台电脑,电脑上有安装VMware Workstation2.有centos7的镜像(任何版本都行)3.远程连接软件具体操作1.创建用户useradd hadoop-chpasswd hadoop-ch两次输入密码,回车。1-1.设置sudo用户vi /etc/sudoers加入如下内容(最后):hadoop-ch ALL=(ALL) ALL保存,退出(wq!).1-2.使用新创建的用户登陆linuxssh hadoop-ch@ip地址2.安装Apache-原创 2022-04-18 08:07:16 · 386 阅读 · 0 评论