
大数据原理与应用
文章平均质量分 67
大数据学习
浩淇害死猫
本人学习过程的笔记总结,篇幅大多过长。
展开
-
MongoDB下载安装配置(windows版本)
需要在该盘的根目录下新建一个data文件夹(必须要是MongoDB安装盘符的根目录下),在data文件夹下创建db子文件夹(存放数据库文件)、log子文件夹(存放日志文件)。出现以下界面,说明服务已经启动,但是我们怎么运行客户端嘞,之前版本的是存在一个mongo.exe文件,点击就可以运行客户端,好像是目前版本的更新导致个别版本不存在exe文件,这时候我们 需要下载mongodbshell连接进行操作。这边下载,建议放在之前的data那个目录一起,进入该目录的bin,点击mongosh.exe。原创 2022-11-01 20:25:47 · 1307 阅读 · 2 评论 -
Redis下载安装配置(linux版本)
因为Redis默认是linux版本,windows版本是微软那边维护的,这边我们是为了做实验下载Redis,所以暂时先下载linux版本吧。编译成功之后会显示:It's a good idea to run 'make test'2.将下载好的压缩包通过XFTP上传到我们的虚拟机或者服务器(这边使用的是服务器)这边我使用的是华为云,需要将6379端口打开(任何商家的服务器都需要)3)更改protected-mode为no。11.这边展示一下redis的正常界面。1)将下图画红线的注释掉。原创 2022-11-01 19:02:38 · 2018 阅读 · 0 评论 -
HBase伪分布式配置(云服务器配置)
因为启动hbase之前需要提前启动hadoop hdfs zookeeper 所以这边我们外面配置了zookeeper,虽然hbase有自带的hbase,但是我们还是建议使用外部的,因为自带的版本很低,配置文档很老,所以不使用,这边如果您没有配置好zookeeper,这边给您提供链接。下一步,配置vim hbase-site.xml,不要一口气复制,下面的那个公网地址,还有zookeeper的地址都要填你自己配置的。这边开放您的服务器的10030和60010端口。这边我们找到hbase的官网。原创 2022-10-16 14:17:20 · 1181 阅读 · 0 评论 -
zookeeper伪分布式配置(云服务器配置)
4.1 在zookeeper下创建 zoo_1 zoo_1_datalog zoo_2 zoo_2_datalog zoo_3 zoo_3_datalog。这边找到你的服务器,无论是阿里、腾讯、还是华为都要进入你的安全组,将上述代码配置的端口打开,这边不赘述,配置参数的端口都要打开。解压下载的zookeeper,解压到/usr/local/zookeeper,这边要先创建一个zookeeper的目录。将下载的hadoop-zookeeper上传到linux系统目录下,如上图。原创 2022-10-14 11:49:44 · 1120 阅读 · 0 评论 -
解决hadoop与hbasejar包冲突问题
然后将该jar包改名为原先的名字后面加上.copy建议不要删除,因为说不定还有用是吧。然后这边再重新启动hbase就可以了。原创 2022-10-13 22:52:07 · 1757 阅读 · 1 评论 -
ssh登录The authenticity of host localhost can‘t be established.错误
ssh登录The authenticity of host localhost can't be established.错误原创 2022-10-11 22:29:39 · 2890 阅读 · 0 评论 -
解决File ~ could only be written to 0 of the 1 minReplication nodes.
NameNode节点存放的是文件目录,也就是文件夹、文件名称,本地可以通过公网访问 NameNode,所以可以进行文件夹的创建,当上传文件需要写入数据到DataNode时,NameNode 和DataNode 是通过局域网进行通信,NameNode返回地址为 DataNode 的私有 IP,本地无法访问。这里也可以看出大哥也使用的是服务器‘,根据上述理解我们知道因为我们使用的服务器,官方给我们提供的是可以访问的公网,但是内部名称节点和数据节点的通信是通过私网,也就是相当于;在你的服务器上,输入以下指令。原创 2022-10-01 14:47:09 · 9772 阅读 · 6 评论 -
解决 java.net.ConnectException: Your endpoint configuration is wrong;
hdfs://0.0.0.0:9000,我以为和core-site.xml 中的namenode的url一致,下面是原先配置的core-site.xml的内容。2.但是我采用第一种方案不行,我是在服务器上安装的hadoop,是阿里云的服务器,而我的错误是将上述的url写成了。结果java代码该处的地址要写成你自己的服务器网址,将0.0.0.0换成你自己的服务器网址,不然它找不到你的地址。还要执行./sbin/start-yarn.sh,一般来说都是yarn没执行,所以报的错。结果报错出现题目问题,原创 2022-09-29 23:07:04 · 3841 阅读 · 0 评论 -
虚拟机Ubuntu安装Hadoop(伪分布式安装)
1.创建hadoop用户在终端输入为hadoop用户设置密码,连续输入两次密码即可为Hadoop用户增加管理员权限,避免以后的麻烦这里我们切换到hadoop用户,进行下一步操作2.ssh的安装以及设置免密登录检测ssh是否安装,有sshd说明已经启动这边我们还需要安装ssh server,这边又yes输入yes就可以登录ssh,有yes输入yes紧接着退出登录,设置无密码登录,使用ssh-keygen生成密匙,并将密匙加入到授权这边进行验证出现这个说明免密登录设置成功3.java环境的搭建。原创 2022-09-14 00:45:50 · 3828 阅读 · 2 评论