linux
关注
分享
扫一扫
七个馒头
这个作者很懒，什么都没留下…
展开
-
linux系统下hadoop伪分布式集群搭建之安装虚拟机
首先你得有个虚拟机，并且安装好了任意的linux系统 本文讲解的是在CentOS下的安装废话不多说，我们先来----------------------------安装虚拟机首先在VMware主页面点击创建新的虚拟机然后进入选择一个典型点击下一步点击稍后安装操作系统，点击下一步，在这里插入图片描述这时候客户机操作系统选择Linux版本号选择你所要安装的CentOS的版本，我这里选择...原创 2019-06-12 16:24:59 · 296 阅读 · 0 评论 -
Flink运行自带SocketWindowWordCount.jar报错Job failed 和 Connection refused (Connection refused)
第一个原因：没有nc -l 9000的情况下直接执行了这句话./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000第二个原因：端口号最好换一个，如果配置了连接hdfs的话第三个原因：其实因为你配置了hdfs环境的原因，仔细想想，你是不是修改了vim conf/flink-c...原创 2019-08-20 13:04:34 · 5794 阅读 · 0 评论 -
Lost task 0.0 in stage 0.0
今天来更新一个错误，下面是我的解决办法，将所有的mysql驱动包，放到集群每个节点下面，将程序的连接jdbc的地址从localhost改为安装了mysql的节点的地址，所有的SparkConf属性只设置setAppName，剩下的命令提交，然后清除项目缓存，多清几次，然后打包，集群运行！！！！希望我的错误对你有所帮助...原创 2019-07-26 11:32:16 · 3185 阅读 · 0 评论 -
Hadoop集群时间同步，超级简单版本
首先本人在网上看了很多方法，大部分都不适合初学菜鸟进行时间同步，下面我说的这个超级简单版本，只适用于学习自己一个人的电脑上虚拟机的操作打开需要修改时间的虚拟机，xshell连接选择瓷砖排列方便查看命令，点击工具--------发送键入到所有会话重点来啦设置时区为东八区tzselect输入这个命令，然后选择：：：：5->9->1->1可能...原创 2019-06-27 10:09:52 · 403 阅读 · 0 评论 -
SecondaryNameNode学习
SecondaryNamenode------持久化参考下这个网址，很不错的，点击即可NN掌握一批元数据 ----描述数据的数据 -----内存里ps:硬盘与内存的区别 硬盘，内存大，便宜，但是慢 内存，内存小，贵，但是快，为了保证元数据的安全，----将内存中的数据存放到磁盘中，举个例子，SNN的作用：当我们的集团因断电等特殊原因产生问题的时候，问题解决，重新开机，...原创 2019-06-11 20:31:43 · 192 阅读 · 0 评论 -
MapReduce拆分理解
文章目录1.input(输入) --- 给定一个文档，其中有这样几行数据2.split(切片) --- 将给定的文档按行切分成key-value键值对3.map(映射) --- 将拆分之后的键值对转换成新的key-value键值对(这里用空格间隔，所以拆分的时候也用空格)，4.shuffle(派发) --- 将相同的key放到一起5.缩减(reduce) --- 把相同key的value加到一起6...原创 2019-06-17 17:05:05 · 1810 阅读 · 0 评论 -
HDFS入门---------命令大全
文章目录首先------启动 Hadoop 集群其次------处于hadoop的bin目录下面0.help1.ls2.lsr3.mkdir4.-moveFromLocal5.-appendToFile6.mv7.cat8.chgrp9.chown10.chmod11.copyFromLocal | put12.copyToLocal | get13.cp14.du15.dus16.expunge...翻译 2019-06-16 16:37:11 · 319 阅读 · 0 评论 -
大数据学习
自给定义：短时间快速产生大量多种多样的有价值的信息如今数据越来越多，为了解决数据量过大的问题，垂直扩展机制，和横向扩展机制相继进入视线，垂直扩展指的是再一台服务器上尽可能的扩大内存，而横向扩展指的是将许多个计算机联系起来，例如下图： 讲完这些，就不得不说一说hadoop生态圈和spark生态圈了，hadoop包括以下模块 Hadoop Comm...原创 2019-06-10 20:44:12 · 199 阅读 · 0 评论 -
输入输出浅谈
#切换到桌面路径方便查看讲解的有 > >> << <<< &接下来ls (显示当前路径下面的文件名)ls / > list.log(将控制台里面的内容写出 覆盖 到list.log中)ls / >> list.log(将控制台里面的内容写出 追加 到list....原创 2019-06-10 15:37:05 · 103 阅读 · 0 评论 -
redis keys 常用方法
最常用的redis命令，方便以后查找使用DEL key 该命令用于在 key 存在时删除 key。DUMP key 序列化给定 key ，并返回被序列化的值。EXISTS key 检查给定 key 是否存在。EXPIRE key seconds 为给定 key 设置过期时间，以秒计。EXPIREAT key timestam...转载 2019-06-10 10:47:49 · 768 阅读 · 0 评论 -
Hive内部运行机制
首先介绍下hive的概念 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduc...原创 2019-06-19 20:25:23 · 1010 阅读 · 0 评论 -
linux小程序之阶乘
#!/bin/bashecho "请输入一个10以内的数字"read numnumber=1if [ $num -lt 10 ]then for i in `seq $num` do number=`expr $i \* $number` done ...原创 2019-06-10 08:09:39 · 662 阅读 · 0 评论 -
我的第一个WordCount项目
WordCount中，统计单词数量1.创建一个MapReduce项目2.导入相应的jar3.新建一个包，包下直接创建Mapper类4.创建Reduce类5.创建一个普通类，用于提交任务，此时，项目里面有 *三个线程*6.因为权限问题，这里导入了一个包，直接沾到项目src目录下，如果jar包需要请在评论区联系7.因为项目里面的东西都是自动生成，对于一些方面我做了稍加修改，下面是我的代码，仅供参考...原创 2019-06-14 22:08:07 · 303 阅读 · 0 评论 -
zookeeper详解
定义： zookeeper开源，他是一个分布式协调服务数据模型： 1.每一个节点都称之为 znode，它可以有子节点，也可以有数据； &nbs...原创 2019-06-18 21:58:41 · 1323 阅读 · 0 评论 -
Hadoop-HDFS分布式集群搭建
HDFS伪分布式搭建步骤1、上传文件 xshell 使用命令rz-----yum install lrzsz -y2、解压 tar -zxvf jdk...3、配置环境变量 vim /etc/profile 进入，找到export开头的地方加入下面代码 export JAVA_HOME=/opt/software/jdk1.8.0_1...原创 2019-06-12 21:12:08 · 147 阅读 · 0 评论 -
org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker
今天来更新一个错误，是flume消息发送到kafka时候出现的出现这个错误的是因为flume版本的与conf配置文件语句的不兼容导致的查看flume版本号很简单...原创 2019-08-15 16:42:26 · 429 阅读 · 0 评论