朱智文的专栏

upgrade：升级

vi hdfs-site.xmldfs.replication2 dfs.namenode.http.address mina0:50070 dfs.name.dir/home/hadoop/soft/hadoop-2.6.4/name1,/home/hadoop/soft/hadoop-2.6.4/name2在实际生

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：  从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念  flume是分布式的日

服务端：nc -l 6666 （声明一个端口号）客户端：nc  mina0 6666 （连接服务端）然后服务端就可以和客户端进行通信了NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具，能被其它的程序程序或脚本直接地或容易地驱动。同时，它又是一个功能丰富的

通过阅读父类Mapper的源码，发现 setup方法是在maptask处理数据之前调用一次 可以用来做一些初始化工作1、需求：订单数据表t_order：iddatepidamount100120150710P00012100220150

报错:[hadoop@mina0 hive]$ bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/soft/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties[ERROR] Terminal initialization failed;

[hadoop@mina0 bin]$ ll总用量 888-rwxr-xr-x. 1 hadoop hadoop 1031 4月 30 2015 beelinedrwxrwxr-x. 3 hadoop hadoop 4096 10月 15 23:41 ext-rwxr-xr-x. 1 hadoop hadoop 7844 5月 8 2015 hive-rwxr-xr-x

Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。图1 hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个Name

[root@mina0 hadoop]# systemctl restart networkJob for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for detai

由于使用了Rsync同步备份文件功能，我们之间使用了SSH通道，但是输入密码是个问题，有没有一种方法可以不输入密码即可完成SSH登录的呢？肯定有！我们可以使用SSH公钥来实现免密码登录。比如我们有一台机器A，还有一台机器B，我们现在需要实现的功能是在A 机器上面实现免密码登录B机器。1.首先在A机器上面创建公钥帮助1

首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。         Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsear

安装了虚拟机之后，一开始是可以启动，有一次突然的关闭，之后打开就提示虚拟机XX .vmdk 或它所依赖的某个快照磁盘，无法打开虚拟机，下面就来说一下如何解决这个问题解决方式：删除安装文件里以.clk 后缀名结尾的文件就可以了

报错：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-

1.首先：第一行加上#！之后 内容会加粗，和其他行的字体不一样2.第一行默认为shell脚本解释器的路径，如果不写，默认解释器为bash3:# 是shell脚本里的注释符，#！在文本第一行，作为shell脚本解释器路径的开始

报错：解决：先将vmware关闭，打开虚拟机的安装位置，找到vmx文件，如下：用记事本打开该文件，找到如下行：将TRUE改为FALSE，保存，再打开虚拟机。。

原来网卡配置文件名称为 ifcfg-ens33，这里需要修改为 ethx 的格式，并适当调整网卡配置文件。mv /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-eth0# 修改ifcfg-eth0文件如下内容(其它内容不变)NAME=eth0DEVICE=eth0[roo

1：不管网卡名称是eth0 还是以ens开头步骤一样1：vi /etc/sysconfig/network-scripts/ifcfg-eth0修改如下几处：bootproto: static/dhcp  一个是动态生成ip,一个是静态iponboot:开机重启载入配置ipaddr:ip地址netmask:子网掩码gateway:网关配置完成之后执行:service

1查看mysql默认密码：[root@hadoop usr]# sudo grep 'temporary password' /var/log/mysqld.log2017-09-28T15:46:32.604637Z 1 [Note] A temporary password is generated for root@localhost: 0+SFwD(i_;wg2：用默认密码登陆

问题：安装mysql过程中出现的依赖[root@hadoop mysql-5.7.16]# rpm -ivh mysql-community-devel-5.7.16-1.el7.x86_64.rpmwarning: mysql-community-devel-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5

tail -f installl.log   小f 跟踪文件的唯一inode号 ，就算文件改名后，还是跟踪原来这个inode表示的文件tail -F intall.log 按照文件名来跟踪例如：当install.log文件内容满的时候，会将install.log名称改为install1.log 同时新建一个install.log文件 而这个install.log文件的inode 是

第一步：找到yum镜像 /etc/yum.repos.d[root@hadoop yum.repos.d]# lltotal 28-rw-r--r--. 1 root root 1664 Aug 30 23:53 CentOS-Base.repo-rw-r--r--. 1 root root 1309 Aug 30 23:53 CentOS-CR.repo-rw-r--r--.

1主要：把secondarynamenode 数据 迁移到namenode数据目录里，然后重启namenode2首先知道：secondarynamenode 默认每隔一小时备份一次数据core-site.xml fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints.

1：如果每台机器一个一个的部署，利用加载iso镜像特别占磁盘空间下面利用一台机器部署yum源，然后将yum源发布的web服务器，其他虚拟机更改源地址即可具体；           先挑选一台机器mini4，挂载一个系统光盘到本地目录/mnt/cdrom，然后启动一个httpd服务器，      将/mnt/cdrom 软连接到httpd服务器的/var/www/html目录中 (c

[hadoop@mina0 hadoop-2.6.4]$ hdfs dfsadmin -reportSafe mode is ONConfigured Capacity: 72955723776 (67.95 GB)Present Capacity: 44937408512 (41.85 GB)DFS Remaining: 44937392128 (41.85 GB)DFS Used:

安装HBase时，要考虑选择正确的Hadoop版本，否则可能出现不兼容的情况。HBase各版本和Hadoop版本的支持情况，官方有相关说明，下面表格中："S" = 支持"X" = 不支持"NT" = 未测试 HBase-0.94.xHBase-0.98.x (Support for Hadoop 1