jjkang的博客

原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Could not locate executable null\bin\winutils.exe in the Hadoop binaries.两种方式解决第一种第二种方式两种方式解决第一种在Driver的第一行加上如下代码System.setProperty("hadoop.home.dir", "D:\\dev\\java\\hadoop\\");D:\dev\java\ha...

原创 HBase架构图

原创 shell调用shell的几种方式

shell调用shell的几种方式[root@zk1 shell]# ll总用量 12-rwxr-xr-x. 1 root root 28 4月 11 17:05 hello.sh-rwxr-xr-x. 1 root root 294 4月 11 17:04 usessh.sh[root@zk1 shell]# [root@zk1 shell]# cat hello.sh #...

原创 azkaban安装

azkaban安装azkaban web服务器安装azkaban 执行服器安装创建azkaban的数据库创建SSL配置修改时区azkaban web服务器配置azkaban 执行服务器executor配置用户配置启动web服务器执行服务器访问安装azkaban需要提前安装好mysql服务器azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...

原创 flume采集日志文件到hdfs

flume采集日志文件到hdfs配置文件启动命令运行结果flume可以从正在输出的日志文件中采集数据存到hdfs中配置文件agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure tail -F source1agent1.sources.source1....

原创 flume采集目录文件到HDFS

flume采集目录文件到HDFS配置配置# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /root/h...

原创 flume简单实例

flume实例实例一配置文件运行结果实例一配置文件# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = 192.168.56.160a1.sources.r1.port = 4...

原创 hbase安装

hbase安装下载、解压（Hbase版本0.99）修改配置文件core-site.xmlhbase-env.shhbase-site.xmlhdfs-site.xmlregionservers分发到其他主机启动启动后的进程zk1zk2zk3测试下载、解压（Hbase版本0.99）修改配置文件core-site.xml<configuration> <pro...

原创 HA集群安装

HA集群安装硬件准备安装jdk安装zookeerper安装hadoop上传、解压修改core-site.xml文件修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml修改slaves配置hadoop_home分发到其他虚拟机中启动启动zookeeper集群启动journalnode格式化HDFS格式化ZKFC启动HDFS启动YARN测试硬件准备七台虚...

原创 zookeerper集群安装

zookeerper集群安装将安装包上传到虚拟机解压修改配置文件创建目录设置myid分发到其他主机将安装包上传到虚拟机解压修改配置文件[hadoop@hadoop6 ~]$ cat app/zookeeper/conf/zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks...

原创 hive安装

hive安装上传、解压修改配置hive-env.sh配置vi hive-site.xml将mysql的jar包拷贝到lib路径下Jline包版本不一致的问题mysql 权限问题上传、解压修改配置hive-env.sh配置# Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...

原创 hosts ‘192.168.56.1’ is not allowed to connect this mysql server

开启msyql的远程登录 #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES;...

原创 centos6.5 安装 MySQL

centos6.5 安装 MySQL删除自带的mysqlyum list installed | grep mysql # 查看是否安装mysqlyum -y remove mysql-libs.x86_64 #删除安装yum list | grep mysqlyum install -y mysql-server mysql mysql-deve启动服务se...

原创 自定义组件Partitioner- 根据不同省份统计手机流量

自定义组件Partitioner- 根据不同省份统计手机流量需求思路实现JavaBean自定义PartitionerMapperreduce结果![在这里插入图片描述](https://img-blog.csdnimg.cn/20190328170806291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,...

原创 统计手机流量 - 使用bean传输

统计手机流量 - 使用bean传输JavaBeanMapperreduceMain上一篇博客中，使用的是键值对传输，但是，如果要字段很多怎么办呢？比如，需要上行流量、下行流量、总流量，这个时候就不能使用键值对的方式传输了，而是要将这些字段封装为一个JavaBean。JavaBeanpublic class Traffic implements Writable{ priv...

原创 统计手机流量

统计手机流量原始数据需求编码实现MapperReduceTrafficCount原始数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 ...

原创 运行hadoop中的例子程序PI

运行hadoop中的例子程序PI命令结果安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。命令hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5结果[root@zk2 ~]# hadoop jar hadoop-mapreduce-examples-2.6.4.j...

原创 Centos 6.5 hadoop集群安装

Centos 6.5 hadoop集群安装安装jdk安装hadoop三台主机hosts修改主机名修改网络环境修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml安装jdk解压之后，vi /etc/profile，在平、末尾添加jdk的环境变量export JAVA_HOME=/root/app/jdk1.8.0_18...

原创 Spring中的监听器

Spring中的监听器问题描述事件类监听器类对应的controller实体类测试效果问题描述现在项目中有一个报表生成的模块，以前的做法是用了一个死循环，每隔几秒钟去生成一次；就想换一种做法，想到了spring的监听器。此demo中我为了方便，用的是springboot，ssm项目中完全一样。事件类首先要有一个事件，这个事件用于区别你的操作、比如删除、增加都对应一个事件。/** ...

原创 netty学习之路四，利用Marshalling序列化对象，传输

利用Marshalling序列化对象pom依赖ServerServerHandlerClientClientHandler实体类response和requestMarshalling工厂类pom依赖 &lt;dependency&gt; &lt;groupId&gt;io.netty&lt;/groupId&gt; &lt;artifactId&gt...

原创 netty学习之路三，定长方式处理拆包黏包问题

定长方式处理拆包黏包问题serverServerHandlerClientClientHandlernetty除了提供特殊字符拆包之外，还提供了一种定长方式处理拆包的方法。但是，这种方法每次发送的消息必须是固定长度的，如果长度不够，就会阻塞。所以，和特殊字符拆包相比，定长方式处理拆包，优势不大。serverpublic class Server { public static v...

原创 java获取系统信息

public static void main(String[] args) { System.out.println("java版本号：" + System.getProperty("java.version")); // java版本号 System.out.println("Java提供商名称：" + System.getProperty("java.vendor")); // J...

原创 netty使用特殊字符拆包，收不到数据

问题描述netty使用特殊字符拆包，代码都对，就是收不到数据解决发送的数据末尾必须是分割的字符串才行

原创 netty学习之路二，特殊字符处理拆包黏包问题

特殊字符处理拆包黏包问题server端ServerHandlerclientClientHandlernetty提供了专门处理拆包黏包问题的类，非常简单server端public class Server { public static void main(String[] args) throws Exception{ EventLoopGroup bossG...

原创 netty学习，获取ip和port

netty学习，获取ip和port InetSocketAddress address = (InetSocketAddress)ctx.channel().remoteAddress(); System.out.println(address.getPort()); System.out.println(address.getAddress());

原创 netty学习，将ByteBuf转为String

netty将ByteBuf转为Stringpublic String convertByteBufToString(ByteBuf buf) { String str; if (buf.hasArray()) { // 处理堆缓冲区 str = new String(buf.array(), buf.arrayOffset() + buf....

原创 netty学习之路一

netty学习之路一server端ServerHandler客户端客户端handler客户端给服务端发送数据，服务端再将该数据返回给客户端server端public class Server { public static void main(String[] args) throws Exception{ EventLoopGroup bossGroup = ...

原创 fastjson报错Can not find a deserializer

使用fastjson将string转成javabean异常信息解决办法异常信息Can not find a deserializer解决办法出现这个异常的原因是，实体类的字段类型不正确。如果string中的对应字段，还有下级元素即{key：{key:value}}的时候，实体类的字段类型应该设置为Map&lt;String,Object&gt;...

原创 java中的反射

java中的反射测试类Person类测试类package study;import org.junit.Before;import org.junit.Test;import java.io.IOException;import java.io.InputStream;import java.lang.reflect.Constructor;import java.lang.r...

原创 制作yum源

制作yum源创建一个文件夹，用来保存yum软件mkdir /mnt/cdrom挂载mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/修改每次重启之后都要重新挂载的问题vi /etc/fstab添加如下配置/dev/cdrom /mnt/cdrom iso9660 defaul...

原创 centos虚拟机无法上网

centos虚拟机无法上网解决办法解决办法首先确保使用的是nat模式修改vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:8D:E6:73TYPE=EthernetUUID=a81ecb00-6b42-4ff4-8895-170ab7a2672aONBOOT=yes #开机启动NM...

原创 java树形菜单制作

java树形菜单制作用到的技术代码实现用到的技术SpringMVCSpringmybatiseasyui代码实现dto（适用于easyui的实体类）package com.grand.orgn.dto;import java.util.HashMap;import java.util.Map;/** * * @author * 适用于easyUI树形结...

原创 HashMap源码解析(jdk1.7)

HashMap源码解析初始化信息添加元素删除元素查找元素containsKey：指定的key是否在HashMap中containsValue：查找HashMap中是否有指定的valueisEmptyindexFor：返回h在table数组中的位置写在后面初始化信息 //HashMap的初始容量，必须是2的n次幂 static final int DEFAULT_INITIAL_CAP...

原创 Python中tuple类型的参数只有一个元素时，要加逗号

比如说传入的参数是这样的（12），那Python解释器就会把这个参数当成是数字，必须加上逗号才行，即（12，）Python解释器才会把这个参数当成是元组类型的。...

原创 spring集成redis

spring集成redisredis的安装redis的常用配置使用配置文件的方式启动停止redis服务redis的配置信息redis与spring整合的配置文件RedisCacheManagerpom.xmlredis的安装将redis的安装包解压到/usr/local下sudo make，生成sudo make install，将redis的命令安装到/usr/bin/目录redi...

原创 初识activemq（pub/sub模式）

初识activemq（pub/sub模式）SubscriberListener1Publisher发布、订阅模式，想象生活中订阅报纸或者关注的公众号发布消息注意：在pub/sub中，必须先启动sub，不然的话，在启动sub之前发布的消息是不能消费的，就像你今天订开始报纸，那今天之前的报纸你肯定是收不到了，一样的。pub/sub和p2p模式基本一样，变化的只有Queue和topicS...

原创 初识activemq消息中间件(p2p模式)

初识activemq消息中间件（p2p模式）签收模式事务持久化一个生产者一个消费者生产者消费者多个生产者和多个消费者生产者消费者客户端签收模式activemq有4中签收模式，分别是CLIENT_ACKNOWLEDGE、AUTO_ACKNOWLEDGE、DUPS_OK_ACKNOWLEDGE、SESSION_TRANSACTEDCLIENT_ACKNOWLEDGE，客户端确认签收AUT...

原创 activemq中的selector

activemq中的selectorProducer.javaConsumer.javaactivemq消息中间件可以过滤消息，也就是selector，selector遵循sql 92语法。可以使用IN、NOT IN、LIKE等，例如： LIKE ‘12%3’ （‘123’ true，‘12993’ true，‘1234’ false） LIKE ‘l_se’ （‘lose’ true，‘lo...

原创 jenkins入门

Jenkins的安装Jenkins的安装很简单，只需要从官网下载war包就可以了。执行 java -jar jenkins.war命令就可以运行Jenkins。常用配置登录第一次访问Jenkins的时候，会放你输入密码，这个密码就是启动Jenkins的时候命令行打印出来的一串字符。没看到也没关系，访问的页面上会给你一个路径，密码就在里面存着。然后会有两个选项，一个是选择默认...

原创 activemq持久化到mysql

activemq持久化到mysql所有的配置都在 activemq.xml中在broker标签中&lt;persistenceAdapter&gt; &lt;kahaDB directory="${activemq.data}/kahadb"/&gt; &lt;/persistenceAdapter&gt;这是activemq的默认持久化...