- 博客(66)
- 收藏
- 关注
RSS订阅原创 maven实际使用一 --之profile打包配置
在项目的web环境或者需要打包对应不同的环境我们使用profiles区别是打包测试环境的包还是生产环境的，这里我说一下maven打包时候的配置 [code="java"] production 值 development 值 [/cod...
2017-04-26 20:16:29
713
原创 Hadoop使用笔记一 --之了解hadoop
[color=red]之前研究hadoop但是笔记和记录都比较散，以后定期的整理到这技术博客中，希望可以帮到大家[/color]： [b]HDFS数据存储[/b] [i]NameNode:[/i] 接收客户端的读写服务， NameNode保存metadata信息包括： 文件owership和permission， 文件包含那些块，block 保存在那个DataNode上。【datan...
2017-04-23 17:37:46
206
原创 logback使用详解
添加对应的logback的相关的依赖包 [code="java"] [%d{yyyy-MM-dd HH:mm:ss.SSS}] [%5level] [%thread] %logger{0} %msg%n UTF-8 ...
2017-04-21 13:14:17
211
原创 IntellJ idea使用之远程调试
在测试环境需要监控远程linux上系统的运行情况和debug操作 1.在ida上看看找到Run/Debug Configrantions [img]http://dl2.iteye.com/upload/attachment/0124/4840/577d050b-55be-3d9b-9d27-ebe06c170c45.jpg[/img] 2.添加tomcat，选择remote的tom...
2017-04-21 13:11:56
700
原创 shell脚本的简单使用：七——之函数使用
[b][size=xx-small]shell种的函数[/size][/b] 函数有两个优势： [i][color=red] 1. 将处理相同事情的一系列的调用的统一，代码利用率高， 2. 复杂的功能和模块拆分，便于代码的可读性[/color][/i] [code="java"]#简单函数1 function1(){ echo "function1" } #简单函数2 f...
2017-04-09 20:25:05
160
原创 shell脚本的简单使用：六 ——之循环使用
[b]for循环的使用[/b] [code="java"]#输出字符串中的字符,没有进行循环 for str in '这 个 字符 串 不进行 循环' do echo -e "$str" done #for循环的另一种使用 #for((i=0;i...
2017-04-09 17:58:51
804
原创 shell脚本的简单使用：五—— 之逻辑判断
[b]if语句使用[/b] Shell 有三种 if ... else 语句： [code="java"]if ... fi 语句； if ... else ... fi 语句； if ... elif ... else ... fi 语句。[/code] case语句使用 语法： [code="java"]case 值 in 模式1) command1 ;; ...
2017-04-09 17:58:33
162
原创 shell脚本的简单使用：四 ——之变量定义使用
[b]Shell字符串使用[/b] 想在shell中表达一个字符串，可以是单引号，双引号，也可以什么也不用。[i] 单引号[/i] 1.使用单引号时候回将字符串的任何的字符都会原样输出，不能使用shell的变量 2.单引号中不能出现单引号 [i]双引号[/i] 1.双引号中可以出现双引号，只不过需要装换一下，也可以使用变量。 2.双引号中可以出现单引号，也是原样输出 [i]什么也不...
2017-04-09 14:20:36
198
原创 shell脚本的简单使用：三—— 之运算符使用
[b]简单算术运算符[/b] expr表达式计算工具在shell中的使用 [b]注意：[/b] 1.条件表达式要放在方括号之间，并且要有空格，例如 [$a==$b] 是错误的，必须写成 [ $a == $b ]。 2.乘号(*)前边必须加反斜杠(\)才能实现乘法运算； [b]关系运算符[/b] 关系运算符只支持数字，不支持字符串，除非字符串的值是数字。 关系运算符列表 ...
2017-04-07 17:33:41
714
原创 shell脚本的简单使用：一 ——之特殊变量
[b]Shell变量和Shell特殊变量[/b] 新建一个shell脚本 [code="java"]mkdir test vim test.sh[/code] 脚本内容 [code="java"] echo "whats your name?" # read 命令从 stdin 获取输入并赋值给 PERSON 变量，最后在 stdout 上输出 read PERSON echo ...
2017-04-05 09:13:08
150
原创 shell脚本的简单使用：二——之变量替换
[b]Shell变量替换，命令替换，转义字符[/b] [code="java"]a=10 echo "a的值是$a\n" echo -e "加了-e转义后a的值是$a\n" #命令替换 #注意是反引号，不是单引号，这个键位于 Esc 键下方。 DATE=`date` echo "Date is $DATE" #当前登录的用户 Users=`who | wc -...
2017-04-05 09:08:51
1013
原创 git使用
[b]git将已经存在的目录添加到远程的版本库命令[/b] [code="java"]http://git.XX.com/aroundair/air-insurance Existing folder or Git repository cd existing_folder git init git remote add origin git@git.jd.com:aroundair...
2017-03-08 15:58:39
126
原创 spirng配置HibernateValidator的校验问题总结
1.建立一个maven项目 这里不在描述。网上搜一下 2.需要依赖的maven配置 [code="java"] org.hibernate hibernate-validator 5.2.2.Final //spring我用的4.2.9.RELEASE。上了4.3.0就不会有对应...
2017-03-06 18:31:45
902
原创 Java中Log日志使用
Commons_logging包 Apache通用日志包 他为Log4JLogger；NoOpLog；LogKitLogger；Jdk14Logger；AvalonLogger提供了一共通用的接口进行调用，使得在使用各种不同的第三方日志包时变得非常简单。SimpleLog：是commons_logging自带的一个控制台输出日志。 可以通过简单的配置使用不同的第三方日志包。 在src根...
2017-03-04 18:32:46
983
原创 mybatis-generator代码生成解决生成数据库的注释
[b]在项目中generatorConfig.xml的配置文件具体参数说明[/b] [code="java"] ...
2017-03-04 14:13:16
840
原创 zookeeper使用之-简单命令
已经安装好了zookeeper我们开始使用zk的命令 假设我们已经启动了zk [code="java"] //我使用启动一个客户端 ./zkCli.sh -server 139.129.201.48:2181 start //退出客户端的连接 quit [/code] zk上的简单操作 [code="java"]ls / //列出root下所有的znode节点 create...
2017-01-10 14:17:49
182
原创 在多线程使用之ThreadLocal
[code="java"]public class Test { public static ThreadLocal local = new ThreadLocal(); public static ExecutorService service = Executors.newFixedThreadPool(Runtime.getRuntime().availablePro...
2017-01-07 19:35:44
131
原创 使用spring管理调度任务
registerJobsAndTriggers()方法注册进对应的任务 jobSchedulingDataLocations jobDetails calendars triggers
2016-12-15 14:52:57
182
原创 控制线程数量之-Semaphore
[b]使用Semaphore的简单例子了解一下Semaphore使用[/b] [code="java"]//这里可能是在一个项目中唯一使用的一个newCachedThreadPool，别的都是new一个fixed的大小 public static ExecutorService exec = Executors.newCachedThreadPool(); private...
2016-12-12 12:15:40
306
原创 Callable在多线程合理优化使用
Future对象在执行使用在外线程中还是同步执行 [code="java"]public class CallableFutureTest { ExecutorService executor = Executors.newFixedThreadPool(3); @Test //@Ignore public void testCallable() { ...
2016-12-02 10:32:58
3902
原创 googel代码系列之GSON
一般使用Gson我们一般会用在序列化toJson()和反序列化fromJson()，一般就那么几个方法，使用比较方便简单。 [b]Gson在基本类型中的使用[/b] [code="java"] Gson gson=new Gson(); int i=gson.fromJson("100",int.class); double d = gson.fromJson("\"99.99...
2016-12-01 09:27:36
192
原创 Linux中使用命令查找文件
[b]find 命令[/b] [i]查找绝对路径下的文件名或者目录名[/i] [code="java"]find /etc - name XX //绝对文件名或者目录名 find /etc -iname XX //不区分大小写的文件名或者目录名查找[/code] [i]通配符查找[/i] [code="java"]find /etc/ -name '*XX*' //*通配任意的字符 ...
2016-11-30 14:28:12
165
原创 tcpdump命令实际操一-抓获数据包
写的只是自己使用中具体用到的。具体参数没有写，要了解深入的请看man手册 通常情况下应该是监控的外网的访问先使用命令看看你对应的网卡是哪个 [code="java"]ifconfig[/code] nsa8ea6913-cb Link encap:Ethernet HWaddr FA:16:3E:D1:E6:61 inet addr:[b]192.168.104....
2016-11-24 18:46:00
508
原创 Jedis在linux出现的InvalidURIException
本人是在windows上启动时候是正常的，在linux系统上使用时候一直报下边的错： [code="java"]Caused by: redis.clients.jedis.exceptions.InvalidURIException: Cannot open Redis connection due invalid URI. 10.96.170.54 at redis.clients.je...
2016-11-06 14:55:00
546
原创 hive学习使用
[b][size=large]HQL数据查询[/size][/b] 数据查询是hive最主要的功能 [size=medium][b]查询语法[/b][/size] [i]select..from语句[/i] 基本和mysql的操作差不多 [code="java"]select col1，col2 from table; select col1 c1，col2 c2 from...
2016-10-11 17:36:14
155
原创 hive研究学习整理
[b]hive的认识[/b] hive的设计目的是为了让那些精通sql技能的而java技能较弱的数据分析师能够利用hadoop进行各做数据分析。也就是mapreduce不需要每个都写java代码了，hive可以将用户输入的hiveQl脚本转化为一个或多个MapReduce作业在集群上运行。【pig和hive类似，只是不同的是pig使用的是pig latin语言接口提供，更加灵活学习成本高】，...
2016-10-11 10:21:51
262
原创 sqoop2 1.99.5 安装+hue
首先知道sqoop是做什么的 sqoop是一个把关系型数据库数据抽向Hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。个人觉得用一个生态后就实用同一个系列的产品，比如选择了cloudera最好就用它的生态下的东西。 [code="java"]wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-...
2016-09-30 16:42:17
322
原创 hive使用load加载数据1.0
安装hive 直接操作hive [code="java"]create table if not exists L_EMPLOYEE (eid int,name String,salary String,destination String) COMMENT 'Employee details' ROW FORMAT delimited fields terminated by '\t...
2016-09-29 16:21:39
715
原创 Linux操作系统分析命令
PS命令：主要用来获取对于某个进程的一些信息 -A ：显示所有的进程 -a：显示一个终端的所有进程，除了会话引线 -N：忽略选项 -d：显示所有进程，但省略所有的会话引线 -e：列出程序时，显示每个程序锁使用的环境变量 -x:显示没有控制终端的进程，同时显示各个命令的具体路径，dx不可合用 -p: pid:进程使用cpu的时间 -u uid or username：选择有效的用户i...
2016-09-08 15:07:17
155
原创 mysql源码安装的性能优化
1.下载mysql-5.5.24.tar.gz以及cmake-2.8.4.tar.gz两个源文件 2.首先安装cmake [code="java"]tar -zxv -f cmake-2.8.4.tar.gz cd cmake-2.8.4 ./configure make make install[/code] 3.创建mysql安装程序的目录和数据文件目录 [code="java...
2016-09-08 14:37:13
291
原创 Mysql SQL性能优化
Mysql优化一方面是找出系统的瓶颈，提高mysql数据库的整体性能，另一方面需要合理的结构设计和参数的调整，以提高用户的操作响应速度，同时还要尽可能节省系统资源，以便系统可以提供更大负荷的服务。 原则是减少系统瓶颈，减少资源占用，增加系统反应速度。比如提高I/O的读写速度，通过优化操作系统调度策略，提高mysql在高负荷情况下的负载能力，优化表结构，索引，查询语句等使查询响应更快。 mysq...
2016-09-08 12:04:13
108
原创 Java多线程设计
操作系统在运行一个程序时候，会首先创建一个进程。如果启动一个java程序就会创建一个java进程。现代操作系统的调度的最小单位是线程，也叫轻量级进程。一个进程中可以创建多个线程。香河县线程都拥有自己各自的计数器，堆栈，和局部变量等属性，并且能够共享访问内存变量。处理器在这些线程上高速切换，让你我感觉到是在并行执行。 在java运行时候不只是启动一个main线程运行，请看一下下边的例子 [cod...
2016-08-12 10:33:14
186
原创 “JUC原子类”之 AtomicLong原子类-02
AtomicLong是作用是对长整形进行原子操作。 AtomicLong源码分析(基于JDK1.7.0_40) 在32位操作系统中，64位的long 和 double 变量由于会被JVM当作两个分离的32位来进行操作，所以不具有原子性。而使用AtomicLong能让long的操作保持原子型。 [code="java"]// 构造函数 AtomicLong() // 创建值为initial...
2016-08-11 10:21:47
125
原创 “JUC原子类”框架-01
根据修改的数据类型，可以将JUC包中的原子操作类可以分为4类。 1. 基本类型: AtomicInteger, AtomicLong, AtomicBoolean ; 2. 数组类型: AtomicIntegerArray, AtomicLongArray, AtomicReferenceArray ; 3. 引用类型: AtomicReference, AtomicStampedReren...
2016-08-11 10:08:11
126
原创 hadoop中常见的错误
[b]hadoop的mapreduce作业出现Java heap space解决方案[/b] 在配置文件maprd-site中设置mapred.child.java.opts：-Xmx1024m [b]hadoop执行出现Unable to initialize any output collector[/b] 检查代码是否有导错包。 设置你的maprd-site的属性Map Tas...
2016-05-20 13:32:44
105
原创 Hadoop使用笔记二 -- hadoop2.6.3配置并启动
虚拟机的密码都是root/lijian 虚拟机以4台linux的主机 在你的hosts加入各台虚拟机 [code="java"]192.168.8.129 CentOS1 192.168.8.131 CentOS2 192.168.8.130 CentOS3 192.168.8.132 CentOS4 [/code] [img]http://dl2.iteye.co...
2016-05-17 09:42:49
133
原创 Zookeeper在Centos上安装
下载zookeeper的包我用的是zookeeper-3.4.6 tar -zxvf zookeeper-3.4.6.tar.gz cp -a conf/zoo_sample.cfg conf/zoo.cfg [b]修改配置文件[/b] vi conf/zoo.cfg [code="java"]# The number of milliseconds of each tick tick...
2016-05-16 14:16:23
110
原创 hadoop2编译
64位centos 下编译【2.X后官网只有32位编译后的文件】 首先从官网下载hadoop源码这里（我使用的是2.6.3），并且你的虚拟机必须是可以上网这样maven依赖包就可以获得 编译需要的环境 sudo yum -y install gcc* sudo yum -y install cmake sudo yum -y install glibc-headers sudo yum...
2016-05-15 18:10:47
132
原创 Hadoop使用笔记三 --hadoop环境安装问题汇总
注：linux服务器的用户名/密码:root/lijian 1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络...
2016-05-06 14:19:50
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人