- 博客(204)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 分组 捕获 引用
分组 捕获 引用 转自：http://blog.youkuaiyun.com/hehe9737/article/details/7792653对于要重复单个字符，非常简单，直接在字符后卖弄加上限定符即可，例如 a+ 表示匹配1个或一个以上的a，a?表示匹配0个或1个a。这些限定符如下所示： X?X，一次或一次也没有X*X，零次或多次X+X，一次或多次X{n}X，恰好 n 次X...
2015-12-17 20:44:13
358
原创 PHP中file_get_contents高級用法实例
PHP中file_get_contents高級用法实例 转自：http://www.jb51.net/article/55574.htm首先解决file_get_contents的超时问题，在超时返回错误后就象js中的settimeout那样进行一次尝试，错误超过3次或者5次后就确认为无法连线伺服器而彻底放弃。这裡就简单介绍两种解决方法：...
2015-12-03 11:18:11
320
原创 linux /var/log/sa 日志不断产生
linux /var/log/sa 日志1./var/log/sa 日志由 sysstat 产生 sysstat 是 Linux 系统中的常用工具包。它的主要用途是观察服务负载，比如CPU和内存的占用率、网络的使用率以及磁盘写入和读取速度等。sysstat 工具包中包含两类工具：即时查看工具：iostat、mpstat、sar累计统计工具：sar也...
2015-12-01 19:04:43
6950
原创 spark running thrift server
spark running thrift server 1 启动 thrift server cd $SPARK_HOME/ sh sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=yf-hive01...
2015-11-27 17:21:09
194
原创 Maven 工程错误
Maven 工程错误 转自：http://www.cnblogs.com/shihujiang/p/3492864.htmlMaven 工程错误Failure to transfer org.codehaus.plexus:plexus-io:pom:1.0,Failur...
2015-11-27 10:29:17
145
原创 ssh 配置免密登陆
ssh 配置免密登陆 转自：http://blog.youkuaiyun.com/hjskl/article/details/8809282准备工作： 1、确认本机sshd的配置文件（需要root权限） $ gedit /etc/ssh/sshd_config 找到以下内容，并去掉注释符”#“ RSAAuthentic...
2015-11-21 14:18:12
196
原创 hive metastore 报错 binlog mode 不对问题
2015-11-16 16:33:55,701 WARN metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:executeWithRetry(2472)) - Got Unknown Exception: javax.jdo.JDOException: Couldnt obtain a new sequence (unique...
2015-11-17 10:50:10
179
原创 linux PAM配置 sshd 白（黑）名单
linux PAM配置 sshd 白（黑）名单1.pam介绍 PAM 就是 Pluggable Authentication Modules 这几个英文单词的缩写当你在请求服务的时候，具有PAM认证功能的应用程序将与这些.so文件进行交互，以便得知是否可以授权给发起请求的用户来使用服务，比如su, vsftp, httpd,等。如果认证成功了，那么这个用户便可以使用服务或完成命...
2015-11-16 16:29:44
3489
原创 Thirft框架介绍
Thirft框架介绍1.thrift 概述 Thrift是Apache下的一个子项目，最早是Facebook的项目，后来Facebook提供给Apache作为开源项目，在官网上，Thrift被描述为“Scalable Cross-Language Services Implementation”，说的通俗一些，Thrift具有以下特征： 1）它有自己的跨机器的通信框架，并提供...
2015-11-12 11:49:46
230
原创 linux 系统自动关机--排查方法
linux 系统自动关机--排查方法排查方法 系统日志一般在/var/log/下面 1.查看messages日志，看看有没有CPU温度过高这样的日志。 2.查看cron 日志 3.查看last 命令：查看最后执行的命令 4.查看boot.log是否有异常 ...
2015-10-29 17:25:44
13813
1
原创 比较两个字符串是否相等的
1.比较字符串 if [ "x$test"x = "xtest" ]; then 多个比 较可以用 -o 这里一个复杂例子 while [ "$status" = "ETL" -o "$status" = "LOADING" -o "$status" = "PENDING" ]; do stat
2015-10-28 21:04:02
558
原创 shell 大小写转换
1.小写转大写 echo "test"|tr [:lower:] [:upper:] 2.大写转小写 echo "test"|tr [:upper:] [:lower:]
2015-10-28 20:52:56
1203
原创 hive insert directory指定分隔符
hive insert directory指定分隔符1.hive0.11以前的版本 hive0.11以前的版本不支持insert directory 后面指定分隔符，但可以通过concat方式来完成 如： insert overwrite directory 'hdfs://localhost:9000/app/test/' select concat(userid,...
2015-10-27 11:39:08
4223
原创 Hadoop如何计算map数和reduce数
Hadoop如何计算map数和reduce数 原地址：http://www.songyafei.cn/post/a0d5b_140a7cfHadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数，当一个job提交时，jobclien...
2015-10-15 14:56:38
134
原创 awk 运算符
1.运算符= += -= *= /= %= ^= **= 赋值 ?: C条件表达式 || 逻辑或 && 逻辑与 ~ ~! 匹配正则表达式和不匹配正则表达式 < <= > >= != == 关系运算符 空格 连接 + - 加，减 * / & 乘，除与求余 + - ! 一元加，减和逻辑非 ^ *** 求幂 ++ -- 增加或减少，作为前缀或后缀 ...
2015-10-13 20:20:11
144
原创 linux系统的LANG变量
1.中文乱码 查看当前语言环境loacle 发现 LANG=en_USLC_CTYPE="en_US"LC_NUMERIC="en_US"LC_TIME="en_US"LC_COLLATE="en_US"LC_MONETARY="en_US"LC_MESSAGES="en_US"LC_PAPER="en_US"LC_NAM
2015-10-13 19:58:17
1113
原创 java 编程思想---基本线程机制
基本线程机制线程运行时，是当前系使用时间片机制为线程分配其占用的时间（一个线程运行一段时间再切换到其他线程，不能一直占着CPU）。每个任务都觉得一直占着cpu,但事实上cpu是划分时间片的。 一、定义任务 java中实现runnable,或继承Thread 类实现线程 public class LiftOff implements Runnable { ...
2015-10-10 17:48:42
133
原创 java 锁的种类及线程池
java 锁的种类及线程池转自：http://www.cnblogs.com/zrtqsk/p/3784049.html一、Java中锁什么是锁。锁就是为了保护资源，防止多个线程同时操作资源时出错的机制。我们先来看一下锁的类： 如图，Java中的锁有两个主要的根接口——Lock和ReadWriteLock，分别表示锁和读写锁。其中Lock的主要实现类是Reetra...
2015-10-10 14:42:59
141
原创 java多线程基础
java多线程基础转自：http://www.cnblogs.com/zrtqsk/p/3776328.html一、线程 线程，有时被称为轻量级进程(Lightweight Process，LWP），是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有...
2015-10-10 14:33:42
120
原创 Maven部署Web项目报错webxml attribute is required
Maven部署Web项目报错webxml attribute is required[ERROR] Failed to execute goal org.apache.maven.plugins:maven-war-plugin:2.1.1:war (default-war) on project com.alpha.webapp: Error assembling WAR: ...
2015-10-08 13:43:40
247
原创 spring3与velocity集成报错
报错的原因，缺少spring-context-support 包org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.handler.BeanNameUrlHandlerMapping':...
2015-09-25 17:25:11
226
原创 hive加载数据到表
hive 表加载数据到表中默认地址是warehouse/tablname/partition设置可以hive-site中设置 假设有表CREATE TABLE user(name STRING,id String)partition by(dt string)1.alter table user add parition(dt='20150916') ...
2015-09-16 15:10:12
294
原创 hadoop put 或hive load local file 异常org.apache.hadoop.fs.ChecksumException:
org.apache.hadoop.fs.ChecksumException: Checksum error: /home/name/Desktop/dtlScaleData/attr.txt at 0 at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.readChunk(ChecksumFil...
2015-09-15 14:39:34
325
原创 servlet 的forward 与redirect 区别
1.redirect地址栏变化，forward发生在服务器端内部从而导致浏览器不知道响应资源来自哪里2.redirect可以重定向到同一个站点上的其他应用程序中的资源，forward 只能将请求 转发给同一个WEB应用中的组件3.redirect默认是302码，包含两次请求和两次响应4.redirect效率较低...
2015-09-10 10:47:03
105
原创 毕业3年后的反思
毕业3年后的反思 做为一个不怎么爱说话，性格内向，且表达还不怎么好人的来说，能下定决心写写东西也是件不容易的事。一晃3年过去了，周围的同学，同事都进入了排队结婚期、升职加薪期，个个都混得风声水起，而我是一个不善于总结，不善于表达的人，经过3年的徘徊我也是该反思反思自己。 毕业时进入了互联网公司，当时对互联网懵懂，对所学的知识还不知有啥用，当进入公司后发现真后...
2015-09-08 16:10:06
334
原创 hive中使用transform小例子
hive中使用transform小例子代码： set mapred.cache.archives=hdfs://host:54310/app/ns/test/php.tgz#home; set HDFS_PHP=home/know/odp/php -c home/know/odp/ph...
2015-09-08 15:30:37
574
原创 java 枚举类型
enum AccountType{ SAVING, FIXED, CURRENT; private AccountType() { System.out.println(“It is a account type”); }}class EnumOne{ public static v...
2015-09-03 23:17:18
83
原创 maven向本土仓库导入jar包（处理官网没有的jar包）
博客地址：http://blog.youkuaiyun.com/yejin191258966/article/details/23795379 maven向本地仓库导入jar包（处理官网没有的jar包）对于官网没有的jar包，maven向本地仓库导入jar包用如下命令 [java] view plaincopy mvn install:install-file...
2015-09-02 16:25:44
206
原创 memcache 原理
1.1 为什么引入缓存 在传统的后端架构中，由于请求量以及响应时间要求不高，我们经常采用单一的db的结构。如下图1 所示，应用服务器直接存取DB。这种架构简单，但也存在着如图中所描述的问题，即DB存在性能瓶颈，随着请求量的增加，单DB无法继续稳定提供服务。 对于请求量不大的场景，我们可以通过对DB进行读写分离、一主多从、硬件升级（SSD）等方式提升系统的承载能力以及冗余能力，但这几...
2015-09-01 20:50:54
395
原创 sleep与wait的区别
原地址：http://blog.youkuaiyun.com/shineflowers/article/details/40047479① 这两个方法来自不同的类分别是，sleep来自Thread类，和wait来自Object类。sleep是Thread的静态类方法，谁调用的谁去睡觉，即使在a线程里调用b的sleep方法，实际上还是a去睡觉，要让b线程睡觉要在b的代码中调用sleep。 ② ...
2015-08-28 17:44:25
94
原创 静态块与构造
下面程序答案public class B{ public static B t1 = new B(); public static B t2 = new B(); static { System.out.println("构造块"); } { System.out.println("静态块")...
2015-08-27 20:20:17
124
原创 java 线程调度策略
原博客：http://www.blogjava.net/santicom/archive/2011/09/01/357765.html 线程的状态与调度 1,线程的生命周期 线程从创建、运行到结束总是处于下面五个状态之一：新建状态、就绪状态、运行状态、阻塞状态及死亡状态。 1.新建状态(New)： 当用new操作符创建一个线程时，...
2015-08-27 18:10:44
328
原创 super关键词
1）调用super()必须写在子类构造方法的第一行，否则编译不通过。每个子类构造方法的第一条语句，都是隐含地调用super()，如果父类没有这种形式的构造函数，那么在编译的时候就会报错。2）super()和this()类似,区别是，super从子类中调用父类的构造方法，this()在同一类内调用其它方法。3）super()和this()均需放在构造方法内第一行。4）尽管可以用this...
2015-08-27 16:58:00
191
原创 hadoop之MapReduce自定义二次排序流程实例详解
原博客地址：http://zengzhaozheng.blog.51cto.com/8219051/1379271 hadoop之MapReduce自定义二次排序流程实例详解一、概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行...
2015-08-26 16:21:20
165
原创 Mybatis 中在传参时，$ 和# 的区别
原博客地址：http://blog.youkuaiyun.com/shaozengwei/article/details/17446247 MyBatis中使用parameterType向SQL语句传参，parameterType后的类型可以是基本类型int,String,HashMap和java自定义类型。在SQL中引用这些参数的时候，可以使用两种方式#{parameterName}或者${...
2015-08-26 16:02:30
90
原创 Integer 与 new Integer
在jdk1.5的环境下，有如下4条语句：1234Integer i01 = 59;int i02 = 59;Integer i03 =Integer.valueOf(59);Integer i04 = new Integer(59)。 i03==i04 是fasle期他都是同一个对象JVM中一个字节...
2015-08-25 15:43:49
175
原创 Java调优之jvm和线程的内存分析
原博客:http://www.mzone.cc/article/321.html Java调优之jvm和线程的内存分析 这几天因为自己开发的一个网站在768M内存的机器上撑不起100多个用户的运行，因为每个用户启用功能后，系统将为每个用户分配8个左右的独立线程，我的这篇文章http://www.mzone.cc/article/...
2015-08-21 20:59:17
114
原创 storm消息机制保证ack 原理
storm会有一个ackbolt 不断计算top 每个spout,bolt task的msgid ,来确认调用act 方法还是fail方法 ；如下示列1.如下图 1.spout 向ackbolt 报上去的 rootId=T1^T2 2.bolt1 向ackbolt 报上去的 rootId=T1^T3^T4^T5 3.bolt2 向ackbolt 报上去的roo...
2015-08-21 18:00:50
208
原创 web.xml加载顺序与web.xml常用节点解析
原博客:http://improve.iteye.com/blog/1570169web.xml加载顺序与web.xml常用节点解析 web.xml加载顺序应用服务器启动时web.xml加载过程,至于这些节点在xml文件中的前后顺序没有关系,不过有些应用服务器,我曾碰到过的 websphere就严格要求web.xml的节点顺序,否则部署不成功,所以还是赞成按照web.xml标准...
2015-08-21 17:35:31
75
原创 Mysql索引介绍及常见索引(主键索引、唯一索引、普通索引、全文索引、组合索引)的区别...
原博客http://www.phpddt.com/db/mysql-index.html Mysql索引概念：说说Mysql索引，看到一个很少比如：索引就好比一本书的目录，它会让你更快的找到内容，显然目录（索引）并不是越多越好，假如这本书1000页，有500也是目录，它当然效率低，目录是要占纸张的,而索引是要占磁盘空间的。Mysql索引主要有两种结构：B+树和hash.hash:hs...
2015-08-06 14:08:06
127
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人