WHATIFSO

转载 Java下执行linux 命令框架-sshxcute

sshxcute Guideline1. OverviewAs its name indicates, SSHXCUTE is a framework. It was designed to let engineers to use Java call to execute command/script on remote Linux/UNIX system through SSH

转载 sqoop使用入门

sqoop命令1.codegen:将数据库表生成jar文件sqoop/bin/sqoop codegen --connect jdbc:mysql://localhost:3306/test_sqoop --username root --password root --table book该文件可通过mapreduce执行???未验证2.eval:快速验证s

原创 Linux安装graphite：cannot open shared object file: No such file or directory

最近在centos上安装graphite时，访问graphite-web ui时，http://xx.xx.xx.xx:8080/ui 的图片显示为破图，无法加载，访问http://xx.xx.xx.xx:8080/render 浏览器控制台报错：libcairo.so.2 cannot open shared object file no such file or directory

原创 Could not find the python development headers

Linux centos 安装Graphite，在configure编译时候py2cairo，报错，提示  “Couldnot find the python development headers”解决办法：使用下面一行命令进行编译：CFLAGS="-l/usr/local/include/python2.7 -l/usr/local/bin" LDFLAGS="-l

转载 在 CentOS 5.8 上安装 Graphite

基础环境操作系统内核uname -aLinux cloud-test-slave-001 2.6.18-308.el5 #1 SMP Tue Feb 21 20:06:06 EST 2012 x86_64 x86_64 x86_64 GNU/Linux操作系统版本[root@cloud-test-slave-001 ~]# cat /etc/redhat-releas

转载 RedHat 安装w3af，安装pyopenssl时总会出现Package libffi was not found in the pkg-config search path错误

经google发现需要安装liffi-devel 依赖包，可是yum install liffi-devel总提示找不到这个包，在下面的链接下，找个了一个解决方案：转自：https://gist.github.com/rderoldan1/5920539The problemWhile I was configuring Ruby on Ra

转载 Linux 下安装python软件包（pip、nose、virtualenv、distribute ）

新手刚开始学习Python，目前学习《笨方法学python》ing～在学习习题46时需要安装几个软件包：pip、nose、virtualenv、distribute !在此记录Linux下安装python软件包的安装方法：1、首先我们刚刚pip是什么？在pip的python官网上我们可以看到，pip 是“A tool for installing and managing

转载 centos 升级python2.6 到python3.3

Centos 6.5版本发布了，但是里面使用的python却是2.6.6的版本，对于想使用python新版本的朋友，可以自己升级python。1.查看当前python的版本。[java] view plaincopy[root@localhost liukk]# python  Python 2.6.6 (r266:84292, No

转载 windows下使用sbt搭建Scala开发环境

由于业务的需要，开始学习使用Scala语言，下面将scala项目的开发搭建做了一个总结。  1. 需要的软件Scala：      http://www.scala-lang.org/downloadsScala IDE:  http://scala-ide.org/Scala-sbt:  http://www.scala-sbt.org/release/docs/Gettin

转载 在 Unix 系统上查找数据的最佳工具和技巧

有时候在 Unix 系统上查找信息就如同大海捞针。如果重要的信息被淹没在大量文本中，它们也很难被注意到。目前我们中的很多人都在处理“大数据” —— 从数十亿字节大小的日志文件和巨大的各种格式记录集合中挖掘商业情报。幸运的是，只有在两种情况下，你才需要在成堆的数据中挖掘，继而完成你的工作 —— 当你知道你要找什么和当你不知道的时候。:) 最佳工具和技巧取决于你面临两种情况中的哪一种。

转载 linux 下安装、使用 redis

redis介绍Redis是一个开源、支持网络、基于内存、键值对存储数据库，使用ANSI C编写， redis中文官方网站，点这里。redis安装我的linux操作系统为ubuntu12.04 登录 http://www.redis.io/download 下载redis-2.8.3.tar.gz(或者使用命令下载,wget http://download.r

转载 flume-ng性能优化与架构设计

如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在java JVM中，JVM一般运行在linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。1, 主键的参数设计1.1 source的配置有时候不需要每台主机均安装flume agent,可以和s

原创 Flume 读取JMS 消息队列消息，并将消息写入HDFS

Flume 读取JMS 消息队列消息，并将消息写入HDFS

原创 logstash 向elasticsearch写入数据，如何指定多个数据template

logstash 向elasticsearch写入数据，如何指定多个数据template?

原创 Phoenix 连接hbase 异常：Caused by: java.lang.ClassNotFoundException: org.iq80.snappy.CorruptionException

Phoenix 连接hbase 异常：Caused by: java.lang.ClassNotFoundException

原创 HBase导入数据，数据提交失败

Container launch failed for container_1437618879743_0003_01_000003 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.This token is expired. current time is 1

转载 Hbase:namespace异常处理，hbase异常处理

Hbase 集群部署启动后几秒自动退出异常处理，1.hadoop 与 hbase 版本不兼容，会导致此异常。2.log 为 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置，所以造成了冲突。  解决方案：(这

转载 hbase 结点之间时间不一致造成regionserver启动失败

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server s3,60020,1304927875246 has been rejected; Reported time is too far out of sync with master.  T

转载 关于Spring的69个面试问答——终极列表

这篇文章总结了一些关于Spring框架的重要问题，这些问题都是你在面试或笔试过程中可能会被问到的。下次你再也不用担心你的面试了，Java Code Geeks这就帮你解答。大多数你可能被问到的问题都列举在下面的列表中了。所有的核心模块，从基础的Spring功能(如Spring Beans)到上层的Spring MVC框架，文章中都会进行简短的讲解。看完这些面试问题，你应该看看我们的Spri

转载 Spring面试问答Top 25

本文由 ImportNew - 一直在路上 翻译自 howtodoinjava。欢迎加入翻译小组。转载请见文末要求。本人收集了一些在大家在面试时被经常问及的关于Spring的主要问题，这些问题有可能在你下次面试时就会被问到。对于本文中未提及的Spring其他模块，我会单独分享面试的问题和答案。欢迎大家向我推荐你在面试过程中遇到关于Spring的问题。我会把大家推荐的问题添加到下面的

转载 JSONP 安全攻防技术

关于 JSONPJSONP 全称是 JSON with Padding ，是基于 JSON 格式的为解决跨域请求资源而产生的解决方案。他实现的基本原理是利用了 HTML 里 元素标签，远程调用 JSON 文件来实现数据传递。如要在 a.com 域下获取存在 b.com 的 JSON 数据( getUsers.JSON ):{"id" : "1","name" : "知道创宇"}那

转载 网站设计:将Footer固定在浏览器底部

在设计网站的时候，如果你某个页面的内容没有满屏，那你的footer会离浏览器底部很远，整体看起来很难看，这里用JavaScript提供一种方法来将footer固定在浏览器底部。1functionfixFooter(){2    varmainHeight = document.getElemen

转载 HDFS文件内容追加(Append)

HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《File Appends in HDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HDFS2.x开始支持给文件追加内容，可以参见https://issues.apache.org/jir

转载 iframe跨域通信的通用解决方案

此方案已有新版本, 请查看《iframe跨域通信的通用解决方案-第二弹!（终极解决方案）》。本文章可做技术学习供继续交流。一、背景在这个Web页面越来越丰富的时代，页面通过iframe嵌入其他的页面也越来越常见。但由于浏览器同源策略的限制，不同域之间属性和操作是无法直接交互的，所以在这个时候，开发者多多少少需要一些方案来突破这些限制。跨域问题涉及的地方也很多，如文档之间的消息通信、

转载 JavaScript跨域总结与解决办法

本文来自网络（http://f2e.me/200904/cross-scripting/，该网址已不能访问），仅作个人读书笔记之用，并稍作修改和补充。什么是跨域JavaScript出于安全方面的考虑，不允许跨域调用其他页面的对象。但在安全限制的同时也给注入iframe或是ajax应用上带来了不少麻烦。这里把涉及到跨域的一些问题简单地整理一下：首先什么是跨域，简单地理解就

转载 Javascript跨域访问解决方案

由于安全方面的考虑，Javascript被限制了跨域访问的能力，但是有时候我们希望能够做一些合理的跨域访问的事情，那么怎么办呢？这里分两类情况：一、基于同一父域的子域之间页面的访问；参见如下3个domain域：taobao.com、jipiao.taobao.com、promotion.taobao.com；它们有相同的父域taobao.com。二、基于不同父域页面之间的访问；参见如下

转载 优雅绝妙的Javascript跨域问题解决方案

关于Javascript跨域问题的解决方案已在之前的一片文章中详细说明，详见：http://blog.youkuaiyun.com/sfdev/archive/2009/02/13/3887006.aspx；除了文中提到的3种解决方案之外，在今年的baidu salon分享会上黄方荣主讲的《WEB数据交互的艺术》中提到一个非常优雅绝妙的解决方案！话不多说，直接上解决方案原理图：该图要解决的问题

转载 java获取某个时间的上周一和周日

Calendar cal = Calendar.getInstance();//n为推迟的周数，1本周，-1向前推迟一周，2下周，依次类推3int n = 1;4String monday;5ca

原创 Java 读large excel Out of memory解决办法

Apache POI 在处理比较大的excel时，经常会遇到out of memory问题，原因是POI本身太吃内存。解决办法：使用google的sjxlsx-1.0.0.jar library，详细请参考：https://code.google.com/p/sjxslx/

转载 Java log4j 设置发邮件

1.  private static final Logger logger = Logger.getLogger(XXXX.class);2.   3.  publicvoidtest(){4.     try{5.          //do something...6.      } catch (Exception e) {7.          logger.

转载 linux sed 批量替换字符串

比如，要将目录/modules下面所有文件中的zhangsan都修改成lisi，这样做：sed -i "s/zhangsan/lisi/g" `grep zhangsan -rl /modules`解释一下：-i 表示inplace edit，就地修改文件-r 表示搜索子目录-l 表示输出匹配的文件名这个命令组合很强大，要注意备份文件。（1）se

转载 java上传文件跟批量下载文件

最近的项目中涉及到文件的上传跟下载的问题，就自己所涉及到的方面做出如下表述。　　首先是文件上传部分，项目的要求是通用性较好，所以只需要传入目标路径即可。参数的传递通过Form表单传值，在目标路径下新建一个File类型的文件，然后通过流的方式将需要上传的文件写入新建的文件中。此方法适用于web开发过程中上传文档类的文件，如果你文件过大请研究ftp相关的知识，笔者所接触的ftp传文件限于C#中

转载 JSch - Java实现的SFTP（文件上传详解篇）

JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。  本文只介绍如何使用JSch实现的SFTP功能。  SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供

转载 提高SQL查询效率

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： selec

转载 PageContent

Protocol: ${pageContext.request.protocol}Remote Address: ${pageContext.request.remoteAddr}Remote Host: ${pageContext.request.remoteHost}Remote Port: ${pageContext.request.remotePort}Scheme:${p

转载 win7下安装配置tomcat,java运行环境

1.下载JDK，安装官网下载地址：http://java.sun.com/javase/downloads/index.jsp下载后，安装，选择你想把JDK安装的目录：比如：JDK安装目录：E:\java其他博文有说还要装JRE，其实JDK安装好了，就不需要安装JRE了，本身就有了。 2.设置JDK环境变量右击“计算机”，点击“属性”，点击弹

转载 Linux 中shell 变量$#,$@,$1,$2,$0的含义

转载 HttpCLient实现对被GZip压缩过的Response进行解压

HttpCLient实现对被GZip压缩过的Response进行解压发送请求(要求服务端对response进行GZip压缩)：Java代码  import org.apache.commons.httpclient.HttpClient;  import org.apache.commons.httpclient.HttpStatus;    

转载 jquery中如何实现按回车触发按钮事件

jquery中如何实现按回车触发按钮事件,和点击提交按钮触发的是一个事件，把这两个事件写到一个事件中://按钮事件$('#btnSumit').click(function() {alert('测试')}); //回车提交事件         $("body").keydown(function() {             if (event.keyCode ==

转载 实现tomcat启动时自动运行代码

方法1：tomcat 自动执行servlet写一个servlet，在init()方法中写好想要执行的程序，程序如下：eclipse新建一个web\Dynamic Web Project , name = myweb1 ， 把tomcat中的 servlet-api.jar复制到lib中，新建一个类MyServlet.java, 继承 javax.servlet.HttpServle