- 博客(121)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 单机基于docker搭建hadoop2.7.1 spark1.7 高可用集群
获取ubuntu镜像sudo docker pull ubuntu分别下载 spark1.7 hadoop2.7.1 scala1.1 zookeeper3.4.6 jdk1.8 解压后放置本地文件夹用于挂载到容器中并在文件夹下创建文件authorized_keyshosts本例目录使用/home/docker/config启动容器sudo docker
2015-09-25 11:47:38
2989
原创 hadoop 2.5 伪分布安装
最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync配置ssh $ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the
2014-09-10 18:04:47
4320
原创 mysql 白皮书维护指南
测试恢复工具和流程，包括从备份中恢复数据。遵从最小权限原则保持系统干净，整洁使用好的命名和组织约定来避免产生混乱，例如服务器是用于开发还是用于生产环境谨慎安排升级数据库服务器在升级前，使用诸如 Percona Toolkit 中的 pt-upgrade 之类的工具仔细检查系统使用 InnoDB 并进行适当的配置，确保 InnoDB 是默认存储引擎。如果存储引擎被禁止，服务器就无法启动。确认几本的服务器配置是正确的。通过 skip_name_resolve 禁止 DNS。
2013-09-01 10:30:37
2496
原创 java web 常见问题备忘
一：找不到maven加载的jar包Right click the web project “properties” -------> click the “Deployment Assembly” ---->Click add buttonChoose Java Build Path Entires ---> click NextChoose Maven Dependencies------> Finish二：Cannot change version of project facet Dyna
2013-08-28 17:43:49
3176
原创 JConsole 连接配置
远程监控配置JDK配置在%JAVA_HOME%/jre/lib/management目录下，jmxremote.password.template、jmxremote.password需要修改配置。具体步骤如下：1) 复制一份jmxremote.password.template文件，将其重命名为jmxremote.password，这就是控制远程连接的用户名密码的。
2013-07-03 13:05:33
2951
原创 redmine 2.2.2 + git ubuntu下安装
下载redmine：svn co http://svn.redmine.org/redmine/branches/2.2-stable redmine-2.2安装前提软件：sudo apt-get install libpq-devsudo apt-get install imagemagicksudo apt-get install libmagickwand-dev
2013-02-05 10:26:26
3222
原创 数据挖掘的一些基本概念
建模方法：1：数据汇总： eg：pagerank 通过数据来反映网页的重要性，即随机一个用户处于该页的概率2：聚类3：特征抽取 1：频繁项集 frequent itemset： eg：大多数用户买A的同时也购买了B，则当有用户买A的时候给他推荐B 2：相似项 similar item
2013-01-05 10:31:25
2760
原创 mount 硬盘到挂载点
fdisk -l 查看所有硬盘信息df -h 查看已挂载硬盘情况eg:挂载/dev/sdb到/mnt/sdb-为磁盘创建文件系统：mkfs.ext3 /dev/sdb-创建挂载点：mkdir /mnt/sdb-挂载：mount /dev/sdb /mnt/sdb- fdisk -l 如果有问题： Disk /dev/sdb
2012-12-08 19:59:10
3708
原创 Cloudera Impala 安装配置
from : http://blog.youkuaiyun.com/larrylgq/article/details/8199147前提条件：impala1.0beta目前只支持RHEL/CentOS6.2.安装集群：主机名master，slave1 2台机器，配置服务器时间同步：sudo yum install ntpcp /usr/share/zoneinfo/Asia/S
2012-11-19 13:48:29
9546
翻译 Cloudera impala 介绍
Cloudera impala™ 直接在你的HDFS或HBase上提供快速、交互式SQL查询.impala 除了使用统一的存储平台，还是用了与hive相同的 Metastore ，SQL 语法 (Hive SQL),ODBC driver 和 user interface Hue Beeswax （Hive）。这些为批处理和实时查询提供了一个统一的常见的平台。Cloudera Im
2012-11-14 14:26:33
5374
翻译 cloudera impala 源码编译
cloudera impala 是一个运行在HDFS 和 HBase 上的执行分布式查询的引擎。该源是我们内部开发版本的一个快照，我们会定期进行版本更新。这个README文档描述了怎样利用该源来构建Cloudera impala，更多的文档请看这里：https://ccp.cloudera.com/display/IMPALA10BETADOC/Cloudera+Impala+1.0+
2012-11-13 19:51:35
5649
原创 hadoop常见错误
1：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Can't continue with getBlockLocalPathInfo() authorization. The user admin is not allowed to ca
2012-09-09 16:19:22
4349
原创 海量数据下的分布式存储与计算
亲，转载请保留以下信息@from : http://blog.youkuaiyun.com/larrylgq/article/details/7851207@author :吕桂强@email; larry.lv.word@gmail.com存储从理论角度提到大数据存储nosql是不得不提的一个部分,CAP，BASE，ACID这些原理在过去的一些年对其有着一定的指导作用(
2012-08-10 14:27:56
9588
原创 groovy的动态性
动态语言需要在运行时给类增加方法或属性根据上章groovy的执行过程可以看到，groovy的执行过程是将类一次加载，且不能修改，那么groovy是如何实现动态的呢？groovy中包含MetaClass接口，该接口扩展了MetaObjectProtocol接口，这就是我们通常所说的MOP协议了，这个MetaClass能在运行时处理如拦截、重定向、增加/删除方法等等之类的方法调用
2012-07-02 16:12:47
2926
原创 groovy浅析
groovy是一个基于jvm的脚本语言，它大多数的地方和java非常类似，所以一般可以看成java的扩展在jvm中我们有2中方式可以运行groovy1： 使用groovyc编译所有的*.groovy为java的*.class文件,把这些*.class文件放在java类路径中,通过java类加载器来加载这些类2： 通过groovy的类加载器在运行时直接加载*.groovy文件并且生成对象
2012-07-02 15:48:12
3461
原创 公钥加密算法浅析
公钥加密又叫双钥加密或非对称加密最早在1976年被提出，但是真正能加密的算法RSA算法实在1978年才被提出。公钥加密是相对与对称加密来说的，即用来加密的密钥是不能用来解密的。公钥加密有2个密钥：公钥，私钥，使用公钥加密的数据可以用对应的私钥解开，同样使用私钥加密的数据也可以用公钥解开公钥是公开的，而私钥只有用户自己持有这个就为签名认证等提供了可能当A要给B发送一个
2012-06-25 18:51:16
3188
原创 zeromq/jzmq push/pull模式及java代码
引用图片：http://iyuan.iteye.com/blog/974040模型描述： 1.上游(任务发布) 2.工人(中间，具体工作) 3.下游(信号采集或者工作结果收集) 上代码：push：package com.zeromq.test.push_pull;import org.zeromq.ZMQ;/** * @author larry
2012-06-05 12:08:50
5070
原创 java jruby相互调用小例子
package com.larry.jruby;import org.jruby.embed.PathType;import org.jruby.embed.ScriptingContainer;/** * @author 吕桂强 * @email larry.lv.word@gmail.com * @version 创建时间：2012-5-22 上午11:21:45 */publ
2012-05-22 15:45:46
4349
原创 hadoop二次排序
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import or
2012-05-21 17:13:03
3547
原创 hadoop map端reduce端调优参数
map端：io.sort.mb 类型int默认100=》map的内存缓冲区io.sort.record.precent 类型：float默认0.05=》io.sort.mb的缓存区记录索引kvindices和缓存区记录索引排序工作数组kvoffsets占用空间比例io.sort.spill.percent 类型：float默认0.8=》io.sort.mb的缓冲数据边界阙值
2012-05-21 12:18:20
4184
翻译 hadoop mapreduce核心功能描述
核心功能描述应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口，它们组成作业的核心。MapperMapper将输入键值对(key/value pair)映射到一组中间格式的键值对集合。Map是一类将输入记录集转换为中间格式记录集的独立任务。 这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或
2012-05-18 19:34:36
3751
原创 hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令
sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R
2012-05-18 17:16:48
40577
原创 hadoop1.0伪分布安装
安装ssh$ sudo apt-get install ssh $ sudo apt-get install rsync生成密钥用于无密码登陆ssh-keygen -C "larry.lv.word@gmail.com" -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 644 author
2012-05-17 19:36:26
2376
原创 rails常用命令
rails new demo -d mysql使用mysql新建一个项目rails g controller welcome新建一个welcome的控制器rake db:create根据配置创建空的数据库rails g scaffold person name:string bio:text birthday:date创建person对象的映射，以及增删改查页面rake db:mi
2012-05-16 15:15:54
2818
原创 编程基础-面向对象-基于模板的面向对象解析
上接：http://blog.youkuaiyun.com/larrylgq/article/details/7432832本文由larrylgq编写，转载请注明出处：http://blog.youkuaiyun.com/larrylgq/article/details/7563994作者:吕桂强邮箱：larry.lv.word@gmail.com现在大多数面向对象的语言都是采用模板的
2012-05-14 11:17:06
1834
原创 ruby小例子-动态执行，绑定，线程
#encoding:utf-8# ---------动态执行#执行2 + 2puts eval "2 + 2"#=》4#执行15 * 2 （Q表示双引号会进行运算，q表示单引号会原样输出）number = 15code = %Q{#{number} * 2}puts codeputs eval(code)#=》4#=》#{number} * 2# ---------绑定
2012-05-10 13:50:06
1707
原创 ruby-文档生成器rdoc使用
通常使用rdoc命令来为ruby程序生成文档eg: rdoc test.rb如果要对整个项目的rb文件生成文档只需在rdoc命令后不带文件名eg:rdoc如果有类和方法不想生成doceg:def no_doc #:nodoc:end或class NoDocClass #:nodoc:all部分注释不想生成doc#--#该行不会生成do
2012-05-09 16:04:41
4577
原创 ruby小例子-‘洞穴’文字游戏
直接上代码：#encoding:utf-8class Dungeon #创建Get Set方法 #保存玩家和room列表 attr_accessor :player def initialize(player_name) @player = Player.new(player_name) @room = [] end #设置玩家location属性
2012-05-09 14:45:33
1982
原创 linux下rvm，ruby，rails安装
rvm：sudo apt-get install curl sudo apt-get install git-coresudo apt-get install libssl-dev(否则gem不能使用)sudo apt-get install libxslt-dev libxml2-dev (不装bundle install会出错)sudo apt-ge
2012-05-07 16:24:43
2857
原创 eclipse下安装ruby插件aptana
eclipse的ruby插件aptana的eclipse更新地址为http://download.aptana.com/studio3/plugin/install 点击菜单栏“Window”，下拉菜单中选择“Preferences”，在设置窗口中找到“Aptana->Startup Page”，Options设置中选择“Never display after startup”，点
2012-05-04 18:59:44
2294
原创 zeromq/jzmq 基于信封-内容的pub/sub发布订阅java代码
pub：package com.zeromq.test.psen_pub_sub;import org.zeromq.ZMQ;/** * @author 吕桂强 * @email larry.lv.word@gmail.com * @version 创建时间：2012-4-27 下午5:56:05 */public class psenvpub { public stat
2012-04-27 18:00:22
4760
原创 zeromq/jzmq pub/sub发布订阅java代码
引用：http://iyuan.iteye.com/blog/973013这里的发布与订阅角色是绝对的，即发布者无法使用recv,订阅者不能使用send,并且订阅者需要设置订阅条件"setsockopt"。 按照官网的说法，在这种模式下很可能发布者刚启动时发布的数据出现丢失，原因是用zmq发送速度太快，在订阅者尚未与发布者建立联系时，已经开始了数据发布(内部局域网没这么夸张的)。官网给了两
2012-04-26 20:37:35
8221
原创 zeroMQ/jzmq REQ/REP(c/s)模式及java代码示例
c/s模式是应答状态的，不能同时send多个数据引用：http://blog.youkuaiyun.com/kaka11/article/details/66144791. 创建ctx上下文对象，该对象会创建io_thread并启动它们，采用reactor模型作为poller不断轮询。线程间的通信使用mailbox来通信，而mailbox其实本质上就是一个双向的socketpair。2
2012-04-26 19:49:53
8032
原创 zeromq的几种模式
Request-reply pattern 请求-回复模型这种模型主要用于从客户端向一个或多个服务实例发送请求，然后等待紧接着对于每个请求的回复里面又具体分了ZMQ_REQ ZMQ_REP ZMQ_DEALER ZMQ_ROUTERREQ 发送完消息后，必须接收一个回应消息后，才能发送新的消息。REP当接收消息时，都会返回一个消息。 Pu
2012-04-26 19:02:00
7751
原创 java出现no XXX in java.library.path的解决办法及eclipse配置
java一般使用两个path：classpath 和 java.library.pathclasspath是指向jar包的位置java.library.path是非java类包的位置如（dll,so）解决办法：1：LINUX下的系统变量LD_LIBRARY_PATH来添加java.library.path2：在vm arguments里添加-Djava.librar
2012-04-26 18:19:44
97188
1
原创 zeroMQ/jzmq 安装
sudo apt-get install autoconf automake libtool gcc gcc- g++ make libuuid-dev/uuid-dev git//安装所需的条件如果出现no jzmq in java.library.path看这里： http://blog.youkuaiyun.com/larrylgq/article/details/7515362
2012-04-26 15:43:04
23744
原创 debian下rabbit安装
一键搞定sudo apt-get install rabbit或使用：http://www.rabbitmq.com/install-debian.html 中的rabbitmq-server_2.8.1-1_all.deb启动：sudo rabbitmq-server start出现以下东西即成功安装+---+ +---+| | |
2012-04-25 17:39:23
1362
原创 thrift java多线程非阻塞同步/异步调用实例
本文由larrylgq编写，转载请注明出处：http://blog.youkuaiyun.com/larrylgq/article/details/7497342作者:吕桂强邮箱：larry.lv.word@gmail.com首先创建thrift文件namespace java thriftservice Hello{ string helloString(1
2012-04-25 12:21:19
19256
5
原创 thrift支持的多种服务/传输/协议/数据类型分析
thrift通过IDL生成Client和Processor，然后调用 protocol 和 transportThrift有多种可选的 protocol ，transport和server支持的protocolTBinaryProtocol 直接的二进制格式TCompactProtocol 高效和压缩的二进制格式TDenseProtocoal 与TComp
2012-04-25 12:10:23
10170
1
原创 thrift安装
解压tar -xzvf thrift-0.8.0.tar.gz @：thrift.apache.org sudo apt-get install g++sudo apt-get install python-devsudo apt-get install libboost-dev libboost-test-dev libboost-program-opti
2012-04-24 19:16:45
1370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人