flyeagle88-优快云博客

转载 hive优化之-控制hive任务中的map数和reduce数

1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文

2018-01-08 23:15:52 290

原创 shell循环和条件判断

#!/bin/bashsource /data/xiaoju/.bashrccd /data/xiaoju/online/# create some-days dataV_BEGINDATE='2015-05-12'V_ENDDATE='2015-05-28'while [[ "$V_BEGINDATE" echo " -----"$V_BEGI

2015-05-28 14:16:03 549

转载网址收藏

eclipse 配置黑色主题http://www.cnblogs.com/csulennon/p/4231405.html

2015-05-09 21:04:09 451

原创收集点击日志

===========apache===========LogFormat "%q&rmthost=%{X-Forwarded-For}i&inTime=%{%F:%H:%M:%S}t" commonLogFormat "%{Referer}i -> %U" refererLogFormat "%{User-agent}i" agent DocumentR

2014-12-30 17:41:05 652

原创 redis基本操作命令

有序集合查询：ZRANGE es:11547 0 -1 WITHSCORES

2014-12-10 11:22:43 404

转载 linux安装vsfftpd

安装vsftpd： yum install vsftpdsudo useradd -m ftpsudo passwd ftpsudo chmod 777 /home/ftp修改vsFTPd的配置 cd /etc/vsftpd/ vi vsFTPd.conf监听地址和端口，是否打开tcp、psav模式等等anonymous_enable=NOlocal

2014-12-01 17:53:23 721

转载 linux（centos）搭建SVN服务器

安装步骤如下：1、yum install subversion2、输入rpm -ql subversion查看安装位置，如下图：我们知道svn在bin目录下生成了几个二进制文件。输入 svn --help可以查看svn的使用方法，如下图。3、创建svn版本库目录mkdir -p /var/svn/

2014-10-23 17:37:05 536

原创 kafka安装文档

参考：http://www.350351.com/jiagoucunchu/ZooKeeper/320969.html

2014-10-13 13:40:51 438

原创 linux 增加一个用户并打通ssh

1、增加用户adduser hadoopadminusermod -a -G wheel hadoopadminpasswd hadoopadmin2、编辑文件visudo -f /etc/sudoers#chmod 0440 /etc/sudoers将%wheel那两行打开3、测试是否增加成功：su - hadoopadminsud

2014-09-27 18:12:19 1169

转载 centos-6.4 64位u盘安装盘制作

http://www.jspxcms.com/knowledge/140.html

2014-08-11 17:06:24 509

原创 hive常用命令

一、添加hive自定义函数add jar /opt/cloudera/parcels/CDH/lib/hive/lib/bhdp-base-0.0.2.jar;create temporary function decode_order_moblie as 'com.baihe.hadoop.hive.udf.DecodeOrderMobile';select

2014-04-24 15:00:01 547

原创 sol操作记录

一、solr命令solrctl instancedir --delete baiheSearch solrctl instancedir --create baiheSearch $HOME/solr_configssolrctl collection --delete baiheSearchsolrctl collection --create baiheSearch -s 3

2014-03-08 14:38:43 1717

转载 hadoop学习参考网址

NFS安装配置及常见问题、/etc/exports配置文件、showmount命令http://desert3.iteye.com/blog/1675522

2014-02-18 23:01:23 1328

原创 kettle一些命令

安装kettlecd /usr/localscp root@web115:/usr/local/soft/pdi/pdi-ce-5.0.1.A-stable.zip ./unzip pdi-ce-5.0.1.A-stable.zipscp root@web115:/usr/local/data-integration/lib/mysql-connector-java-5

2014-02-08 15:42:23 2302

原创 zookeeper异常处理

一、zookeeper报错：unable to load database on disk 2014-01-12 18:59:39,039 INFO org.apache.zookeeper.server.persistence.FileSnap: Reading snapshot /var/lib/zookeeper/version-2/snapshot.1f0015b7242

2014-01-12 19:27:20 20735 1

原创 hbase异常处理

一、2014-01-02 02:08:49,349 INFO org.apache.hadoop.hbase.regionserver.Store: Closed info2014-01-02 02:08:49,349 INFO org.apache.hadoop.hbase.regionserver.HRegion: Closed kgroup_user_receiver,6607657

2014-01-12 18:44:24 4891

原创 CDH的Cloudera Manage安装或升级

一.准备centos6.2系统java 1.6.31二.下载rpm资源http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4RPMS的文件和repodata都得下三.开启本地源yum>yum list installed cloudera-manager-serveryum list inst

2013-12-26 00:20:35 994

原创 hadoop遇到的一些问题

http://royripple.diandian.com/post/2011-07-14/40028719245

2013-11-27 15:38:44 477

转载 JAVA 线程操作

http://www.blogjava.net/jinfeng_wang/archive/2008/04/27/196477.html

2013-11-18 10:39:51 529

原创 IBATIS一些参数说明

Pool.MaximumActiveConnections：数据库连接池可维持的最大容量Pool.MaximumIdleConnections：数据库连接池中允许的挂起（idle）连接数Pool.MaximumCheckoutTime：数据库联接池中，连接被某个任务所允许占用的最大时间，如果超过这个时间限定，连接将被强制收回。（毫秒）Pool.TimeToWait：当线程试图从连

2013-10-25 09:43:46 1114

原创 hadoop维护时候的一些重要命令

参考网址：http://xubo8118.blog.163.com/blog/static/185552332201301811402816/hadoop fs -setrep -R 3 /hadoop fsck /hadoop fsck -delete

2013-10-21 09:49:05 616

原创 mysql主从同步配置

1.master上操作(web114)GRANT FILE,SELECT,REPLICATION SLAVE ON *.* TO backup@172.16.4.188 IDENTIFIED BY '******';flush privileges;#vi /etc/my.cnf[mysqld]log-bin=mysql-bin //[必须]启用二进制日志

2013-10-15 09:52:15 946

原创 mahout kmeans 测试

hadoop jar /opt/cloudera/parcels/CDH/lib/mahout/mahout-examples-0.7-cdh4.3.0-job.jar \org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

2013-10-14 17:14:48 914

转载轻松升级CentOS 5.6到CentOS 6.0

RedHat Linux 的社区免费版本 CentOS 6.0 于7月11日正式发布。CentOS 6.0 基于上游的 RHEL 6.0 制作，同时基本包含了所有的上游软件包。CentOS 完全遵守上游供应商的再发行政策，并且以百分之百的软件兼容性为目标。本文主题是『升级CentOS 5.6到CentOS 6.0』预备命令cat /etc/redhat-release，

2013-09-02 10:35:03 755

转载 hadoop & hbase 上下线

原文网址：http://blog.chinaunix.net/uid-16362696-id-3479643.html 线上部署hadoop、hbase 一般都是采用存储、计算一对一的方式，即每个节点启动 hadoop 的 datanode（以下简称dn）& tasktracker（以下简称tt）再加 hbase regionserver（以下简称rs），hadoop namenode

2013-09-02 09:52:33 889

原创 mahout数据各步骤转换

原始数据：1,101,51,102,31,103,2.52,101,22,102,2.52,103,52,104,23,101,2.53,104,43,105,4.53,107,54,101,54,103,34,104,4.54,106,45,101,45,102,35,103,25,104,45,105,3.55

2013-07-05 14:48:29 778

转载正则表达式30分钟入门教程

http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html

2013-06-20 10:07:55 462

转载 HBase中数据的多版本特性潜在的意外

HBase做为KeyValue结构存储，在存储上是依照RowKey的字典序进行排序，对于很多应用而言这可能远远不够，好在HBase的数据可以存储多个版本，并且版本可以排序，其理论上最大的版本数目Integer.MAX_VALUE，这在一定程度上简化应用端的设计举个例子，假设现在有一个应用，对用户的每次登录信息（如：时间+IP）进行，并要求可以快速获取指定用户的最近登录信息，如果选用HBa

2013-04-24 10:51:04 626

原创 hbase命令使用笔记

修改列族disable 'bhdp_user'alter 'bhdp_user', NAME => 'matchInfo',VERSIONS =>65535alter 'bhdp_user', NAME => 'userInfo',VERSIONS =>65535enable 'bhdp_user'

2013-04-03 15:08:19 489

转载 MySQL之外键约束

MySQL之外键约束MySQL有两种常用的引擎类型：MyISAM和InnoDB。目前只有InnoDB引擎类型支持外键约束。InnoDB中外键约束定义的语法如下：[CONSTRAINT [symbol]] FOREIGN KEY [index_name] (index_col_name, ...) REFERENCES tbl_name (index_col_name

2013-03-29 13:22:41 598

原创 sqoop导入数据到hive

一、从msyql导入到hive表中创建hive表sqoop import --connect --username --password --query " SELECT * FROM User_LoginHistory.User_OnlineHistory_total WHERE LoginTime>='2013-01-01' and LoginTime<'2013-

2013-03-28 14:12:00 1295

转载 Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析

Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析博客分类： HadoopSqoop 本博客属原创文章，转载请务必注明出处:http://guoyunsky.iteye.com/blogs/1213966/ 欢迎加入Hadoop超级群: 1809419

2013-03-26 16:35:45 1076

原创重启hadoop的namenode报错解决方法

重启hadoop的namenode一些报错的解决方法1、提示挂载失败2013-02-16 15:20:22,057 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.org.apache.hadoop.hdfs.server.common.Inc

2013-02-17 15:29:13 1269

转载 hadoop配置文件详解、安装及相关操作

一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容： fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议

2013-01-24 16:18:28 1431

转载【转】sqlserver CAST 和 CONVERT函数

将某种数据类型的表达式显式转换为另一种数据类型。CAST 和 CONVERT 提供相似的功能。语法使用 CAST：CAST ( expression AS data_type )使用 CONVERT：CONVERT (data_type[(length)], expression [, style])参数expression是任何有效的 Mi

2013-01-23 10:26:00 535

转载【转】在eclipse3.7中配置hadoop1.0.1插件

1.安装插件准备程序：eclipse-3.7 hadoop-eclipse-plugin-1.0.1（http://download.youkuaiyun.com/detail/xiaoping8411/4216102）将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下，重启eclipse。2.打开MapReduce视

2013-01-16 14:42:20 395

原创 mysql error：24错误解决方法

修改my.cnf文件，增加open_files_limit = 8196。我的默认值是1185。重启mysql，service mysql restart参考官方网址：http://gix.my/blog/mysql-cant-open-file-errno-24

2012-08-16 10:17:39 1703

转载 linux下查看监听端口对应的进程

方法一 1.通过lsof命令查看PID ipv4 [root@test proc]# lsof -Pnl +M -i4 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME java 1419 1401 10u IPv4 6793357 TCP *:8453

2012-06-16 01:18:16 504

转载 rpm安装mysql

转载地址：http://hi.baidu.com/kghenhao/blog/item/e167e1f20a3c26c87931aa26.html详细介绍了Linux环境下利用Rpm包安装Mysql的方法步骤。◆1、下载MySQL的安装文件安装MySQL需要下面两个文件：MySQL-server-5.0.26-0.i386.rpmMySQL-client-5

2012-06-07 11:25:06 558

原创 linux 安装pure-ftp

参考网址：http://www.myhack58.com/Article/sort099/sort0102/2011/32579.htm1. 下载最好切换到安装的目录,地址可到官方找最新的#wget http://download.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.32.tar.gz2. 安装下载下来之后解

2012-06-07 10:21:38 513

Java Swing(第二版)(chm和pdf)

空空如也