- 博客(41)
- 收藏
- 关注
RSS订阅原创 rabbitmq安装
Mq安装wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.0/rabbitmq-server-3.6.0-1.noarch.rpm wget http://erlang.org/download/otp_src_17.0.tar.gzyum -y install make ncurses-devel gcc g...
2017-08-28 14:38:07
225
原创 spark读取hbase数据
package ceshiimport java.io.IOExceptionimport java.utilimport java.util.{Random, UUID}import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.hbase.HBaseConfigurationimpor...
2017-05-24 16:34:12
316
原创 CDH节点断开时间过长连接不上处理方案
节点断开时间过长处理方法： [root@slave1 ~]# /etc/init.d/cloudera-scm-agent statuscloudera-scm-agent dead but pid file exists [root@slave1 ~]# service httpd statushttpd is stopped[root@slave1 ~]#...
2017-04-24 09:20:32
1425
原创 python升级后pip升级
1、安装pipwget https://pypi.python.org/packages/7e/71/3c6ece07a9a885650aa6607b0ebfdf6fc9a3ef8691c44b5e724e4eee7bf2/pip-7.1.0.tar.gz --no-check-certificatetar -zxvf pip-7.1.0.tar.gzcd pip-7.1.0py...
2017-04-17 16:21:19
457
原创 distribute_setup.py安装
wget https://pypi.python.org/packages/source/d/distribute/distribute-0.7.3.zip --no-check-certificate unzip distribute-0.7.3.zip cd distribute-0.7.3 python2.7 setup.py install ...
2017-02-10 10:30:29
4112
1
原创 Python2.6.6升级到Python2.7.3
1、现在tar包 http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz2、解压，安装 tar -zxvf Python-2.7.3.tgz建立安装目录 mkdir /usr/local/python2.7.3编译、安装 cd Python-2.7.3 ./configure ...
2016-11-15 16:26:56
143
原创 hbase统计表的行数
1、count命令 hbase(main):001:0> count 'mobile_info' hbase(main):001:0> count 'mobile_info',INTERVAL=2000 //INTERVAL：行数间隔2、hbase自带的mapreduce -bash-4.1# hbase org.apache.hadoop....
2016-11-08 14:22:06
419
原创 社交软件实现查看附近的人
转 http://www.cnblogs.com/iforever/p/4061095.html http://www.sxrczx.com/pages/my.oschina.net/853294317/blog/296594.html
2016-09-14 17:01:30
542
原创 gfortran在linux下安装
在 http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz 下载 gfortran wget http://gfortran.meteodat.ch/download/x86_64/nightlies/gcc-trunk.tar.xz xz -d gcc-trunk.tar.xztar -...
2016-09-06 11:33:41
17612
3
原创 Intellij IDEA中文问题
1、编辑器修改fileEncodingFile->settings->Editor->File EncodingIDE Encoding和Project Encoding修改为UTF-8 2、IDEA窗口乱码修改linux系统增加中文字体（见上一篇文章）在IDEA中，进入File->settings->Appearance & B...
2015-11-09 10:44:42
217
原创 linux中文字体安装
1、下载中文字体2、查看当前系统中已经安装的字体 fc-list :lang=zh3、在/usr/share/fonts/建立目录truetype,复制字体到/usr/share/fonts/truetype4、生成字体索引信息[root@master truetype]# mkfontscale [root@master truetype]# mkfontdir[roo...
2015-11-09 09:40:15
157
原创 spark streaming准实时计算demo
package com.chexun.statisticimport java.sql.{Connection, DriverManager}import java.util.Dateimport com.chexun.statistic.RealTimeAdv._import kafka.serializer.StringDecoderimport o...
2015-08-13 17:44:50
359
原创 spark streaming使用数据源方式插入mysql数据
import java.sql.{Connection, ResultSet}import com.jolbox.bonecp.{BoneCP, BoneCPConfig}import org.slf4j.LoggerFactoryobject ConnectionPool { val logger = LoggerFactory.getLogger(this.get...
2015-06-03 17:13:18
232
原创 linux中-jar参数运行时classpath设置方法
当用java -jar chexun.jar来运行一个应用程序时，会找不到第三方的jar包。实际上当使用-jar参数运行时，JVM会屏蔽所有的外部classpath，而只以内部的class作为类的寻找范围。 解决方法：BootStrap class扩展方案 java -Xbootclasspath/a: /usrhome/thirdlib...
2015-05-27 15:39:56
1422
原创 spark查看历史任务的信息
1、在spark-default.conf中增加：spark.eventLog.enabled truespark.eventLog.dir hdfs://10.0.0.37:9000/sparklogsspark.eventLog.compress true 2、在sp...
2015-05-18 15:56:26
1065
原创 Spark把执行结果写入到mysql中
sc.parallelize(List((stattime,"pv",1L), (stattime,"ip",2L), (stattime,"uv",3L), (stattime,"newuser",4L), (stattime,"beakrate",5L), (stattime,"visittimes",6L),
2015-04-24 18:05:34
237
原创 spark sql自定义函数udf
def visitview(vtimes : Iterable[String]): Long ={ var times = 0L if(vtimes.size == 0){ }else{ val lb = scala.collection.mutable.ListBuffer.empty[String] for(vtime <-...
2015-04-23 15:29:15
614
原创 flume与kafka集成
1、flume配置文件[code="java"]agent1.sources = r1agent1.channels = c1agent1.sinks = k1agent1.sources.r1.type = execagent1.sources.r1.command = tail -F /opt/soft/tomcatloging/logs/test.loga...
2015-04-17 17:43:29
140
原创 kafka常用命令
bin/zookeeper-server-start.sh config/zookeeper.properties & //启动zookeeper服务bin/kafka-server-start.sh config/server.properties &创建topicbin/kafka-topics.sh --create --zookeeper 172.18.90...
2015-04-17 17:11:56
111
原创 查看 SELinux状态及关闭SELinux
查看SELinux状态：1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态SELinux status: enabled2、getenforce ##也可以用这个命令检查关闭SELinux：1、临时关闭（不用重启机器）：setenfo...
2015-01-23 11:38:36
109
原创 zookeeper常用命令
bin/zkServer.sh start //启动服务bin/zkServer.sh stop bin/zkCli.sh -server 127.0.0.1:2181 //客户端连接 delete /dubbo //删除指定节点，只能删除非空节点rmr /dubbo //删除dubbo节点及子节点 ls / //使用ls查看当前zoo...
2015-01-14 17:11:25
141
原创 dubbo2.5.3与spring冲突的解决方法
错误如下：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sqlSessionFactory' defined in class path resource [applicationContext.xml]: Initialization of bean fail...
2015-01-13 10:19:45
382
原创 spark集群中运行SparkPi的示例
1、SparkPi.scala源码（官网例子） import scala.math.randomimport org.apache.spark._/** Computes an approximation to pi */object SparkPi { def main(args: Array[String]) { val conf...
2014-12-31 15:42:09
840
原创 hibernate获取SessionFactory的方法
获取SessionFactory的方法 方法一：Configuration cfg = new Configuration().configure();SessionFactory factory = cfg.configure().buildSessionFactory(new StandardServiceRegistryBuilder().build()); 方法二...
2014-11-13 16:15:51
181
原创 java操作hbase
HBase提供了Java API对其进行管理,包括对表的管理、数据的操作等。 HBaseAdmin —— 对表的创建、删除、显示以及修改等。 HTable —— 通过HTable的实例来访问表并进行数据的操作。package test;import java.io.IOException;import java.util.ArrayList;import java.uti...
2014-10-27 17:10:24
104
原创 windows下mysql忘记root密码的解决办法
打开第一个cmd窗口，切换到mysql的bin目录，运行命令：mysqld --defaults-file="C:\Program Files\MySQL\MySQL Server 5.1\my.ini" --console --skip-grant-tables注释：该命令通过跳过权限安全检查，开启mysql服务，这样连接mysql时，可以不用输入用户密码。 此时已经开启了mysq...
2014-09-25 14:45:57
84
原创 Hadoop安全机制介绍
1．背景1.1 共享Hadoop集群当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资源，每个用户或者用户组只能使用某个队列中得资源；（2）HDFS上存有各种数据，有公用的，有机密的，不同的用户可以访问不同的数据。共享集群类似于云计算或...
2014-09-19 17:13:21
215
原创 java获取操作系统信息
import java.util.Properties; Properties props=System.getProperties(); //获得系统属性集 String osName = props.getProperty( "os.name" ); //操作系统名称 String osArch = props.getProperty( "os.arch"...
2014-09-11 11:19:09
122
原创 如何查看linux系统版本信息
查看linux内核版本号[img]http://dl2.iteye.com/upload/attachment/0100/8666/6e6a5966-86f4-3c23-a755-2c0c07a8378f.jpg[/img] 查看linux版本信息：[img]http://dl2.iteye.com/upload/attachment/0100/8668/cca914d5-f460-3...
2014-09-05 09:53:56
137
原创 hadoop svn地址
hadoop源码 svn地址：http://svn.apache.org/repos/asf/hadoop/common/branches/http://subclipse.tigris.org/servlets/ProjectProcess?pageID=p4wYuA
2014-09-04 09:52:23
162
原创 hadoop源码环境搭建，sun.net.util.IPAddressUtil类没找到
sun.net包里的类，在eclipse里默认是不让用的。解决办法是自定义access rules工程上右键->工程属性->java builder path->Libraries标签，点击JRE System Library里面的Access rules，add sun/** 为accessible，如果该项存在，就edit...
2014-08-28 22:01:58
874
原创 Linux安装mysql——源码安装
1.假设已经有mysql-5.5.10.tar.gz以及cmake-2.8.4.tar.gz两个源文件(1)先安装cmake（mysql5.5以后是通过cmake来编译的）[root@ rhel5 local]#tar -zxv -f cmake-2.8.4.tar.gz[root@ rhel5 local]#cd cmake-2.8.4[root@ rhel5 cmake...
2014-08-17 19:32:24
98
原创 hadoop-1.2.1源代码编译及生成eclipse插件
1、安装ant2、安装m43、安装autoconf4、安装automake5、安装libtool6、安装antvi /etc/profileexport ANT_HOME=%ANT% export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATHsource /etc/profile7、安装eclipse8、...
2014-08-10 21:21:31
148
原创 oracle11g 编译BBED工具
oracle10g BBED:cd $ORACLE_HOME/rdbms/lib通过以下命令将bbed生成到$ORACLE_HOME/bin目录[oracle@db2 lib]$ make -f ins_rdbms.mk BBED=$ORACLE_HOME/bin/bbed $ORACLE_HOME/bin/bbed10gdg1-> bbedPassword: ...
2014-07-28 13:54:20
172
原创 从nginx日志中得到访问量最高前5个IP
从nginx日志中得到访问量最高前5个IPcat access.log.10 | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k 2 -r | head -n 5
2014-07-20 18:42:05
1168
原创 linux如何增加swap分区大小
关于linux系统swap交换分区内存加大的操作方法下面我们就来增加系统的 Swap 大小。1.首先用命令free查看系统内 Swap 分区大小。free -m引用[root@localhost /]# free -m total used free shared buffers cachedMe...
2014-07-18 15:36:34
160
原创 修改系统时间和硬件时钟
同步授权中心的时间，中科院授时中心(西安)[root@localhost ~]# ntpdate 210.72.145.44 ntpdate ntp.fudan.edu.cn ((复旦)（国内用户推荐)硬件时间与系统时间同步[root@localhost ~]# hwclock --systohc系统时间与硬件时钟同步[root...
2014-07-18 14:18:35
384
原创 修改用户的宿主目录
一、修改/etc/passwd文件-bash-4.1$ vi /etc/passwd oracle:x:501:502::/u01/:/bin/bash 直接修改第6个值二、usermod命令usermod -d 目录 -u uid username[img]http://dl2.iteye.com/upload/attachment/0099/0757/8f57d6...
2014-07-14 15:43:40
1291
原创 Linux系统下如果查看用户的UID和GID
方法一：使用 id 命令 使用 id 命令可以很轻松的通过用户名查看UID、GID，下面来讲解一下这个命令的用法。id [选项]... [用户名] 命令选项-a 忽略，兼容其它版本-Z, –context 只输出当前用户的安全上下文-g, –group 只输出有效的GID-G, –groups 输出所有的GID-n, –name 对于 -ugG 输出名字而不是...
2014-07-14 15:09:31
354
原创 hive应用示例
简单示例我们以以下数据作为测试数据，结构为（班级号，学号，成绩）。C01,N0101,82C01,N0102,59C01,N0103,65C02,N0201,81C02,N0202,82C02,N0203,79C03,N0301,56C03,N0302,92C03,N0306,72执行以下命令：create table student(class...
2014-07-12 22:43:06
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人