- 博客(100)
- 资源 (27)
- 收藏
- 关注
原创 Presto on yarn解决方案
Deploying Presto on a YARN-Based Clusterpresto不像spark那样默认就支持yarn,spark与yarn兼容性很好, 只需要简单的配置下启动脚本和集群环境就可以在Yarn上运行spark任务。presto则不然它需要借助于slider。通过slider实现presto on yarn。Yarn是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。所以此方案就是把presto的应用提交到
2017-09-26 19:01:53
6182
11
原创 Spark-2.1.0-hadooop-2.6.0-cdh5.7.0源码编译
目前 Spark 编译脚本已经将Maven 集成进来了,以方便编译以及部署。这个脚本将会在它本地 build/ 编译目录自动下载和安装所有编译过程中所必需的( Maven,Scala 和 Zinc )。可以手动修改dev/make-distribution.sh脚本,使其选择自己安装好的Maven,如果不修改这个脚本会自动安装所需要的编译环境。确保编译的机器能正常访问外网,建议在测试环境编译,生产上对网络做各种限制,即便开通了代理也还会报各种诡异在错误。
2017-07-04 15:04:10
2356
1
原创 Scrapy安装及demo测试笔记
Scrapy安装及demo测试笔记一、环境搭建1. 安装scrapy:pip install scrapy2.安装:PyWin32,可以从网上载已编译好的安装包:http://www.lfd.uci.edu/%7Egohlke/pythonlibs/#pywin32安装完之后会报如下错误解决办法,把以下两个文件拷贝到C:\Windows\System32目录下二、创
2016-09-01 16:34:00
2498
原创 有道笔记无法同步(笔录)
当经常翻墙或代理时,有些软件或IE浏览器会自动修改一些配置项,导致有道笔记无法登录,具体修改了哪些配置已经不知道了,所以此时还原IE默认设置。因为我之前把IE功能关掉了,所以我现在把IE打开到此为止,重登录有道笔记,问题得到解决。
2016-07-22 16:06:29
713
原创 Java调用Python脚本
1、本地环境安装的是Python 2.7.112、用maven下载jython依赖 org.python jython 2.7.03、python脚本编写#coding:utf-8def adder(a, b): return a + b def mytest(str2): print str2 4、Java调用Py
2016-07-22 11:12:22
6379
原创 VMware网络配置笔记
如果网络没有配置好,那么在VM里不能ping通windows主机,1、先查看一下当前有哪些网络可以连接2、打开VMware的网络编辑器3、查看有哪些连接可用,如果没有新建一个,确保有可用的连接如下图4、自定义的虚拟网络名称选择与上面第3步可用的连接一致5、以下方式是自动DHCP方式6、测试成功
2016-06-27 17:16:23
440
原创 eclipse-spark开发环境
1、从spark 官网下载的都是使用Scala2.10编译的,别的版本很少编译过,用scala2.11.7报如下错误Description Resource Path Location TypeMore than one scala library found in the build path (D:/scala-SDK-4.3.0-vfinal-2.11-win3
2016-06-24 12:02:48
2046
原创 win64下安装numpy-scipy-matplotlib-scikit-learn
安装numpy问题说明1、在win64 python2.7环境中,安装numpy会发现, 直接使用“pip install numpy”无法安装numpy2、我在网上找到类型的exe安装包,由于这个exe是32位的,安装时并没有提示错误,但使用时会报错3、可以参照blog:http://my.oschina.net/HIJAY/blog/485063?fromerr=nInDlgk
2016-02-26 15:15:06
3415
原创 python闭包学习笔记四
#coding:utf-8'''闭包作用:封装、代码复用.>>>>>>>闭包存放函数的方式'''#def my_sum(*arg):# if len(arg) == 0:# return 0# for val in arg:# if not isinstance(val, int):# return 0# re
2016-02-25 21:55:21
535
原创 python闭包学习笔记三
#coding:utf-8''''闭包作用:封装、代码复用.>>>>>>>闭包存放数值型的方式'''def func_150(val): passline = 90; if val >= passline: print "pass" else: print "failed" def func_100(val):
2016-02-25 21:54:29
562
原创 python闭包学习笔记二
#coding:utf-8''''闭包'''passline = 60def func(val): passline = 90; print "val_id:%x" %id(val) if val >= passline: print "pass" else: print "failed" def
2016-02-25 21:53:23
418
原创 python闭包学习笔记一
函数实质与属性1、函数是一个对象2、函数执行完成之后内部变量回收3、函数有属性4、函数有返回值函数LEGB:L>E>G>BL:local函数内部作用域E:enclosing函数内部与内嵌函数之间G:global全局作用域B:build-in内置作用域#coding:utf-8#def add(x,y,f):# return f(x)+f(y)
2016-02-25 21:52:12
434
原创 python装饰器的学习笔记一
#coding:utf-8'''http://www.imooc.com/learn/581 装饰器其实就是对闭包的使用'''def my_closure(func): print "my_closure" def in_func(*args): print "in_func.args=",args if len(args)==0:
2016-02-25 21:44:14
582
原创 python装饰器的学习笔记二
#coding:utf-8def deco(func): def in_deco(): print "in_deco" func() print "call deco" #如果这里不显示返回的话,默认是None return in_deco'''在这里我们使用了deco来进行装饰'''@deco def bar()
2016-02-25 21:42:39
384
原创 python装饰器的学习笔记三
#coding:utf-8'''装饰器实质就是闭包的使用'''def deco(func): def in_deco(x,y): print "in_deco" func(x,y) print "call deco" #如果这里不显示返回的话,默认是None return in_deco'''在还没有使用@deco来装饰
2016-02-25 21:38:22
444
原创 Linux运维汇总笔记
一、查看CPU信息1、总核数 = 物理CPU个数 X 每颗物理CPU的核数 2、总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数3、 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l4、 查看每个物理CPU中core的个数(即核数) cat /proc/
2015-09-08 15:22:52
801
原创 eclipse导出jar包的问题总结
eclipse各种打包方式第一种解决方案Copy requeired libraries libraries into a sub-forder next to the generated JAR选用这个选项,eclipse生成的jar包1.把自己写应用打成一个jar包,如:test.jar2.创建一个文件夹与该jar包同名并在其后面加"_lib",如:test_lib3.
2015-09-07 12:00:20
1287
原创 Maven使用经验总结
1、异常:Project configuration is not up-to-date with pom.xml解决办法 右键项目,【Maven】--》【Update Project Configuration...】2、新建maven子模块出现 Unable to read parent POM错误 把pom.xml文件中的 中文字符全部删除包括注释
2015-08-25 20:24:42
1129
原创 Java日期转换
1.从Nginx日志里截取到的字符串转成日期类型 String date = "[08/Aug/2015:15:29:14 +0800]"; SimpleDateFormat sdf = new SimpleDateFormat("[dd/MMM/yyyy:HH:mm:ss z]", Locale.US); Date s = sdf.parse(
2015-08-10 15:20:18
513
原创 hadoop配置好之后启服务,jps能看到datanode进程,可是后台的datanode日志有如下错误,且50070端口上也是没有活的节点
2015-04-22 14:17:29,908 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: For namenode master/192.168.1.100:53310 using DELETEREPORT_INTERVAL of 300000 msec BLOCKREPORT_INTERVAL of 21600000msec I
2015-04-22 17:20:53
4426
原创 Flume使用笔记
1、当一台机器运行多个flume脚本,时执行:ps -aux|grep flume会输出很多个进程出来,且当本地的环境变量配置很多时(如:Hadoop,Hbase...),此时会在控制台打印很多JVM加载的依赖,没办法看哪个进程运行了哪个flume脚本。此时可以根据端口来找:(1)netstat -nlpt|grep 44444(2)第(1)步可以看到对应的进程号,只需要将该进程号kill
2015-04-14 17:30:02
1405
原创 storm提交topology时supervisor无法创建worker
问题描述 在本地eclipse运行是好好的,可是提交到集群上去之后什么都没反应。提交topology之后,在storm UI上看topology的worker数与在程序里设置的值是一样的,但是到对应的机器去查看的时候,发现那个worker并没有存在,在日志目录下也没有找到worker的日志,提交topology也并没有报什么错误提示,所以很茫然,此时倒是很希望它弄出一个错误出来好去定位问题,
2015-04-03 11:26:20
3146
原创 Storm启动异常[ERROR] Error when processing event,Supervisor启不来
当storm服务非正常终止(如关机没关虚拟机,或机器断电)时,下次再启动storm时会报如下错误2015-03-28 02:26:08 b.s.d.supervisor [INFO] Starting supervisor with id 7466cd48-9ca2-4957-844c-c03fa1ce7ca9 at host storm12015-03-28 02:26:08 b.s.
2015-03-28 17:47:23
2411
原创 Kafka监控工具KafkaOffsetMonitor
1.下载KafkaOffsetMonitor-assembly-0.2.0.jar 网盘地址:http://pan.baidu.com/s/1eQgYZOA 密码:rd5y2.在服务器上创建kafka-offset-console目录3.把下载好的文件上传到刚刚创建的目录下4.创建监控程序运行的产生的日志输出目录:/app/kafka-offset-console/logs5
2015-03-23 18:51:05
4749
原创 自定义FlumeKafkaSink
1、自定义FlumeKafkaSinkpackage com.panguoyuan.flume.sink;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.Properties;import kafka.javaapi.producer.Produc
2015-03-23 14:08:48
2755
原创 Kafka Manager安装笔记
1、下载已经编译好的kafka-manager-1.0-SNAPSHOT.zip 百度网盘:http://pan.baidu.com/s/1i349zet 密码:9vfk2、解压到指定的安装目录:unzip kafka-manager-1.0-SNAPSHOT.zip3、修改conf/application.conf文件kafka-manager.zkhosts=设置为自己z
2015-03-23 10:56:41
2495
转载 apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retriesat kafka.consumer.ZookeeperConsumer
2015-03-11 17:25:26
1224
原创 自定义HbaseSink输出采集日志到Hbase
前提: 当前机器都安装用hbase,hadoop,flume,如果没安装有hbase和hadoop的可能会少一些依赖,把core-site.xml,hdfs-site.xml,hbase-site.xml配置文件拷贝到Flume安装目录的conf目录下,打jar包的时候只需要把下面的java类打进去即可,不需要别的依赖。1、编写Serializerpackage com.pang
2015-03-03 16:28:50
3768
原创 Kafka学习笔记
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务bin/kafka-server-start.sh config/server.properties &2、报如下错误props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092"); props.put("serializer.cl
2015-02-07 17:52:50
1807
原创 基于Mahout的图书推荐系统
一、 用Maven搭建Mahout的开发环境package com.panguoyuan.mahout.itemcf;import java.io.File;import java.io.IOException;import java.util.List;import org.apache.mahout.cf.taste.common.TasteException;impor
2015-02-05 10:32:33
3301
原创 RocketMQ使用笔记
1、将alibaba-rocketmq-3.2.2.tar.gz解压2、设置/app/alibaba-rocketmq/bin目录下执行脚本的权限:chmod +x ./bin/*.sh3、启动nameserver(192.168.232.147):nohup ./bin/mqnamesrv >/dev/null 2>&1 & #默认端口98764、启动mqbroker :nohup
2015-02-04 15:05:04
2936
原创 JavaAPI访问Hadoop2.2HA的配置下访问Hbase0.96.2
1、确保Hadoop和Hbase服务已经正常启动了2、把hbase-site.xml,core-site.xml,hdfs-site.xml配置文件放到Java工程的src目录下3、引入相关的依赖包4、Java Client测试访问Hbase集群package com.hbase.test;import java.util.ArrayList;import jav
2015-01-28 10:33:33
1728
原创 Spark集群基于Zookeeper的HA搭建部署笔记
1.环境介绍(1)操作系统RHEL6.2-64(2)两个节点:spark1(192.168.232.147),spark2(192.168.232.152)(3)两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper(1)下载Zookeeper:http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz(2
2015-01-26 15:46:05
3813
原创 windows-7-64下memcached的安装测试
1.下载memcached-win64-1.4.4-14.zip安装包2.解压到指定的安装目录3.以管理员的身份运行cmd命令(注意,一定是管理员身份,要不然会报报莫名其妙的错)4.Java客户端访问,默认端口是11211package com.panguoyuan.week5;import com.danga.MemCached.MemCachedClient;impo
2015-01-04 17:16:36
1398
原创 Storm学习笔记二
主要内容:通过spout读取文件中的内容,然后分别以两个bolt来处理package com.panguoyuan.storm.lession2;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.StormSubmitter;import backtype.sto
2015-01-02 12:37:59
729
原创 Storm学习笔记一
1.先生成数据源package com.panguoyuan.storm.lession1;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.util.Random;public class ProductionData {
2015-01-02 11:09:36
865
原创 linux命令运维汇总
1.Binary file (standard input) matches用grep "search word" log.txtlinux系统认为是二进制文件,需要在搜索词前加上-a,如:grep -a "search word" log.txt
2014-12-15 18:40:17
849
原创 Kafka-storm的开发错吴总结
工程是基于Maven来构建1、clojure如果是1.4.0会报如下错误,换成1.6.0即可解决 org.clojure clojure 1.6.02.Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the clas
2014-12-14 14:47:08
6439
原创 Uedit32设置字体大小
1、网上有很多UE可以下载的,可是我试了一下很多都是需要安装,且还要注册码,很复杂,下载了几个都用不上;2、我用的这个UE是免安装的,且不用注册码,解压马上能用;3、UE默认的字体很小,都需要重新设置,以下是设置字体大小界面。
2014-11-21 14:43:05
3358
UnlimitedJCEPolicy.tar.gz
2019-07-25
googleapies-css-fonts.tar.gz
2019-07-25
图书推荐数据集Book-Crossing
2014-06-10
JMS简明教程.pdf
2014-01-22
mongodb学习手册.pdf
2014-01-22
ExtJS快速入门指南.pdf
2014-01-15
Java面试题集全.pdf
2014-01-15
云计算入门指南.pdf
2014-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人