- 博客(12)
- 收藏
- 关注
RSS订阅原创 idea scala 没有错误提示
本人idea版本2021.2.2发现 Highlight node with errors 默认没有勾选上，勾上就可以了。
2021-10-24 18:42:47
2735
1
原创 HDFS fsimage文件解析
指定hdfs 客户端内存export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’解析fsimage文件，结果以逗号分隔nohup hdfs oiv -t /data/tmp/fsimage -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file & 30gb大的fsimage文件解析大概耗时2小时。结果文件需要删除首行列名sed -i ‘1d’ result_file
2021-01-01 22:29:22
905
原创 python loggin模块使用
import loggingimport osif __name__ == '__main__': log_path = "m:/" log_name = "python.log" logger = logging.getLogger() handler = logging.FileHandler(os.path.join(log_path, log_name)) formater = logging.Formatter("[%(asctime)s] [%(fun
2020-10-30 10:46:18
174
原创 python http请求
# -*- coding: utf-8 -*-import urllib2,urllibimport requestsimport jsondef get(url): req = urllib2.Request(url) res_data = urllib2.urlopen(req) res = res_data.read() return res#data 为字典对象def post(url, data): req = urllib2.Request
2020-10-27 18:45:29
283
原创 CDH添加外部HDFS集群nameservice
如CDH自带HDFS的nameservice为nameservice-dev，现在添加对外部HDFS集群nameservice-test的支持。在配置项”hdfs-site.xml 的 HDFS 客户端高级配置代码段（安全阀）“中添加配置<property> <name>dfs.nameservices</name> <value>nameservice-dev,nameservice-test</value></pro
2020-10-12 15:46:17
1288
原创 HBase java get scan 例子
maven依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.98.24-hadoop2</version></dependency&...
2019-10-23 19:34:54
327
原创 spark 读取orc文件
<dependency> <groupId>org.apache.orc</groupId> <artifactId>orc-mapreduce</artifactId> <version>1.1.0</version>
2018-09-17 18:23:07
13006
原创 开源调度系统hello job
Hello Job调度系统系统简介：本系统使用java开发，支持时间调度、作业依赖触发、手工执行三种调度方式。时间调度：底层基于quartz实现，支持cron命令，实现灵活的时间调度方式。作业依赖触发：一个子作业可以依赖多个父作业，一个父作业可以有多个子作业，系统同时做死循环判断，避免作业依赖形成环。手工执行：对任何作业都可以手动触发一次。系统自身并不承担业务逻辑，通过ssh ...
2018-05-19 20:55:31
3393
1
原创 cloudera manager 离线安装cdh hadoop
软件环境:cm 5.6,cdh 5.6 cm 离线安装包下载 http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.9.0/cdh 离线安装包下载 http://archive-primary.cloudera.com/cdh5/parcels/kakfa 离线安装包下载 http://archive.cloudera.com/k
2017-01-18 08:28:37
242
原创 spark streaming 通过zookeeper读取kafka上的数据
maven 依赖如下 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.0.2</version> </dependency> <dependen
2016-12-12 15:29:21
1154
原创 eclipse 导入play2.5 项目
安装sbt下载安装sbt，并且把sbt添加到环境变量 http://www.scala-sbt.org/创建play工程(建议安装activator，使用activator创建新工程，而不是用sbt，点击下载activator1.3) 启动一个终端， 在你所处的目录 创建play scala项目sbt new playframework/play-scala-seed.g8
2016-11-29 08:45:52
842
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人