左上晨的博客

kettle使用介绍https://www.cnblogs.com/zhangchenliang/p/4179775.html

使用的是kafka 0.11.0.0版本。生产者：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerRecord;...

docker常用命令：关于镜像的：    1. 查看docker版本：docker -verison    2. 拉取镜像：docker pull registry.hub.docker.com/ubuntu:12.04    3. 显示已有镜像：docker images    4. 指定使用镜像启动一个容器：docker run -t -i ubuntu:14.04 /bin/ba...

数据可视化图表，比如折线图、柱状图、多维度分析，可以使用Echarts，教程可以参考：http://www.echartsjs.com/tutorial.html#5%20%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8B%20ECharts...

网站点击流数据分析：1. WEB访问日志，即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据，可以获知许多对网站运营至关重要的信息。采集的数据越全面，分析就能越精准；2. 日志的生成渠道：    1）是网站的web服务器所记录的web访问日志；    2...

大数据学习记录（hadoop hive flume azkaban sqoop）1. hadoop对海量数据进行分布式处理2. 核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编程框架）3. HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具4. HBASE：基于HADOOP的分布式海量数据库5. Mahout：基于ma...

格式化namenode和datanode： hadoop namenode -format hadoop datanode -format-help 功能：输出这个命令参数手册-ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的h...

转载自：https://blog.youkuaiyun.com/mulangren1988/article/details/54860924hadoop 文件系统配置文件按如下查找顺序1. hadoop jar里的hadoop-default.xml2. $HADOOP_CONF_DIR下的hadoop-default.xml3. $HADOOP_CONF_DIR下的hadoop-site.xm...

HDFS的java操作hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件1.1 搭建开发环境1、引入依赖<dependency>    <groupId>org.apache.hadoop</groupId>    <a...

Storm常用命令：    1. 提交任务命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】        bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount    2. 杀死任务命令格...