珍妮·玛仕多-优快云博客

转载 NameNode的FSImage以及EditLog的简化模型设计

官网原文：https://issues.apache.org/jira/browse/HDFS-1073官网原文PDF：https://issues.apache.org/jira/secure/attachment/12478323/hdfs1073.pdf转载自：tps://www.xuebuyuan.com/1159402.html原文版本很老了，但是模型设计没变。...

2019-05-09 14:20:23 452

转载 Kafka源码分析 Producer客户端

Kafka的Producer新客户端API实现(JAVA)导读本节从新的Producer API示例开始，http://zqhxuyuan.github.io/tags/kafka/原作者kafka源码帖子Producer生产者线程：异步发送消息，提供一个Callback；同步发送消息，则调用Future.get()会Block住直到结果返回。 12345...

2019-04-24 15:53:17 336

此次以beats中的metricbeat(ARM下载地址：https://download.youkuaiyun.com/download/solike8/11120139)为例，之前用相同的方法编译过filebeat（ARM版下载地址：https://download.youkuaiyun.com/download/solike8/10727361），因为一直用的都是6.1.1版本，此次也是，此次编译环境在linu...

2019-04-16 16:21:30 1125

转载 kafka原理总结

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li...

2019-03-27 10:21:35 366

原创 hadoop Native本地库的一系列问题！！！

先说一下哈，我用的是ubuntu 18.04，不过不同系统都是大同小异，解决方法都是一样的，看下去就好了。首先hadoop环境配置走一遍，这个不能错。export JAVA_HOME=/opt/jdkexport JRE_HOEM=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexpor...

2019-03-12 17:24:25 3451

原创 flume使用中的一些常见错误解决办法（不断更新ing～）

一：Caused by: java.net.BindException: 地址已在使用本人用的是44444端口，jps的时候明明没有被占用，怎么会已使用呢？我简单粗暴的使用了一下kill -9 *出现了新的状况黑人问号？？？？原来不是占用端口号的问题ps -aux | grep flume后的情况想必大家有揍人的冲动：附图为了避免一个个的kill，我们需要提取flume的进程号：ps -aux ...

2018-06-28 16:24:58 2788

转载 jdk8 GC之详解CMS收集过程和日志分析

在原文上做了一些理论知识的增加。java--GC Root有哪些常说的GC(Garbage Collector) roots，特指的是垃圾收集器（Garbage Collector）的对象，GC会收集那些不是GC roots且没有被GC roots引用的对象。一个对象可以属于多个root，GC root有几下种：Class - 由系统类加载器(system class loader)加载的对...

2018-06-25 10:47:44 677

原创用eclipse执行spark的一个简单wordcount(java语言)中的一些问题!

首先wordcount代码,其中uaa是存放hadoop工具类的package!package com.lxw.test;import java.util.Arrays; import java.util.Iterator;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import ...

2018-06-01 17:03:30 837

原创 HIve安装及运行遇到的一些问题！

hive基本不需要配置什么，他本身可以找/etc/profile中的HADOOP_HOME与JAVA_HOME本人用的是hadoop2.7.1 hive-1.2.1配置的是分布式集群安装完hive后出现了如下错误root@tarzan:/usr/local/hive/bin# ./hiveException in thread "main" java.lang.NoClassDefF...

2018-05-30 11:25:47 419