分享技术，传播知识!

大数据学习笔记第3课 基于Yarn的Spark实时计算1、说明2、hadoop单节点运行mapreduce程序3、配置Yarn集群4、使用hadoop Yarn集群运行mapreduce程序5、配置spark6、基于spark运行mapreduce程序 1、说明 本文是在前面2课搭建好的hadoop集群的基础上进行的，如果不熟悉环境请先看前面的2课练习。 《大数据学习笔记第1课 Hadoop基础理论与集群搭建》 《大数据学习笔记第2课 Zookeeper & Kafka集群搭建》 《大数据学习笔记

大数据学习笔记第2课（续） 通过filebeat收集nginx访问日志到kafka集群1、说明2、环境说明3、Nginx安装与配置4、启动一个Mini Http Server处理5000端口的请求5、filebeat下载、配置与安装6、启动filebeat开启日志收集7、通过java程序发送http请求至nginx，使nginx产生访问日志。8、通过java程序模拟kafka消息消费9、结尾 1、说明 本文是接着我的上一篇博文《大数据学习笔记第2课 Zookeeper & Kafka集群搭建》往下写

@[TOC](java实现Kafka消息生产与消费功能实现(This is very easy example)) 1、通过eclipse或者IntelliJIDEA创建一个Maven工程。 2、在pom.xml中添加kafka的依赖，如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http

java实现对hadoop hdfs的基本目录和文件操作 1、首先在eclipse或者IntelliJIDEA中创建一个maven工程。 2、在pom.xml文件中增加hadoop hdfs的操作依赖，如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.o

大数据学习笔记第2课 Zookeeper & Kafka集群搭建1、环境准备2、JDK下载与安装3、kafka下载4、zookeeper与kafka安装5、在hadoop01上启动zookeeper6、在hadoop01、hadoop02、hadoop03上启动kafka7、创建topic8、生产Message9、消费Message10、模拟发送消息至kafka结束语 1、环境准备 1、服务器： 个人笔记本电脑： 型号：小米游戏笔记本15.6 处理器：Intel® Core™ i7-7700HQ C

hadoop文件系统操作java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink问题解决 hadoop集群搭建好之后，迫不及待的想用一下，就把一个文件上传至hdfs中吧，没想到中间报了一个问题，如下： [root@hadoop01 bin]# ./hadoop fs -ls / [root@hadoop01 bin]# ./hadoop fs -mkdir /csdn [root@hadoop01

大数据学习笔记第1课 Hadoop基础理论与集群搭建一、环境准备二、下载JDK三、安装JDK四、下载hadoop五、安装hadoop集群六、打通3台服务器的免密登录七、hadoop集群配置八、hadoop集群初始化九、启动hadoop集群十、hadoop集群第一坑填坑记。结束 最近利用业余时间学习一些大数据的课程，趁周末的时间把学习笔记整理一下，直接上干货吧！ 一、环境准备 1、服务器：三台华为云ECS（都是4核8G） 计算机名 内网IP 备注 ecs-ae8a-0001 192.168.0