上白书妖

知识源于积累,登峰造极源于自律. 整理自己发在博客上的大数据笔记，方便查找。索引持续更新中…大数据开发(基础笔记)LinuxLinux命令收集Hadoop什么是大数据从Hadoop框架讨论大数据生态hadoop组成模块及各模块的简介hadoop组成模块之HDFS分布式存储详解hadoop组成模块之HDFS-HA高可用hadoop组成模块之MapReduce概述MapReduce框架原理之InputFormat数据输入hadoop组成模块之mapreduce的MapTask机制和re

锚定既定奋斗目标，意气风发走向未来。——人民日报在服务器端进行了streamx编译的那文章也说了,我没有flink,hadoop 的配置,所以我重新进行了streamx的源码编译,版本依旧是streamx-1.2.0 稳定版本现在编译的是Flink版本为1.14.3 , hadoop版本为3.1.3.源码编译的前提条件我使用的是maven 3.8.3版本. node js , jdk1.8.3 ,npm.streamx源码编译从官网下载streamx稳定版本官网地址: https://

大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正本文是对大数据学习时使用非root账户的一个更改账户的一个操作,用于模拟非root账户下的更真实的企业大数据模拟环境虚拟环境准备1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP3. 修改主机名4. 关闭防火墙5. 创建atguigu用户6. 配置atguigu用户具有root权限步骤顺序如图所示:一:二:三:四五:

大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正package com.alibaba.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.Test;...

大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正[shangbaishuyao@Hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanodestarting datanode, logging to /opt/module/hadoop-...