Jiewang的博客

Hadoop伪分布式环境配置 JDK配置 JDK版本为jdk1.8.0 1、下载jdk1.8.0.tar.gz文件，并解压文件至/usr/java下 tar –zxvf jdk-1.8.0.tar.gz –C /usr/java 2、对系统环境变量进行配置，编辑器采用sublime文本编辑器 subl /etc/profile 3、对配置文件进行修改，在文件的尾端加入以下代码 4、执行命令，...

Hadoop Streaming框架 Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。 mapper和reducer会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming工具会创建MapReduce作业，发送给各个task tracker，同时监控整个作业的执行过程。 作业脚本 /us...

挺全面的一个整理 https://download.youkuaiyun.com/download/u013095333/11069738

kafka数据处理框架 kafka框架：https://blog.youkuaiyun.com/weixin_40596016/article/details/79164680 kafka 高吞吐量分布式的消息发布和订阅系统，提供一个分布式的，可划分的，冗余备份的持久性的日志服务。主要用于处理活跃的流式数据。 在大数据系统中，经常碰到一个问题，整个大数据是由各个子系统组成，且数据需要在各个子系统中高性能，低延...