大数据应用实践
关注
分享
扫一扫
厚厚的小白菜
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
完全分布式部署Hadoop
完全分布式部署Hadoop操作步骤：1. 准备 3 台客户机（关闭防火墙、静态 ip、主机名称）2. 安装 jdk3. 配置环境变量4. 安装 hadoop5. 配置环境变量6. 安装 ssh7. 配置集群8. 启动测试集群 任务： 1.配置集群要求： hadoop201 hadoop202 hadoop203 HDFS DataNode DataNode,SecondaryNa...原创 2019-10-16 19:34:29 · 524 阅读 · 0 评论 -
Storm与Kafka——客户端实现Kafka的消息的生产与消费
eclipse编写Kafka的producer和consumer1.创建项目2.编写项目内容3.运行项目4.报错及处理 这篇文章是本人在学习时为巩固平时所学， 1.创建项目 2.编写项目内容 3.运行项目 4.报错及处理 ...原创 2019-10-10 21:40:12 · 398 阅读 · 0 评论 -
Storm与Kafka——Kafka的安装与使用
Kafka的安装与使用Kafka的安装步骤Kafka操作命令 Kafka的安装步骤 1. 官网下载Kafka 下载地址：http://kafka.apache.org/downloads.html 2. 将Kafka上传到/home/tools目录，解压到/home/softwares目录 [root@storm01 ~]# cd /home/tools/ [root@storm01 tools]...原创 2019-10-09 16:12:54 · 283 阅读 · 0 评论 -
Storm与Kafka——kafka简单介绍
kafka基本介绍Storm与KafkaKafka相关术语介绍 Storm与Kafka Kafka是一种高吞吐的分布式发布订阅消息系统。 基于zookeeper协调。常用于网站日志收集，消息服务等 主要应用场景是:日志收集系统和消息系统。 消息系统介绍: 一个消息系统负责将数据从一个应用传递到另外-个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息...原创 2019-10-09 16:12:08 · 1039 阅读 · 0 评论 -
Maven——本地/Storm集群模式运行第一个helloworld项目
本地/集群运行storm项目1.本地模式a.在D盘创建stormtest目录b.本地运行c.进入D盘查看输出文件2.集群模式a.将maven项目打成jar包，上传到Storm集群主节点storm01的/home/stormjars中b.启动zookeeper集群和storm集群，jps查看进程c.在stormjars目录下提交作业 1.本地模式 a.在D盘创建stormtest目录 b.本地运行 ...原创 2019-09-21 22:52:05 · 693 阅读 · 0 评论 -
Maven——使用eclipse建立maven工程
使用eclipse建立maven工程1.eclipse配置maven1.apache-maven-3.2.1同级目录下新建repository文件夹2.修改配置文件settings.xml3.添加maven环境：Windows-->Preference4.修改依赖的jdk版本，jdk版本必须是1.8以上的2.创建maven项目创建maven工程添加依赖：编写java代码 1.eclipse配...原创 2019-09-21 20:07:08 · 240 阅读 · 0 评论 -
Maven——Windows Maven安装全过程
Maven安装 1.官网下载maven安装包 http://maven.apache.org/download.cgi 1.在D盘新建maven文件夹，将maven安装包解压到该目录 路径： D:\maven\apache-maven-3.2.1 3.配置环境变量 1.系统环境变量新建M2_HOME M2_HOME=D:\maven\apache-maven-3.2.1 2.Path变量加入...原创 2019-09-19 20:43:51 · 236 阅读 · 0 评论 -
Storm0.9.2 集群安装部署3——安装 Storm 集群并启动 Storm
Storm0.9.2 集群安装部署Storm0.9.2 集群安装部署1. 部署环境准备2. 部署 Storm 集群2.1 搭建 Zookeeper 集群2.2 依赖软件安装2.3 安装 Storm 集群2.4 修改 storm.yaml 配置文件2.5 启动 Storm 各后台进程 Storm0.9.2 集群安装部署 1. 部署环境准备 准备过程我已在Hadoop伪分布式安装的安装前准备里提到，...原创 2019-09-21 19:39:14 · 651 阅读 · 0 评论 -
Hadoop伪分布式安装
Hadoop伪分布式安装1. 安装前准备2.伪分布式安装 1. 安装前准备 1.1：安装vm虚拟机 虚拟机名称、用户名、密码均为hadoop 登录时选择other，root用户登录，密码hadoop 1.2：配置网络和IP内存 左上角选择：编辑–>虚拟网络编辑器，选择VMnet8，查看NAT 设置和DHCP设置 记住子网掩码、网关IP，起始/结束IP地址，配置的IP地址需在起始IP地址和...原创 2019-09-20 22:25:21 · 353 阅读 · 0 评论 -
Storm0.9.2 集群安装部署2——Zookeeper 集群安装
搭建 Zookeeper 集群 注意：3个节点都要进行同样的操作，这里只针对一个节点进行说明。 1 进入tools目录，上传zookeeper-3.4.13 [root@storm01 home]# cd tools [root@storm01 tools]# rz 2 解压 zookeeper-3.4.13.tar.gz 到 softwares [root@storm01 tools]# ta...原创 2019-09-20 12:43:40 · 230 阅读 · 0 评论 -
Storm0.9.2 集群安装部署1——Centos6.5的默认python2.6.6版本升级到python2.7.15
安装 Python 2.7.15 Centos6默认python的版本是2.6的，但是现在很多库都需要python版本2.7.15的，所以需要升级版本 1.首先从官网下载python源码包： https://www.python.org/ftp/python/2.7.15/ 2.然后找到该下载包Python-2.7.15.tgz，上传到/home/tools目录，解压到/home/software...原创 2019-09-20 12:25:42 · 226 阅读 · 0 评论