- 博客(18)
- 收藏
- 关注
RSS订阅原创 完全分布式部署Hadoop
完全分布式部署Hadoop操作步骤：1. 准备 3 台客户机（关闭防火墙、静态 ip、主机名称）2. 安装 jdk3. 配置环境变量4. 安装 hadoop5. 配置环境变量6. 安装 ssh7. 配置集群8. 启动测试集群 任务： 1.配置集群要求： hadoop201 hadoop202 hadoop203 HDFS DataNode DataNode,SecondaryNa...
2019-10-16 19:34:29
609
原创 Storm与Kafka——客户端实现Kafka的消息的生产与消费
eclipse编写Kafka的producer和consumer1.创建项目2.编写项目内容3.运行项目4.报错及处理 这篇文章是本人在学习时为巩固平时所学， 1.创建项目 2.编写项目内容 3.运行项目 4.报错及处理 ...
2019-10-10 21:40:12
445
原创 Storm与Kafka——Kafka的安装与使用
Kafka的安装与使用Kafka的安装步骤Kafka操作命令 Kafka的安装步骤 1. 官网下载Kafka 下载地址：http://kafka.apache.org/downloads.html 2. 将Kafka上传到/home/tools目录，解压到/home/softwares目录 [root@storm01 ~]# cd /home/tools/ [root@storm01 tools]...
2019-10-09 16:12:54
332
原创 Storm与Kafka——kafka简单介绍
kafka基本介绍Storm与KafkaKafka相关术语介绍 Storm与Kafka Kafka是一种高吞吐的分布式发布订阅消息系统。 基于zookeeper协调。常用于网站日志收集，消息服务等 主要应用场景是:日志收集系统和消息系统。 消息系统介绍: 一个消息系统负责将数据从一个应用传递到另外-个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息...
2019-10-09 16:12:08
1101
原创 Maven——本地/Storm集群模式运行第一个helloworld项目
本地/集群运行storm项目1.本地模式a.在D盘创建stormtest目录b.本地运行c.进入D盘查看输出文件2.集群模式a.将maven项目打成jar包，上传到Storm集群主节点storm01的/home/stormjars中b.启动zookeeper集群和storm集群，jps查看进程c.在stormjars目录下提交作业 1.本地模式 a.在D盘创建stormtest目录 b.本地运行 ...
2019-09-21 22:52:05
760
原创 Maven——使用eclipse建立maven工程
使用eclipse建立maven工程1.eclipse配置maven1.apache-maven-3.2.1同级目录下新建repository文件夹2.修改配置文件settings.xml3.添加maven环境：Windows-->Preference4.修改依赖的jdk版本，jdk版本必须是1.8以上的2.创建maven项目创建maven工程添加依赖：编写java代码 1.eclipse配...
2019-09-21 20:07:08
291
原创 Storm0.9.2 集群安装部署3——安装 Storm 集群并启动 Storm
Storm0.9.2 集群安装部署Storm0.9.2 集群安装部署1. 部署环境准备2. 部署 Storm 集群2.1 搭建 Zookeeper 集群2.2 依赖软件安装2.3 安装 Storm 集群2.4 修改 storm.yaml 配置文件2.5 启动 Storm 各后台进程 Storm0.9.2 集群安装部署 1. 部署环境准备 准备过程我已在Hadoop伪分布式安装的安装前准备里提到，...
2019-09-21 19:39:14
750
原创 Hadoop伪分布式安装
Hadoop伪分布式安装1. 安装前准备2.伪分布式安装 1. 安装前准备 1.1：安装vm虚拟机 虚拟机名称、用户名、密码均为hadoop 登录时选择other，root用户登录，密码hadoop 1.2：配置网络和IP内存 左上角选择：编辑–>虚拟网络编辑器，选择VMnet8，查看NAT 设置和DHCP设置 记住子网掩码、网关IP，起始/结束IP地址，配置的IP地址需在起始IP地址和...
2019-09-20 22:25:21
398
原创 Storm0.9.2 集群安装部署2——Zookeeper 集群安装
搭建 Zookeeper 集群 注意：3个节点都要进行同样的操作，这里只针对一个节点进行说明。 1 进入tools目录，上传zookeeper-3.4.13 [root@storm01 home]# cd tools [root@storm01 tools]# rz 2 解压 zookeeper-3.4.13.tar.gz 到 softwares [root@storm01 tools]# ta...
2019-09-20 12:43:40
288
原创 Storm0.9.2 集群安装部署1——Centos6.5的默认python2.6.6版本升级到python2.7.15
安装 Python 2.7.15 Centos6默认python的版本是2.6的，但是现在很多库都需要python版本2.7.15的，所以需要升级版本 1.首先从官网下载python源码包： https://www.python.org/ftp/python/2.7.15/ 2.然后找到该下载包Python-2.7.15.tgz，上传到/home/tools目录，解压到/home/software...
2019-09-20 12:25:42
275
原创 Maven——Windows Maven安装全过程
Maven安装 1.官网下载maven安装包 http://maven.apache.org/download.cgi 1.在D盘新建maven文件夹，将maven安装包解压到该目录 路径： D:\maven\apache-maven-3.2.1 3.配置环境变量 1.系统环境变量新建M2_HOME M2_HOME=D:\maven\apache-maven-3.2.1 2.Path变量加入...
2019-09-19 20:43:51
283
原创 我的第一个Android项目，Hello World!
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表创建 Android 项目 欢迎使用Markdown编辑...
2019-08-13 14:30:03
452
原创 文本情感分类——2019大数据挑战赛预选赛题
预选赛题 预选赛题——文本情感分类模型 本预选赛要求选手建立文本情感分类模型，选手用训练好的模型对测试集中的文本情感进行预测，判断其情感为「Negative」或者「Positive」。所提交的结果按照指定的评价指标使用在线评测数据进行评测，达到或超过规定的分数线即通过预选赛。 比赛数据 数据样本格式： NO 列名 类型 字段描述 1 ID int 文本唯一标识 2 review...
2019-06-18 16:00:15
1620
转载 Linux教程+操作系统教程
. Linux入门教程 http://c.biancheng.net/cpp/linux/ 基础教程 Linux简介Linux文件管理Linux目录Linux文件权限和访问模式Linux环境变量Linux打印文件和发送邮件Linux管道和过滤器Linux进程管理Linux网络...
2019-05-10 21:52:26
6823
8
原创 数据结构练习：进制转换——采用顺序存储结构实现栈，栈的初始化与插入操作
//此代码只实现十进制转换为二进制 #include<stdio.h> #include<math.h> #include<stdlib.h> #define OK 1 #define ERROR 0 #define TRUE 1 #define FALSE 0 typedef int Status; ty...
2018-12-28 09:20:36
1391
原创 数据结构练习：求两个集合的并集——用数组创建链表（尾插法建表）
1．集合合并 描述：已知集合A与集合B，且第个集合内数据是唯一的。求A，B集合合并成新的集合C，要求C集合内的数据也是唯一的。并指出C集合的个数。 输入：三行，第一行分别为集合A，B的个数 第二行为A集合的数据 第三行为B集合的数据 输出：两行 第一行集合C的个数 第二行为C集合的数据 样例输入 4 5 12 34 56 78 34 67 89 34 76 样例输出 7 12 34 56 78 67 89 76
2018-12-28 08:58:39
3149
1
原创 数据结构练习：约瑟夫问题——循环链表的建立与使用
1．约瑟夫问题 描述：有n只猴子，按顺时针方向围成一圈选大王（编号从1到n），从第1号开始报数，一直数到m，数到m的猴子退出圈外，剩下的猴子再接着从1开始报数。就这样，直到圈内只剩下一只猴子时，这个猴子就是猴王，编程求输入n，m后，输出最后猴王的编号。 输入：输入包含两个整数，第一个是n，第二个是m (0 < m,n <=300)。 输出：输出包含一行，即最后猴王的编号。 ...
2018-12-23 18:53:48
915
原创 质数（素数）的判断
#include "stdafx.h"#include<stdio.h>#include<math.h>int isPrime(int n){ if(n<2) return 0;for(int i=2;i<=sqrt(n);i++){ if(n%i==0) return 0;}return 1;}int main(int ar...
2018-07-12 23:51:32
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人