- 博客(27)
- 收藏
- 关注
RSS订阅原创 Flink流处理-Redis Connector
环境flink-1.9.0redis-5.0.4单机模式一、需要的依赖<!--flink流处理依赖--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId>...
2019-12-19 18:06:09
4559
原创 Flink流处理-Kafka Connector
环境flink-1.9.0kafka_2.11-0.10.2.0一、需要的依赖说明：flink与kafka版本对应关系即需要根据kafka版本选择对应的连接器，如果kafka版本大于1.0.0可以直接使用通用的连接器，如果版本较低则需要根据kafka版本选择对应版本的连接器。这里使用的是kafka_2.11-0.10.2.0版本。<!--flink流处理依赖--><...
2019-12-19 17:40:35
2509
原创 Flink流处理-HDFS Connector
环境flink-1.9.0hadoop-2.7.3一、需要的依赖<!--flink_java--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version&g...
2019-12-19 16:27:10
1505
1
原创 Flink流处理-DataStream常用Source及Sink
环境flink-1.9.0一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.9.0</versio...
2019-11-26 19:14:00
3766
原创 Flink批处理-DataSet WordCount实例
环境flink-1.9.0测试文件how are youworld and thathello worldjack andapp storm storm whatspark sparkWordCount实例package cn.myclass.batch;import org.apache.flink.api.common.functions.FlatMapFunctio...
2019-11-25 18:03:54
650
原创 Flink批处理-DataSet Transformations转化
环境flink-1.9.0一、需要的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.9.0</version></d...
2019-11-25 17:49:21
470
原创 Flink批处理-DataSet常用Source及Sink
环境flink-1.9.0mysql-5.5一、需要的依赖<--基础依赖--><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>...
2019-11-25 17:14:08
2064
1
原创 Flink-1.9.0 Standalone集群搭建
环境节点ip及映射192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node3这里master为flink主节点其它为子节点搭建步骤1.下载flink通过官网https://flink.apache.org/downloa...
2019-08-30 14:30:46
3901
8
原创 Redis5.0.4 主从架构集群搭建
环境centos7redis-5.0.4 通过redis官方在新版本中提供的redis-cli工具快速搭建集群，3主3从架构 ，主节点端口号:7000，从节点:7001node1 192.168.159.102node2 192.168.159.103node3 192.168.159.104安装步骤在node1上进行示例１.解压安装包tar -zxv...
2019-08-10 18:27:47
629
原创 Windows安装使用netcat
1.下载netcat下载的网址为 https://eternallybored.org/misc/netcat/ 找到netcat1.12，点击下载压缩包2.解压下载的压缩包我这里解压到了E:\netcat下3.配置环境变量使用系统已经配置的环境变量：将程序直接复制到C:\Windows\System32下即可使用，但是这样占用了C盘的空间，如果不想放在C盘需...
2019-07-17 11:28:55
1030
原创 Scala-2.11和Spark-2.3.3的安装
安装环境：centos7hadoop-2.7.3scala-2.11 master,node1,node2,node3spark-2.3.3 master,node1,node2,node3安装Scala-2.111.下载并解压tar -zxvf scala-2.11.8.tgz -C scala-2.11/2.配置环境变量...
2019-06-05 21:19:14
1267
原创 Storm-1.1.3的安装
环境centos7zookeeper-3.4.10storm-1.1.3master节点 nimbusnode1,2,3节点 supervisor安装storm之前必须安装zookeeper安装步骤1、下载并解压下载网址https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache...
2019-06-05 21:02:45
1121
原创 MongoDB（单节点）搭建复制集、分片集及复制+分片
环境Centos7 MongoDB 4.x 单机多实例的方式搭建复制集、分片集、复制+分片复制集简介Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集...
2019-06-05 19:31:55
2349
原创 Kafka-2.11-0.10.2.0的安装
安装环境：centos7hadoop-2.7.3zookeeper-3.4.10kafka-2.11-0.10.2.0 在node1, node2, node3节点上安装安装kafka之前必须安装zookeeper，如果没有安装zookeeper详细见https://blog.youkuaiyun.com/qq_43605654/article/details/90750416一...
2019-06-04 20:00:15
1803
原创 Flume-1.7.0的安装
环境centos7hadoop-2.7.3flume-1.7.0说明：在哪台机器上采集数据就在哪台机器上安装flume，这里只在一个机器上装了flume安装步骤1.解压tar -zxvf apache-flume-1.7.0-bin.tar.gz2.重命名（方便使用）mv apache-flume-1.7.0-bin flume-1.7.0...
2019-06-04 17:27:19
671
原创 Sqoop-1.4.7的安装
环境hadoop-2.7.3mysql-5.7.24sqoop-1.4.7安装步骤1.下载并解压http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传至linux并解压文件tar -zxvf sqoop-1.4.7.bin__hadoop-2.6....
2019-06-04 14:43:19
1233
原创 Hadoop集群动态添加删除节点
环境192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node3新添加192.168.159.105 ssy添加1.首先配置主节点的hdfs-site.xml添加允许和拒绝加入集群的节点列表（如果允许的列表为空默认都允...
2019-06-04 14:29:51
5835
1
原创 计算机操作系统 实验五：动态分区分配方式的模拟
1 ．实验目的了解动态分区分配方式中使用的数据结构和分配算法，并进一步加深对动态分区存储管理方式及其实现过程的理解。2 ．实验内容（1）用C 语言分别实现采用首次适应算法（地址从小到大）和最佳适应算法（空闲块大小从小到大）的动态分区分配过程myalloc() 和回收过程myfree()(即自己编写一个分区分配和释放的函数) 。其中，空闲分区通过空闲分区链来管理；在进行内存分配时，系统优...
2019-06-04 13:54:10
24183
7
原创 计算机操作系统 实验四：进程通信（二）
1 ．实验目的学习如何利用消息缓冲队列进行进程间的通信，并加深对消息缓冲队列通信机制的理解。2 ．实验内容(1) 了解系统调用msgget()、msgsnd()、msgrcv()、msgctl()的功能和实现过程。(2) 编写一段程序，使其用消息缓冲队列来实现父进程和子进程之间的通信。父进程先建立一个关键字为MSGKEY(如75)（即#define MSGKEY 75）的消息队列，...
2019-06-04 13:30:49
9842
原创 计算机操作系统 实验三：进程通信（一）
1 ．实验目的学习如何利用管道机制、共享存储区机制进行进程间的通信，并加深对上述通信机制的理解。2 ．实验内容(1) 了解系统调用pipe()、shmget()、shmat()、shmdt()、shmctl()的功能和实现过程。(2) 编写一段程序，使其用管道来实现父子进程之间的进程通信。子进程向父进程发送自己的进程标识符，以及字符串“is sending a message to...
2019-06-04 13:25:27
18143
3
原创 计算机操作系统 实验二：进程的控制
1 ．实验目的通过进程的创建、撤消和运行加深对进程概念和进程并发执行的理解，明确进程与程序之间的区别。2 ．实验内容(1) 了解系统调用fork()、execvp()和wait()的功能和实现过程。(2) 编写一段程序，使用系统调用fork()来创建两个子进程，并由父进程重复显示字符串“parent:”和自己的标识数，而子进程则重复显示字符串“child:”和自己的标识数。(3...
2019-06-04 13:14:30
13171
3
原创 计算机操作系统 实验一：进程观测
1.实验目的：（1）了解在Linux操作系统中进程的特点和表现形式（2）掌握Linux查看进程的方式与方法（3）在一个进程中创建另一个进程的方法（4）掌握父进程和子进程的关系和fork的用法2.实验内容：（1）编写一个简单的程序，使用ps或top工具观察该进程的的ID号，并使用kill工具终止进程运行。（2）编写一个程序，使用fork函数生成一个子进程，并使用相关...
2019-06-04 12:58:28
3651
1
原创 Mysql-5.7.24和Hive-2.3.0的安装
实验环境：centos7Mysql-5.7.24 使用yum源下载hive-2.3.0只需要在主节点完成即可一、安装mysql1.下载yum源首先查看本机是否有自带数据库，如果有先卸载自带数据库rpm -qa |grep mysqlrpm -qa|grep mariadb删除rpm -e --nodeps mariadb-libs-5.5.6...
2019-06-03 14:11:37
765
原创 使用Shell脚本简化jps,zookeeper,kafka,storm的开启和关闭
1.调用所有节点的jps指令#!/bin/bash#输出提示信息echo "start jps-all.sh..."#设置映射集合hosts="master node1 node2 node3"#循环连接，执行脚本for host in $hostsdo echo "---------$host--------" #连接host主机，调用jps指令 ssh $hos...
2019-06-03 13:40:12
564
原创 Zookeeper-3.4.10和HBase-1.3.0的安装
实验环境：centos7，共四台虚拟机，对应关系如下：master 192.168.159.101 hbase主节点node1 192.168.159.102 hbase子节点 zookeepernode2 192.168.159.103 hbase子节点 zookeepernode3 192.168.159.104 hbase子节点 z...
2019-06-03 13:11:49
601
原创 Hadoop-2.7.3完全分布式集群搭建（Centos7系统）
实验环境Centos7使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode192.168.159.101 master192.168.159.102 node1192.168.159.103 node2192.168.159.104 node31.首先做好准备工作下载好对应的hadoop和jdk版本...
2019-06-03 09:13:52
9195
12
原创 MongoDB查询语句
MongoDB查询语句首先通过循环插入一些测试数据向test集合中插入10条记录for(var i=1; i<=10; i++) db.test.insert({name:“user”+i,age:15+i})1.查询test集合中所有记录db.test.find()2.查询test集合中所有记录的部分字段(age和name字段)db.test.find({},{age:1}...
2019-06-02 21:50:31
3821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人