- 博客(40)
- 收藏
- 关注
RSS订阅原创 Zookeeper集群部署
组件版本下载地址JDK1.8https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlHadoop2.7.1https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gzZookeeper3.4.5https://archive.apache.org/dist/zookeeper/...
2021-10-20 16:15:35
658
原创 Flink On yarn
1、 下载地址https://archive.apache.org/dist/flink/2、 解压flink[root@master ~]#tar -xzvf /chinaskills/flink-1.10.2-bin-scala_2.11.tgz -C /usr/local/src3、重命名[root@master ~]#mv /usr/local/src/flink-1.10.2 /usr/local/src/flink4、配置环境变量(当前用户)[root@master ~]#
2021-10-19 16:17:56
1212
原创 Flink 集群搭建（standalone）
1、 下载地址https://archive.apache.org/dist/flink/2、 解压flink[root@master ~]#tar -xzvf /chinaskills/flink-1.10.2-bin-scala_2.11.tgz -C /usr/local/src3、重命名[root@master ~]#mv /usr/local/src/flink-1.10.2 /usr/local/src/flink4、配置环境变量(当前用户)[root@master ~]#
2021-10-19 09:47:32
503
原创 hadoop(2.7.7) 完全分布式 + Hive2.3.4
组件版本组件版本下载地址Hadoop2.7.7https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gzJDK1.8https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlFlink1.10.2https://archive.apache.org/dist/flink/fl
2021-10-19 01:03:45
1425
原创 大数据pom文件集
<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <!--scala version-->
2021-10-18 18:01:07
360
原创 win10 安装和使用winscp
winscp的安装和使用**下载地址:**https://winscp.net/eng/download.php1、安装步骤2、连接linux
2021-10-18 14:53:25
586
原创 Flask_HelloWord
使用pycharm运行flask第一个程序代码:from flask import Flaskapp = Flask(__name__)@app.route("/")def hello_word(): return "<h1>hello word!</h1>"if __name__ == '__main__': app.run()运行结果:访问地址: http://127.0.0.1:5000/...
2021-10-13 11:17:02
185
原创 Spark 3.0.3 伪分布式
1、spark 概述Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎Spark Core中提供了Spark的最基础的与最核心的功能Spark SQL是Spark用来操作结构化数据的组件Spark Streaming是Spark平台上针对实时数据进行流式计算的APISpark MLib 是Spark提供一个机器学习算法库Spark GraphX 是spark面向图计算提供的框架与算法Spark 3.0默认使用的scala编译版本为2.122、wordcount案例使用
2021-09-02 09:04:38
639
原创 hive基础操作
文章目录Hive第一章 Hive的基本概念1.1 什么是Hive1.2 Hive的由优缺点1.2.1 优点1.2.2 缺点第二章 Hive操作2.1 Hive 常用交互命令2.2 Hive其他命令操作第三章 Hive的数据类型3.1 基本数据类型3.2 集合数据类型查看某个字段的数据访问数组的内容Map的访问struct的访问3.3 Hive数据类型转换1. 隐式类型转换规则如下2. 可以使用cast操作显示进行数据类型转换**3.对cast有一下几点需要说明的：**第四章 DDL数据定义4.1 creat
2021-07-22 17:10:17
466
原创 Python3教程
1、基础篇1.1 print方法打印print输出方法默认尾部换行代码:print("hello word")print("默认换行")print("不想换行:",end="")print("接着上一行")结果:hello wordhello word默认换行不想换行:接着上一行1.2 数据类型1.2.1 整形（int）int（有符号整型）long（长整型[也可以代表八进制和十六进制]）float（浮点型）complex（复数）代码示例:valueI
2021-07-06 20:55:49
412
原创 python3 正则表达式
python3 re的使用Python 正则表达式的使用python 如何使用正则表达式python 正则表达式案例pythone re 案例
2021-07-04 13:32:37
509
原创 hadoop完全分布式+zookeeper集群+NameNode HA+ yarn HA
hadoop HA 部署，hadoop完全分布式 +zookeeper+HAhadoop namendoe ha 部署hadoop yarn 高可用部署
2021-07-03 18:21:39
1334
1
原创 数据清洗与分析脚本部署
#!/bin/bash# Linux基础环境(数据清洗与分析环境,root用户)echo -e "==========当前环境使用root用户配置=========="username=`whoami`if [ ${username} == "root" ];then echo -e "==========当前使用${username}用户=========="else exit 1fiIP="192.168.222.110"rm -rf /tmp/*echo -e "========
2021-06-20 16:37:23
373
原创 scala编程基础
2.11.01、基础语法1.1 分号分号是表达式之间的分隔符，";"代码:object semicolonDemo { /** *分号是表达式之间的分隔符，“;” */ //1. 末尾的等号表明下一行还有未结束的代码 def equalsign(s: String) = println("equalign:" + s) //2. 末尾的花括号表明下一行还有未结束的代码 def equalsign2(s: String) = { println("
2021-06-20 16:34:31
276
原创 hadoop伪分布式
服务名称版本主机IP地址系统用户名密码hadoop2.7.110.1.1.101centos 7rootpasswordSSH系统自带10.1.1.101centos 7rootpasswordJAVA1.810.1.1.101centos 7rootpassword注:所有安装包都在/h3cu下一、基础配置修改主机名为master,并立即生效[root@localhost ~]# hostnamectl set-host...
2021-06-20 16:30:26
708
原创 hadoop完全分布式+hive+sqoop+hbase+spark+zookeeper
hadoop2.7 完全分布式部署教程hadoop 2.7 + hive 安装部署hive2 的安装部署sqoop 工具的安装spark集群的安装hbase集群部署
2021-06-20 15:40:47
7476
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人