- 博客(68)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 k8s集群新增节点
2.1 的命令建议Master、node 01、node 02、node 03上同时执行。注意：2.2~2.7的命令仅在node 03上执行，2.1除外，在全部节点同时执行。5.1~5.2的命令，需要在Master、node 01、node 02上同时执行。2.2~2.7的命令，此次仅node 03上同时执行，2.1除外。注意：3.1~3.5的命令仅在node03上执行。3.1~3.5的命令，仅在node 03上执行。4.1~4.4的命令，仅在node03 上执行。仅在node 03节点上操作。
2024-07-13 21:07:34
1778
1
原创 K8s集群搭建
2.1~2.7的命令，需要在Master、node 01、node 02上同时执行。3.1~3.5的命令，需要在Master、node 01、node 02上同时执行。4.1~4.4的命令，需要在Master、node 01、node 02上同时执行。5.1~5.2的命令，需要在Master、node 01、node 02上同时执行。注意：2.1~2.7的命令Master、node01、node02都要全部执行。注意：3.1~3.5的命令Master、node01、node02都要全部执行。
2024-07-02 23:55:42
916
1
原创 word域代码交叉引用合并
只保留首尾两个大括号，删除中间的大括号及其中的内容，在大括号中间添加符号。除首位两端的大括号，其他大括号内添加字符。在每个大括号中间添加符号。
2023-09-18 21:33:44
918
原创 windows本地开发Spark[不开虚拟机]
spark在idea上单机运行，无需windows格式化HDFS，windows本地仅需有JDK、hadoop解压后的文件、scala即可，亦无须连接虚拟机或者云服务器
2023-02-14 14:20:01
914
原创 Scala入门篇(三):函数式编程
1. 函数与方法区别函数方法定义为完成某一功能的程序语句的集合一段子程序类中的函数定义位置函数可以嵌套定义类重写与重载无可以函数参数可变参数 （数据类型后面加*）默认值参数带名参数可变参数与默认值参数不可同时使用参数列表中存在多个参数，那么可变参数一般放置在最后将有默认值的参数放置在参数列表的后面2. 基本语法[修饰符] def 函数名 ( 参数列表 ) [:返回值类型] = { 函数体}private def test( s :
2022-05-29 20:27:47
508
原创 Scala入门篇(二):基本语法（与JAVA对比）
1. 数据类型2. 运算符ScalaJAVA++无√–无√==类似于 Java 中的 equals比较两个变量本身的值，即两个对象在内存中的首地址equals 比较字符串中所包含的内容是否相同Scala 运算符本质在 Scala 中其实是没有运算符的，所有运算符都是方法当调用对象的方法时，点.可以省略如果函数参数只有一个，或者没有参数，()可以省略object TestOpt { def main(args: Array[Strin
2022-05-28 22:23:13
166
原创 Scala入门篇(一):环境搭建与简单使用
1. 下载Scala下载官网地址2. 配置环境变量操作方式变量名变量值新建SCALA_HOMED:\Server\scala添加Path%SCALA_HOME%\bin添加CLASSPATH.;%SCALA_HOME%\bin;%SCALA_HOME%\lib\dt.jar;%SCALA_HOME%\lib\tools.jar.;3. CMD简单使用4. scala文件编译执行cmd使用记事本新建一个 [指定路径的] 文件HelloW
2022-05-28 16:41:59
391
原创 大数据技术原理与应用(一)
本文为个人期末考试复习使用ch01 大数据概述ch02 大数据处理架构Hadoop2.1 配置hadoop2.1.1 免密登录ssh-keygen -t rsa -P ''cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2.1.2 vim $HADOOP_HOME/etc/hadoop/core-site.xmlHadoop Core的配置项，包含HDFS和MapReduce常用的I/O设置<configuration>
2022-05-22 17:56:16
978
3
原创 Spark Core篇（一）
combineByKey 实现 reduceByKeyconf = SparkConf().setMaster("local").setAppName("WordCount")sc = SparkContext(conf = conf)def getSentences(nums): return LoremIpsum().get_sentences(nums)def wordCountApp(data): data = sc.parallelize(data) wor.
2022-05-11 11:24:07
225
原创 SparkSQL篇(一) DataFrame创建
DataFrame对象构成 层面 对象 说明 结构 StructType 描述整个DataFrame的表结构 StructField 描述一个列的信息 数据 Column 记录一列数据并包含列的信息 Row 记录一行数据 DataFrame对象创建people.txt文件内容如下Hichael,29Andy,30Justin,1..
2022-05-09 11:15:19
593
原创 windows平台使用Docker搭建分布式Spark 与 hadoop集群
续前节windows平台使用Docker搭建分布式hadoop集群安装分布式Spark篇1. 运行windows平台使用Docker搭建分布式hadoop集群产生的镜像文件hadoop_centosdocker run -v E:\COURSE\spark:/home -itd --privileged --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:808.
2022-04-28 18:31:08
4546
3
原创 实用linux命令
1. 搜索一个目录及其子目录下文的文件find . -type f -name ""例如: 搜索目录/usrl/local/python3下所有文件名以py4j开头的文件cd /usr/local/python3find . -type f -name "py4j*"2. 统计当前目录下有多少文件ls -l | grep "^-" | wc -l3. 统计当前目录下有多少目录ls -l | grep "^d" | wc -l...
2022-04-27 09:55:38
1289
原创 启动spark与hadoop的三个节点的命令
docker run -v E:\COURSE\spark:/home -it --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:8080 -p 50070:50070 -p 9001:9001 -p 8030:8030 -p 8031:8031 -p 8032:8032 -p 8042:8042 -p 19888:19888 pyspark_hadoop_centos /b
2022-04-26 21:46:37
1261
原创 windows平台使用Docker搭建分布式hadoop集群
先修篇下载Docker可参考该博客的Docker安装安装Docker可能遇到的一些问题可参考该博客的Docker安装问题操作环境windows : 10Docker : 4.7.0将要拉取的镜像 ： centos 7.6.18101. 安装centos 7.6镜像1.1 搜索centos 7.6镜像docker search centos71.2 拉取镜像docker pull centos:7.6.18101.3 验证镜像安装成功docker images.
2022-04-26 18:26:21
6281
10
原创 python 3.7与python 2.7 共存(压缩包)安装
1. 下载python3.7与python2.7安装包python 2.7 百度网盘地址 提取码：8irdpython 3.7 百度网盘地址 提取码：uk3gpython 3.7大是因为pip 安装了好多包1. 解压至目录D:\A本人解压目录为D:\Server2. 配置环境变量2.1 WIN + I ，打开控制面板2.2 点击系统2.3 点击关于2.4 高级系统设置2.52.6 在系统变量中找到Path，并双击打开打开后如下图所示，点击新建2.7 新建变量
2022-04-23 11:25:30
3817
原创 Spark 入门程序 : WordCount
1. Docker 快速部署pyspark只需安装Docker即可1.1 下载镜像docker pull jupyter/pyspark-notebook1.2 启动镜像docker run --name pyspark --rm -p 8888:8888 jupyter/pyspark-notebook或者挂载windows的一个目录亦可docker run --name pyspark --rm -v E:\COURSE\spark:/home/joyan -p 8888:8888 j
2022-04-21 21:18:17
1602
原创 Docker 伪分布式安装 Spark
先修篇博客：docker伪分布式安装hadoop1. 启动容器1. 运行程序docker desktop,并启动容器h01与h022. 打开cmd命令行窗口( WIN + R ，输入cmd , 回车运行即可)3. 在cmd中运行如下命令，以获取container ID(建议复制下ID)docker ps结果回显为：4. 在cmd中运行如下命令（将其中的container ID换为3中得到的container ID）,以获得terminal交互界面由上一步知晓：主机名c.
2022-04-18 19:11:58
1866
原创 使用Docker伪分布式安装hadoop
安装Docker Desktop官网地址下载linux内核更新包(安装好Docker重启之后，会自动提示安装它)官网地址重启计算机后打开docker desktopwin + r 打开 cmd窗口拉取镜像docker pull ubuntu:16:04创建桥接网络(Docker默认使用桥接，此处亦使用桥接)docker network create -d bridge hadoop两种方式替换镜像源挂载本地文件至dockerdocker中直接修改h.
2022-04-16 13:36:04
2633
2
原创 本地windows操作虚拟机中的HDFS(伪分布式)
本文章是配合厦门大学 林子雨 的《大数据技术原理与应用》使用的本篇文章使用的环境如下:虚拟机 ：Ubuntu 18.04 阿里云网盘地址 迅雷网盘地址Hadoop : hadoop 3.3.0 阿里云网盘地址 迅雷网盘地址windows : win 10JDK ： 1.8 强烈建议是1.8 阿里云网盘地址 迅雷网盘地址JDK 已在windows中安装的，且非1.8的, 建议安装两个版本的 JDK (一个原有的，一个1.8)1. 搭建虚拟机中的HDFS参考林子雨老师的博客 （安装 hado
2022-03-20 22:02:27
4979
原创 windows下安装maven
1. maven官网官网地址2. 下载maven压缩包单击Download单击压缩包名超链接3. 解压缩文件假设 解压至目录D:\Server\maven中4. 配置环境变量新建环境变量变量名 ：MAVEN_HOME,变量值 ：D:\Server\maven配置Path编辑path,添加变量5. 验证win + r ,输入cmd,运行后，命令行输入mvn -v6. 设置maven仓库地址编辑D:\Server\maven\conf\setting
2022-03-12 11:01:17
937
原创 通过office部署工具安装office
本教程同样使用于在已安装offic 365的基础之上安装如Project、Visio1. 下载office部署工具微软官网Office Deployment Tool2. 运行Office Deployment Tool工具下载文件后，运行自解压缩可执行文件，其中包含 Office 部署工具可执行文件 (setup.exe) 和多个示例配置文件 (configuration.xml)3. 编辑xml配置文件首先声明，上图中的四个后缀名为xml的文件均为示例文件1. 可选择四个中的一个x
2022-03-06 12:04:33
10471
1
原创 数据分析 课堂 疑问+验证(一)2022.03.02
问题DataFrame索引1. [ ] => 列索引注意：有名称必须使用名称索引import numpy as npimport pandas as pdr = np.randomr.seed(1)df1 = pd.DataFrame(r.randint(1,100,(3,4)) ， index=list('ABC'))df2 = pd.DataFrame(r.randint(1,100,(3,4)) , columns=list('abcd'))print(df1)pr
2022-03-03 09:12:17
175
原创 python 基础篇 :基本类型
一、元组1. ()小括号可以省略 a = 1,2,3 b = (4,5,6) c = (7,) # 只有一个元素时，必须加逗号2. tuple()接受参数列表字符串其他序列类型、迭代器等如果元组只有一个元素，则必须后面加逗号 b = tuple() # 创建一个空元组对象 b = tuple("abcd") b = tuple(range(5)) b = tuple([1,2,3,4,5])二、字符串三、列表四、字典五、集合...
2022-02-26 19:26:16
251
原创 NumPy(Numeric Python)篇
1.创建数组(ndarray)对象方式The n-dimensional array object(1) array()传入参数为列表 np.array([1, 2, 3]) ==> [1 2 3]传入参数为元组 np.array((4, 5, 6)) ==> [4 5 6](2) zeros()传入元组指定形状，传入dtype指定元素类型 z1 = np.zeros((2, 3)) print(z1,z1.dtype,sep='\n')########
2022-02-21 22:17:06
380
OpenCV 4.8.0 所需ffmpeg的动态链接库
2024-04-19
python 2.7 压缩包
2022-05-13
python 3.7 压缩包
2022-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人