- 博客(24)
- 收藏
- 关注
RSS订阅原创 第四部分：Yarn另一种资源协调者
-指定两个ResourceManager的名称为rm1和rm2-->--指定NodeManager获取数据的方式-->--指定Yarn HA的名称为yarn-ha-->--日志保留时间设置为7天-->--指定rm1的主机为hadoop01-->--指定rm2的主机为hadoop02-->--配置ZooKeeper的地址端口-->--开启YARN恢复机制-->--历史服务器Web端地址-->--开启Yarn HA-->--历史服务器端地址-->--开启日志聚集功能-->
2024-11-24 17:46:36
51
原创 第三部分：HDFS分布式文件系统
本次实验请在hadoop04节点上完成实验步骤实验过程步骤1 利用XFTP上传工具将安装包上传到虚拟机中步骤2 进入到对应的传输软件的安装目录，查看软件包是否已经上传成功输出结果，如下图所示步骤3 将安装包解压到指定的安装目录输出结果，如下图所示步骤4 将解压的安装目录进行重命名输出结果， 如下图所示步骤5 配置环境变量输出结果，如下图所示步骤6 刷新环境变量，使新增的环境变量生效步骤7 验证其版本信息输出结果，如下图所示步骤8 配置本机的免密登录第一步 安装公私密钥。
2024-11-24 16:29:09
86
原创 第二部分：ZooKeeper分布式协调服务
snapshot.0：快照文件，记录zookeeper服务器某一个时间点的所有的数据内容。log.200000001：日志文件，每次对zookeeper的数据操作都会记录在此；由此可以看出，此时该小备胎已经完全发挥了备胎的作用，如果不放心的话，可以自行多验证几次。hadoop01-hadoop03节点的zookeeper服务状态。1）上传安装包（在hadoop04节点上进行操作）1）上传安装包（在hadoop04节点上进行操作）5）刷新环境变量文件，使新增的配置文件生效。7）启动zookeeper的服务。
2024-11-19 17:29:25
283
原创 第一部分：Hadoop基础环境搭建
单击“自定义硬件”按钮，打开“硬件”对话框在打开的“硬件”对话框中，选择“新CD/DVD（SATA）”“使用ISO映像文件”处单击“浏览”按钮选择对应的ISO镜像文件，单击“打开”按钮单击“关闭”按钮至此，虚拟机就已经创建成功了。为虚拟机设置root用户的登录密码，此密码至关重要，所以请各位小伙伴设置完成了一定要记得，不要忘记了密码设置密码完成后，单击左上方的“done：创建user用户同理。
2024-11-19 00:56:54
434
原创 二分运算python常见三种模板
不需要后处理，因为每一步中，你都在检查是否找到了元素。如果到达末尾，则知道未找到该元素。查找条件可以在不与元素的两侧进行比较的情况下确定（或使用它周围的特定元素）。用于查找可以通过访问数组中的单个索引来确定的元素或条件。访问当前索引及其在数组中的直接左右邻居索引。访问数组中当前索引及其直接右邻居索引。二分查找的最基础和最基本的形式。
2024-03-31 23:53:46
416
1
原创 迷宫2019年第十届省赛，填空题，题号602
题目描述本题为填空题，只需要算出结果后，在代码中使用输出语句将所填结果输出即可。下图给出了一个迷宫的平面图，其中标记为1的为障碍，标记为0的为可以通行的地方。迷宫的入口为左上角，出口为右下角，在迷宫中，只能从一个位置走到这个它的上、下、左、右四个方向之一。对于上面的迷宫，从入口开始，可以按DRRURRDDDR的顺序通过迷宫，一共10步。其中D、U、L、R分别表示向下、向上、向左、向右走。
2024-02-04 19:49:41
434
1
原创 数据存储作业（豆瓣最受欢迎的影评）
这里我们把网页进行对比，他们的url的网页格式存在规律，[0，20，40，60，80],所以我们可以通过循环来获取全部的网页。需要确定要爬取的网站的URL模式，然后编写程序来循环访问不同页的URL，并提取页面上的内容。这种存储的方式，在以后的所有的爬虫的存储中都比较实用（必须掌握哦）
2023-12-10 17:01:40
374
2
原创 Windows下Spark开发环境的搭建
在安装Spark之前，需要先安装Java。可以从Oracle官网下载Java安装程序，或者使用操作系统自带的包管理器安装Java。进入spark文件夹中的conf中，将spark-env.sh.template复制一份，将文件名修改为spark-env.sh。将Spark的bin目录添加到系统的PATH环境变量中，以便可以在任意目录下运行Spark命令。从Spark官网下载最新版本的Spark，解压到任意目录（我是解压到D盘下)win+R 输入cmd 进入cmd命令行中，输入spark-shell。
2023-12-10 14:26:01
800
1
原创 Pandas中cut函数
在 Pandas 中，cut() 函数用于将连续的数值数据按照指定的区间进行离散化或分箱操作。在 Pandas 中，cut() 函数用于将连续的数值数据按照指定的区间进行离散化或分箱操作。函数返回的结果是一个新的 Series 对象，其中包含了每个数据点所属的区间信息。通过使用 cut() 函数，我们可以方便地将连续的数值数据进行分箱操作，从而方便后续的分析和处理。通过使用 cut() 函数，我们可以方便地将连续的数值数据进行分箱操作，从而方便后续的分析和处理。
2023-11-29 08:10:51
1050
1
原创 NumPy中的mean函数
是一个用于科学计算的Python库，其中包含了大量的数学函数和工具。其中之一就是numpy.mean()函数用于计算给定数组的平均值。它可以处理一维、二维甚至高维数组，并且可以通过指定。函数用于计算给定数组的平均值。它可以接受多种参数形式，并返回计算得到的平均值。函数不仅适用于一维和二维数组，还可以用于高维数组，通过指定axis。参数来沿指定维度计算平均值。参数计算沿指定维度的平均值。
2023-10-14 19:56:27
4173
1
原创 蓝桥杯python-C-第五题-矩形拼接
a.只要有两个矩形的和等于第三个矩形的一边，则最少为六边形（先不讨论一定为六边形的情况）a.有两个矩形边的和等于另一个矩形的边且这两个矩形的另一边相等。排除法：既不为四边形也不为六边形就为八边形（排除法）b.三个矩形都有一条边相等，也为四边形。1.四边形(最少边数)
2023-02-18 20:38:14
680
1
原创 python栈的应用-十进制转二进制
将整数不断除以2，每次得到的余数就是由低到高的二进制位余数。十进制是0～9这十个数字字符，二进制是0、1两个字符。
2023-02-16 22:35:58
789
原创 python栈的实现与应用-1.括号匹配
Python 栈 ，栈是含有一组对象的容器，支持快速 后进先出 （LIFO）的插入和删除操作。与列表或数组不同，栈通常不允许随机访问所包含的对象。插入和删除操作通常称为 入栈 （push）和 出栈 （pop）。现实世界中与栈数据结构相似的是一叠盘子。
2023-02-15 13:35:50
208
原创 蓝桥杯python-B,C-数位排列
后将每个数进行遍历出来进行分析，求和。还是用列表进行存储，将求和的列表m1和m2进行打包转换为字典，后利用sord函数排序，在加入到列表，根据根据索引与所要的值的规则输出。运用遍历将1到n的数放在列表m1里进行存储，数据类型为。.sorted排序，lambda函数。(因为等下要进行位数求和)#仅是本人自己的思路、
2023-02-12 17:28:59
174
原创 蓝桥杯初赛python-C组-第二题-特殊时间
最严格的列出了，就可以让时分组成的一段进行匹配（如月是（01，11），那么时分可以为（01，11）（11，10）（11，01）（10，11）4种。年可以先不进匹配（因为总会有4种方法，所以最后乘以4就可以），先让月日与时分匹配。根据题目的要求，其实我们可以分为三大段，年为一段，月日为一段，时分为一段。所有月日的组合可以是：（01，11）（02，22）03~09月无 （10，11）（11，01）（11，10~19）可以看出年的限制条件最宽松，其次是时，分 限制最严格的是月，日。append()函数。
2023-02-05 10:34:03
350
原创 ACM-Python-[编程入门]结构体之时间设计
ACM-Python-[编程入门]结构体之时间设计解题思路：将每月的天数用列表进行存储，因为闰年比较特殊，有366天。所以先进行判断，再根据month进行切片保留当月之前的月份天数进行遍历相加，最后加上当月天数就可以判断该日在本年中是第几天。
2023-02-03 13:56:04
129
1
原创 Python实现变位词（给定两个字符串 ，编写一个函数来判断它们是不是一组变位词（字母异位词））
Python实现变位词（给定两个字符串 ，编写一个函数来判断它们是不是一组变位词（字母异位词））目前我提供我的三种解法，还有别的方法，欢迎私聊我，有偿买！
2023-02-02 21:55:17
974
1
原创 H1中搜索2021年（年数可修改）365天是否在前5000万位中（Python）
H1中搜索2021年（年数可修改）365天是否在前5000万位中（Python）
2023-02-02 19:08:26
193
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人