Allwordhuier的博客

原创 Spark On Yarn 集群搭建

💡 若尚未完成 Hadoop 集群部署，请先参考 Hadoop 集群搭建文档，确保 HDFS 与 YARN 均能正常启动。仅需启动 Spark 历史服务器，用于查看已完成任务日志。Driver运行在提交任务的客户端机器（master），适合调试，日志直接打印控制台。集群搭建完成后，建议按以下步骤验证集群是否真正可用，确保后续任务能正常提交运行。，需通过 YARN WebUI 或 Spark 历史服务器查看计算结果。，说明 client 模式提交成功，Driver 运行在客户端节点。

原创 【C语言程序设计学习】一、C语法基础

类型说明符 变量名;例如，定义一个整型变量aint a;允许在一个类型说明符后定义多个相同类型的变量，各变量名之间用逗号隔开，具体格式为：类型说明符 变量名1,变量名2,变量名3,......类型说明符与变量名之间至少有一个空格；最后一个变量名之后必须以;结尾变量定义必须放在变量使用之前，一般放在函数体的开始部分。浮点型数据也称为实型数据，是带有小数点或指数符号的数值数据，包括浮点型常量和浮点型变量两类。

原创 C程序开发步骤

根据您提供的C程序开发步骤，我将逐步完成案例的实现。您已经详细描述了需求分析和算法设计部分，我将在此基础上补充编写程序的部分，并提供完整的C代码。同时，我会简要提及后续步骤（编译、连接和运行），以确保结构清晰。接下来，将算法转换为C程序代码。C程序的基本结构包括预处理命令和主函数。以下是完整的C程序代码，我会逐部分解释。这个案例完整实现了需求，代码真实可靠。如果您有其他问题或需要修改，请随时提供！

原创 【期末考试总结】spark课程知识点

在安装Scala之前，需要下载、安装并配置好JDK环境所谓匿名函数，就是没有名字的函数，即定义函数时省略函数名称。函数名称使用“=>"来定义，等号左边为函数的参数列表，箭头右边为函数主题（所要实现的功能）。可以把匿名函数给一个变量，然后通过变量名调用该匿名函数。

原创 【Sparksql学习】SparkSql常用函数（DSL+scala）

/ 按 dept 分区，按 salary 降序排序// 按 dept 分区，取当前行前后 1 行（行范围）

原创 【Sparksql窗口函数】综合实例：电商用户消费行为全景分析

该实例覆盖了窗口函数的核心应用场景（聚合、排名、时间序列、行关联），且贴近真实电商业务需求，可直接复用或修改后应用于生产环境。

原创 Spark SQL 窗口函数全面解析：概念、语法与实战案例

Spark SQL 窗口函数通过“分区+排序+窗口范围”的灵活组合，实现了传统聚合函数无法完成的复杂行级计算，同时保留原始数据结构，极大简化了数据分析流程。DSL风格的Scala实现具有类型安全、代码简洁、可扩展性强等优势，更适合复杂业务场景的编程式开发。窗口定义是基础：明确分区、排序、范围三要素，根据业务场景选择合适的组合；函数选择是关键：排名用row_numberdense_rank，聚合用sumavg，行关联用leadlag；

原创 【Spark学习】数据清洗

coalesce是Spark SQL中一个常用的函数，用于从多个列或表达式中返回第一个非空值。该函数在数据处理中非常实用，特别是在处理可能包含空值的数据时。SparkSQL UDF（User Defined Function）允许用户扩展SQL或DataFrame的功能，通过自定义逻辑处理数据。Scala作为Spark的主要开发语言之一，可以方便地实现UDF。

原创 【SparkSql学习】sparksql常用函数

使用正则表达式提取匹配内容。: 返回第一个非空表达式。: 从字符串中提取子串。: 去除字符串两端空格。: 将字符串转为大写。: 将字符串转为小写。: 排名（允许并列）: 检查数组包含元素。: 将数组展开为多行。

原创 【SparkSql编程】一、房屋销售案例数据处理

若字符串格式非标准，需通过formattime。

原创 【大数据应用开发技能大赛】二、离线数据清洗

填充或删除缺失值。// 数值列均值填充// 分类列众数填充（示例列"department"）// 删除全空行。

原创 【大数据应用开发技能大赛】一、离线数据抽取

根据ods.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。3、抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。

原创 【无标题】

7.移动本地linux操作系统下的input.txt到HDFS的/姓名全拼/input/下。8.在本地linux操作系统下的创建input2.txt,输入一些内容。5.将input.txt上传到HDFS的/姓名全拼/input/下。9.将input2.txt追写到HDFS的input.txt中。3.在input目录下创建aaa/bbb/ccc。2.在姓名全拼的文件夹下，创建input目录。11.查看HDFS上input.txt的内容。1.在HDFS的/下创建姓名全拼的目录。

原创 【Linux学习】十六、权限管理

默认情况下，文件/目录的所有者为创建该文件/目录的用户，或文件/目录被创建时指定的用户，但是，通过chown命令可以修改文件/目录的所有者。【案例3】切回root用户，使用数值表示法为/root目录修改所属用户和所属组有读和执行权限，其他用户没有权限。【案例4】使用数值表示法为/root/abc.txt文件修改所属用户有读写权限，所属组和其他用户没有权限。【案例5】将/root目录修改所属主、所属组及其他用户拥有读写执行权限，并递归处理。【案例2】对abc.txt给其他用户添加root目录的写执行权限。

原创 【Linux学习】十五、Linux/CentOS 7 用户和组管理

与 cat /etc/passwd 不同的是，getent passwd 命令可以从不仅限于 /etc/passwd 文件中，还包括其他用户数据库（如 NIS、LDAP 等）中获取用户信息。这些用户是系统中的一般用户，具有交互式登录权限，并且可以根据需要创建、管理和使用文件。服务用户通常没有登录权限，它们的作用是限制服务进程的权限，以增加系统的安全性。与服务用户类似，系统用户的目的是限制其操作范围，提高系统的安全性和稳定性。显示当前登录系统的用户信息，包括用户名、终端、登录时间、运行的命令等。

原创 【Linux学习】十二、vim编辑器练习

1.在/tmp目录下建立一个名为mytest的目录，进入mytest目录(1)进入/tmp目录cd /tmp（2）创建mytest目录mkdir mytest（3）查看是否创建成功ls 或 ls -l（4）进入mytest目录cd mytest2.将/etc/man_db.conf 复制到上述新创建的目录下，使用vim打开该文件（1）将/etc/man_db.conf 复制到/tmp/mytestcp /etc/man_db.conf .(2)使用vim打开该文件

原创 【Linux学习】十一、vim编辑器

所有的Linux系统都会内建vi文本编辑器。Vim具有程序编辑的能力，可以看做是vi的增强版本，可以主动的以字体颜色辨别语法的正确性，方便程序设计。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。

原创 【Linux学习】十、查看文件内容命令

n:显示行号。

原创 【Linux学习】九、文件操作命令（cp mv rm touch）

f:删除文件或目录时不提示用户（有：是否要删除；没有：没有这个文件）-i：删除文件或目录的时候会提示用户（默认）rm - rf 目录。

原创 【Linux学习】八、centos7目录的相关操作命令（ls cd pwd mkdir rmdir）

在linux系统中，用.代表当前目录，用…代表当前目录的父目录，用~代表root用户登录时的主目录。

原创 【Linux学习】七、NetworkManager服务

【代码】【Linux学习】七、NetworkManager服务。

原创 【Linux学习】六、MobaXterm远程连接vmware中的虚拟机

查看网卡的配置信息ifconfig其中，inet为当前虚拟机的ip地址，netmask为当前虚拟机的子网掩码也可以通过ip addr 查看IP地址ip addr。

原创 【Linux学习】五、静态IP地址的配置

分配ip地址的模式是DHCP（动态地分配IP地址和其他相关的网络配置参数）ctrl+c可以停止退出。

原创 【Linux学习】四、Vmware中虚拟机无法连接网络的情况及解决方案

网络连接的开关未打开。

原创 【Linux学习】三、防火墙相关操作

inactive (dead)–>表示防火墙已经关闭。

原创 【Linux学习】二、Vmware中虚拟机的创建

原创 【无标题】

开关未打开。

原创 【Linux学习】一、vmware的安装与卸载

将vmware工具添加到系统PATH中。

原创 Hadoop开发之JavaAPI操作HDFS

在D:\hadoop\maven\apache-maven-3.6.1\conf下用记事本打开settings.xml文件。在pom文件中点击鼠标右键，选择Maven选项----》重新加载项目，点开maven菜单，会看到所需依赖已成功导入。解压到没有中文的路径下，例如我的路径是：D:\hadoop\maven中。在maven文件夹下创建一个名为repo的文件夹，作为本地仓库文件夹。对应的version标签的内容要根据实际的hadoop版本进行调整。点击此电脑—属性—高级系统设置—环境变量。

原创 数据的插入、修改和删除

（1）当字段设置了自增约束时，系统会根据记录的顺序自动生成对应的编号（id）；（2）当字段设置了默认约束时，插入数据的时候，该字段没有赋值，系统会将该字段的值）设置成对应的默认值；（3）当字段没有设置默认值约束和自增约束时，插入数据的时候，该字段没有赋值，系统会将该字段的值设置成null；（4）当字段设置了非空约束时，插入数据的时候，必须给该字段赋值。

原创 数据表的基本操作---创建表、修改表、删除表、查看表

数据库中表的基本操作，包括创建表、修改表、删除表和查看表

原创 Hadoop3.1.4完全分布式集群搭建

在Centos7中直接使用root用户执行hostnamectl命令修改，重启（reboot）后永久生效。要求：三台主机的名字分别为：master slave1 slave2。

原创 Windows系统下mycli的安装

使用Mycli连接Mysql数据库的方法很简单，和Mysql 命令启动基本相同。

原创 数据库基本操作---创建、删除、使用

在MySQL中，数据库可以分为系统数据库和用户数据库两大类。

原创 Mysql8.3.0的安装（保姆级）

由于初始化产生的随机密码太复杂，不便于我们登录mysql，因此，我们应当修改一个自己能记住的密码： alter user ‘root’@‘localhost’ identified by ‘1234’;使用mysql -u root -p进行登录。修改成功后，下次登录就可以用简单密码了。例如：我的路径是在F:\mysql下。下载好压缩包后，对该压缩包进行解压。输入quit即可退出MySQL。输入刚才随机产生的密码。

原创 Java基础---switch语句

default的位置可以随便放，但是它的执行顺序不会变一定是在表达式的值和所有case后面的值都匹配不上的时候才会执行default中的语句体。不会因为default的放置顺序而发生改变【案例】System . out . println("请输入月份：");case 12 : case 1 : case 2 : System . out . println(month + "月是冬天");break;

原创 spark读取mysql中数据并进行数据分析案例---mysql经典50题

spark处理mysql经典50题

原创 zookeeper集群部署

bigdata1、bigdata2 和 bigdata3 三个节点上部署Zookeeper。修改其他两台的myid： 路径：cd /opt/module/zookeeper-3.5.7/zkData/myid235.配置zoo.cfg文件（/opt/module/zookeeper-3.5.7/conf）环境变量：（三台全部配）

原创 idea运行出现：命令行过长。 通过 JAR 清单或通过类路径文件缩短命令 错误

出现图片中的问题如何来解决了？1.点击编辑配置2.点击修改选项3.点击缩短命令行4.选择JAR清单5.点击确定，重新运行程序即可

原创 linux配置环境变量操作失误，导致找不到命令

在执行命令source /etc/profile时，报错，后发现ls，vim等一些基本命令失效。安装完jdk后，配置了错误的环境变量，并执行了“source /etc/profile”命令。/usr/libexec/grepconf.sh:行5: grep: 未找到命令。