- 博客(59)
- 收藏
- 关注
RSS订阅原创 对SparkRDD的认识
RDD（Resilient Distributed Dataset）是 Spark 的核心数据结构，代表一个不可变、可分区的分布式数据集。RDD 支持并行操作，具备容错性，能够高效处理大规模数据。
2025-12-11 08:21:09
376
原创 sparksql 的函数
Spark SQL 提供了丰富的内置函数，主要分为以下几类：聚合函数用于对一组值进行计算并返回单个结果：字符串函数处理字符串类型数据：日期时间函数处理日期和时间类型数据：数学函数数值计算：条件函数逻辑判断与条件处理：窗口函数基于分区的计算：集合函数处理数组和Map类型：当内置函数不满足需求时，可以注册自定义函数：
2025-12-04 11:24:55
402
原创 DataFrame的交集，并集和差集
当访问的多个字段发布在不同的DataFrame中，需要对两个DF进行连接操作。（3）分组后需要执行多个聚合操作，需要搭配agg方法。2.交集----intersect(相同数据)count---计数（统计数据的条数）（2）如果先分组后，直接做聚合操作。3.差集------except。（2）将缺失值进行默认值的补全。四，重复值和缺失值的处理。avg----求平均值。
2025-10-23 09:37:26
306
原创 HDFS 的常用命令
1.操作命令操作命令是以hdfs dfs开头的命令。通过这些命令，用户可以完成 HDFS 文件的和等操作，的一般格式如下。其中，hdfs是 Hadoop 系统在 Linux 系统中的主命令；dfs是子命令，表示执行文件系统操作；通用选项由 HDFS 文件操作命令和操作参数组成。
2025-05-06 09:17:35
392
原创 web网址复合编辑器.
3.text-transform 字母大小写 全部大写uppercase 首字母小写lowercase 首字母大写capitalize。复合选择器的优先级由它的权重决定，值大有限级高，id=100,类=10，标签=1。5.@font-face 服务器字体。4.font 综合用法（顺序）下载 安装 定义 使用。标签名.class值。1.标签指定（交集）
2025-03-28 10:35:37
198
原创 Web网页
HTML用于结构css用于表现增加了丰富的样式效果，极大满足了开发者的需求选择器；用于指定css样式作用的html对象{}选择某个属性p标签color;本颜色font-size:子属性 字大小字体font-style；字风格【Italic normal】
2025-03-21 09:48:42
231
原创 web文本类标签
标题标签:HTML5提供了6个等级的标题，即<h1>、<h2>、<h3>、<h4>、<h5>和<h6>，从<h1>到<h6>标题的重要性依次递减。
2025-03-05 22:30:01
128
原创 MySQL数据库的数据类型
1字节，范围：-128~127（有符号），0~255（无符号）。适用于状态码、布尔值（MySQL无BOOL类型，用TINYINT(1)代替）。2字节，范围：-32768~32767。适用于小范围ID或计数。3字节，范围：-8388608~8388607。适用于中等范围数据。4字节，范围：-2147483648~2147483647。常用作主键或大计数。8字节，范围极大。用于超大整数如全球唯一ID。查看系统帮助：4字节，单精度浮点数，近似值。适用于科学数据。：8字节，双精度浮点数，精度更高。
2025-03-03 09:38:13
693
原创 HTMLS基本结构及标签
根部标签位于声明部分后，用于告知浏览器这是一个HTML文档。< html>表示文档开始，</ html>表示文件的结束。主体标签定义HTML文档要显示的内容，浏览器中显示的所有文本，图像，音频和视频等信息都必须位于<body>标签内。制作网页时，经常需要设置页面的基本信息如页面的标题\作者等这些标签都在<head>中。声明部分位于文档的最前面，用于向浏览器说明当前文档使用HTML标准规范。头部标签定义HTML5文档的头部信息，紧跟在< html>标签之后。
2025-02-28 11:11:59
468
原创 web网页
静态页面-----HTML（css）超文件表示语言(html/htm)动态页面----.usp混合----交互JS。css做页面内容的样式，表现。用html做页面内容，页面。
2025-02-28 10:00:49
248
原创 linux的理论总结
4.查看文件内容过程有光标上下移动查看文件的是。如果要删除非空目录，需要使用rm命令的。查看文件系统的磁盘分区的文件系统类型。16.文件进行归档的命令 tar。17.用户的基本组和附加组不可以删除。27.查看系统的挂载点 mount。15.UID为10的用户是系统用户。选项来递归地删除目录及其内容。7.查看当前系统的CPU信息。10.查看系统的定时任务。12.查看系统的路由器。14.显示文件的引导配置。8.改变文件所有者的命令。可以查看该目录下的文件。2.删除文件的命令为。5.目录的可读意味着。
2024-12-30 09:19:30
402
原创 linux/centOS7用户和权限管理笔记练习
2.创建用户dsj,指定基本组bigdata,附加组bigdata2,指定home目录为/home/dsj。4.创建用户dsj2,指定基本组为bigdata2,附加组为bigdata,指定uid为2402。12.删除用户dsj和dsj2,删除时同时删除它的主目录。9.从root用户切换到dsj2用户。6.从root用户切换到dsj用户。11.从dsj2用户切换到dsj。1.创建用户组bigdata。8.给dsj2用户添加密码。10.对dsj用户清除密码。13.查看系统中所有的用户。5.查看dsj2用户。
2024-12-11 16:37:49
702
原创 linux/centOS7用户和权限管理笔记
指定创建用户的基本组。如果不指定g，会创建同名组并自动加入，指定g需要组已经存在。指定用户的HOM路径，不指定，HOME目录默认在： /home/用户名。root用户拥有最大的系统操作权限，而普通用户在许多地方的权限是受限的。给用户指定一个UID，要求该UID未被其他用户占用。指定创建用户的附加组。
2024-12-11 09:54:40
610
原创 用户和权限管理
g：指定用户的初始登录组。-G：指定附加组。-u：指定用户的 UID。-s：指定登录shell。创建一个名为newuser的用户，主目录为，初始登录组为users，shell为/bin/bash。
2024-12-10 21:58:58
1406
原创 理解相对路径和绝对路经
相对路径是相对于当前工作目录的路径。它指定了当前位置到达目标文件或目录的路径。特点：依赖于当前工作目录，不同的工作目录下，相对路径可能指向不同的文件或目录。通常更短，因为它们只包含从当前位置到达目标所需的目录名称。可以使用。
2024-12-10 18:16:20
428
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人