- 博客(24)
- 收藏
- 关注
RSS订阅原创 【scala】闭包
/ 闭包是一个能够捕获并记住其定义时所在作用域中变量的函数。* 变量捕获：闭包可以捕获 val（值）或 var（变量）var count = 0 // 闭包捕获并封装了这个状态。* 状态保持：闭包可以维护状态，即使外部作用域已结束。println(add10(3)) // 输出：13。println(add5(3)) // 输出：8。* 独立性：每次创建闭包都会创建独立的环境副本。
2025-12-26 14:50:47
196
原创 【hive】面试必备
Hive处理空值（null）的方式确实是通过使用特定的字符序列来表示，其中默认的表示null值的字符序列是"\N"（反斜杠加大写的N）。窗口函数可以在SELECT语句的OVER子句中指定，并可以对数据集中的每行进行计算，同时还可以访问行之间的关系。外部表：删除外部表时，Hive仅删除表的元数据，而表中的数据仍然保留在HDFS上的原位置。不同的文件格式（文本文件、ORC、Parquet等）在存储和处理null值时的效率和方法可能不同，选择合适的存储格式可以优化存储效率和查询性能。
2025-12-25 17:32:51
623
原创 【Scala】开发面试指南
引言：Scala是一种功能强大的编程语言，结合了面向对象编程和函数式编程的特性。它广泛应用于大数据处理、Web开发和分布式系统等领域。本文将为您提供一份Scala开发面试指南，帮助您在面试中展示自己的技能和知识。一、基础知识1，Scala是什么？它的特点是什么？主要特点：静态类型系统：支持类型推断，减少代码冗余函数式编程：支持高阶函数、不可变数据、纯函数面向对象：一切皆对象，支持特质（trait）、混入（mixin）并发友好：Actor模型（通过Akka）、Future/Promise。
2025-12-07 22:45:24
740
原创 【Spring Boot】nacos注册服务IP错误的解决方案
摘要：Spring Boot服务注册到Nacos时出现IPv6地址问题，原因是多网络接口导致IP选择偏差。解决方案包括：1）在配置中直接指定有线网络IPv4地址；2）设置优先网络段（如192.168或10.0）；3）指定有线网卡名称。这些方法可确保服务使用正确的IPv4地址注册到Nacos。
2025-11-27 10:29:21
170
原创 spring cloud中的【post请求和get请求】
在 Spring Cloud 微服务架构中，GET 和 POST 是两种最核心的 HTTP 请求方法，它们有明确的职责划分，理解其区别对设计稳健的 API 至关重要。下表为您快速梳理了它们的核心差异。|特性|GET 请求|POST 请求|功能定位|获取/查询数据|创建/提交数据数据传递|参数拼接在 URL 后|参数放在请求体 (Body) 中安全性|参数在地址栏可见，不安全|参数在 Body 中，相对安全幂等性|幂等|非幂等。
2025-11-24 14:26:30
368
原创 Python数据开发【面试记录】
本文摘要涵盖了数据开发工程师的核心技能和工作经验。主要内容包括：1) 自我介绍突出X年数据分析经验，掌握Python/SQL/Spark等技术栈；2) Python基础知识（数据类型、拷贝机制、迭代器等）；3) 数据库优化与云数据库对比；4) 大数据处理方案（多线程/进程、内存优化等）；5) 文件解析与运维经验；6) 对加班的务实态度。文章展示了从数据采集到分析的全流程开发能力，同时提供了多个Python代码示例说明技术实现细节。
2025-11-22 13:04:17
17
原创 【数据处理平台】各服务版本-亲测无误
本文摘要记录了主要大数据组件的版本信息：Hadoop 3.3.6(2023年编译)、Hive 3.1.2(2020年编译)、Spark 3.3.0(Scala 2.12.15)、Java 1.8.0_312、Scala 2.12.11以及MySQL 8.0.42。所有组件均运行在Linux aarch64平台上，构成了一套完整的大数据技术栈。其中Hadoop和Hive均为社区版，MySQL为社区服务器版，Java使用OpenJDK Bisheng版本。
2025-11-14 17:33:33
208
原创 【Dolphinscheduler】工作流实例-任务实例数据清理
2、从一下两个表，进行清理，使用ID关联，即可链接起来任务名称和工作流实例。1、dolphinscheduler任务实例清理，直接从源数据库删除。
2025-11-14 17:11:58
192
原创 【Dolphinscheduler】DS资源中心上传比较大的文件内存溢出
修改文件：apache-dolphinscheduler-3.1.9/bin/env/dolphinscheduler_env.sh，添加以下内容。
2025-11-06 15:47:04
193
原创 apache superset安装及部署
Apache Superset 安装部署指南：通过Docker下载官方latest镜像(3.73GB)或指定版本镜像；使用openssl生成SECRET_KEY后启动容器并映射端口；进入容器执行初始化命令(创建管理员、升级数据库、初始化)；配置superset_config.py设置密钥和语言选项(支持中英文切换)。注意汉化版4.1.2镜像可用，最新版汉化可能不完整。包含构建翻译文件的方法和数据库驱动安装步骤。
2025-10-24 15:03:33
337
原创 Spark的安装
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2025-10-09 22:15:18
503
原创 【无标题】hive 分组排序
数据集：按照id和name分组排序（去重）：select a.id, a.name, a.address, a.row_numberfrom( select *, row_number() over (partition by id,name order by name desc) as row_number from dmp_dws_prd.test) a;查询结果如下：最终结果：...
2021-12-19 13:12:04
910
原创 Win10下python3和python2同时安装并解决pip共存问题
特别说明，本文是在Windows64位系统下进行的，32位系统请下载相应版本的安装包，安装方法类似。使用python开发，环境有Python2和 python3 两种，有时候需要两种环境切换使用，下面提供详细教程一份。1、下载python3和python2进入python官网，链接https://www.python.org/选择Downloads—>Windows，点击进入就可以看到寻找想要的python版本本文选择的是：Python3.5.2,点击后面链接可直接下载，https://
2020-07-18 19:59:58
292
原创 MySQL安装（master节点）
MySQL安装（master节点）检查是否已经安装mysql（两种方式）[root@master ~]# rpm -qa | grep mysql[root@master ~]# yum list installed | grep mysqlcentos 7 下需要删除mariadb检查：[root@master ~]# rpm -qa | grep mariadb删除如下：强制...
2020-04-25 22:33:46
791
原创 【环境安装】python操作zookeeper.md
【环境安装】python操作zookeeper.md环境名称 版本centos 7python 2.7.5zookeeper 3.4.10安装步骤首先，安装要依赖的zookeeper的c的客户端。cd path/zookeeper/src/c./configure如果有以下报错信息：(py2) [root@master c]# ./configurechecking fo...
2020-04-25 16:17:25
699
原创 【python库安装】centos7 快速安装matplotlib.md
【python库安装】centos7 快速安装matplotlib.mdTips可以通过yum search matplotlib安装，迅速便捷~~~步骤第一步yum search matplotlib返回结果：[root@master roi_auc_test]# yum search matplotlib已加载插件：fastestmirror, langpacksLoad...
2020-04-25 16:14:17
304
原创 Running as root is not recommended. Use --allow-root to bypass.
Running as root is not recommended. Use --allow-root to bypass.1、首先查看配置文件位置，输入：# jupyter notebook --generate-config --allow-root2、接下来打开配置文件：# gedit /root/.jupyter/jupyter_notebook_config.py3、找到"#...
2020-04-17 21:08:39
2910
原创 远程访问windows中VMware Workstation Pro里面的Linux系统中Jupyter Notebook应用（Linux虚拟机）
远程访问windows中VMware Workstation Pro里面的Linux系统中Jupyter Notebook应用（Linux虚拟机）1、在 Linux 环境下 安装Anacond3 后，通过 jupyter notebook --allow-root 命令启动 Jupyter， 运行结果如下图：2、稍后自动弹出Firefox浏览器，显示Jupyter的登录界面：3、Jupyt...
2020-04-15 21:06:03
385
转载 Python中日期、时间的运用
Python中日期、时间的运用date、time和datetime一、简介 我们在编写代码时，往往涉及到时间和日期的运用。时间日期又是一种特有的格式（<class ‘datetime.datetime’>），这种格式不像我们常见数据格式容易操作，在使用的时候有诸多不便。例如我们想改变它的显示样式，或者按照一定的年、月等特性进行分类。但是我们可以对datetime进行格式转换后操...
2020-03-14 23:48:14
391
原创 pip安装selenium报错：Read timed out，处理办法
pip安装selenium报错：Read timed out使用命令：pip install selenium重新安装依然报错，报如下错误：raise ReadTimeoutError(self._pool, None, ‘Read timed out.’)pip._vendor.requests.packages.urllib3.exceptions.ReadTimeoutError...
2020-03-05 22:02:31
1972
原创 pip_基本使用
Python pip 安装与使用pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。一般情况 pip 对应的是 Python 2.7，pip3 对应的是 Python 3.x。pip 官网：https://pypi.org/project/pip/你可以...
2020-03-05 21:54:00
309
转载 pip升级时下载总是失败；
Pip升级时提示错误：修改方式，加个"–user"即可。python -m pip install --user --upgrade pip
2020-03-05 20:04:41
366
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人