Azoner的博客

原创 flink的多种部署模式

这两个人都做过这个项目下的大屏，再来了新的数据新的大屏任务，两个人都能做。- standalone-一个集群跑多个任务，手动分配集群整个的资源，启动起来就已经固定了。- 每次提交的job都会创建一个独立的作业执行环境，该作业执行环境仅用于通过客户端提交上来的特定的那个作业。- application-一个任务(作业/应用(同时提交、有依赖关系的多个作业))起一个集群 （提交作业后建立集群）- 如果处理的数据量大，把一个算子操作复制到多个节点，数据来了后可以到任意一个节点执行。

原创 开源组件kettle的安装与使用

Kettle(Pentaho Data Integration) 下载安装&使用介绍/功能汇总-优快云博客

原创 开源组件hive页面安全问题

ss -ntpl。

原创 开源组件hive调优

第一个表中的table_a和第二个表中的table_b的临时结果数据连接结果记录为tmp_a_b，当它与第三个表连接时，hive-3.0.0后默认创建的表的 bucket_version=2，临时数据tmp_a_b初始化了 bucketVerison=-1，然后连接了 ReduceSinkOperator Verketison=-1。在dolphinsscheduler对应的数据库中，查询t_ds_task_definition_log、t_ds_task_definition表。定时挂断自起（临时）

原创 ai学习--五.深度学习-数学基础1

原创 ai学习--python部分-1.变量名及命名空间的存储

变量值一定是有存储地址分配的（动态/静态分配），变量名根据语言类型的不同，静态类型编译后消失所以无法运行时获取-无存储，而动态类型会在命名空间中作为键存在，能够通过字典间接访问-存储在堆内存

原创 软考高级-系统设计架构师-计算机部分1操作系统

本文摘要主要介绍了操作系统中的关键概念和考点。进程管理部分详细解析了进程的三态模型（运行、就绪、阻塞）和五态模型（增加创建和消亡状态），并讨论了进程状态之间的转换条件。此外，文章还提到了前趋图、信号量与PV操作、段页式存储管理、索引文件管理等高频考点，以及作业管理、设备管理、微内核操作系统和嵌入式操作系统等相关内容。这些知识点是操作系统学习中的重点，尤其前趋图、信号量与PV操作、段页式存储管理是高频考点，需重点掌握。

原创 软考高级-系统设计架构师高频考点速记

以下是针对软考高级-系统架构设计师考试的高频考点速记手册，按考试大纲和历年真题整理，覆盖选择题、案例分析和论文的核心考点，助你高效冲刺！• 阿姆达尔定律：加速比 = 1 / [(1-P) + P/N] （P：并行比例，N：处理器数）"分层解耦，微服务拆家，事件发邮件，CQRS读写分家，Serverless用完即走。"K8s管容器，Mesh管通信，Serverless不管服务器。"CP保数据，AP保服务，SAGA长事务，TCC短事务。"索引不加函数，事务看需求，分库分表看数据量。

原创 没有输出任何信息就直接退出的问题排查

在linux执行命令没有输出任何信息就直接退出

原创 软考高级--案例分析

原创 系统安全分析与设计

安全

原创 软件架构设计习题及复习

软考高级

原创 软考高级-软件系统架构师-03软件架构设计（重点）

软考高级-软件系统架构师-03软件架构设计（重点）

原创 软考高级-软件系统架构师-02-软件工程（重点）

软件开发方法经典以及常考方法有：结构化、面向对象、面向服务和原型化，其中前三种有区别和联系，原型化具有特殊性一般在需求设计阶段就...

原创 软考高级-软件系统架构师-01-考试介绍与考点分布

软考高级软件系统架构师知识点讲解

原创 mysql部署(5.7.31)

下载地址：因为系统是Kylin Linux Server V10，底层是centos7，所以选择下面版本。

原创 hdfs balancer 指定节点做负载均衡

指定在datanode sdw4,sdw7,sdw8节点间做负载均衡，允许数据量相差5% 注意 最好是找一个datanode节点执行hdfs balancer命令。 常用参数：- policy 指定负载均衡是在datanode之间还是内部；-threshold是负载均衡单位间允许多少数据量差异；-include在哪些节点间执行（exclude不在哪些节点间执行）；-source指定把哪个节点数据减少（给另外的节点） 执行结果

原创 postgresql安装部署（linux）

第一部分是用自带的配置文件自动部署，在执行./configure时会报错依赖缺失，解决方法就是缺什么依赖从yum源search->install相关依赖。第二部分是创建一个linux用户来。以上代码块即所有的部署代码。

原创 常用sql--连续天数问题

在有过滤条件的情况下，时间不连续，则会发生以下两种情况。找一个基准时间相减再减窗口函数row number。

原创 hadoop+hive集群运维常用命令

其他端口是dolphinscheduler发起的，来连接hiveserver2的10000端口。5.找到端口被什么进程发出。

原创 hadoop3.1.3+hive3.1.2+dolphinscheduler2.0.6使用问题

第一个表中的table_a和第二个表中的table_b的临时结果数据连接结果记录为tmp_a_b，当它与第三个表连接时，hive-3.0.0后默认创建的表的 bucket_version=2，临时数据tmp_a_b初始化了 bucketVerison=-1，然后连接了 ReduceSinkOperator Verketison=-1。否则，将获得哈希的旧算法。但是，如果Hive客户端异常终止，可能会导致Hive作业的临时或中间数据集无法清理，从而导致Hive作业临时目录占用大量的HDFS空间。

原创 数据仓库SQL编码规范

业务域中文名业务域命名业务域命名（缩写）命名示例浙二浙江省第二人民医院zher余杭余杭区卫健委yhwjw桐庐桐庐卫健委tlwjw余杭区第一人民医院余杭区第一人民医院yh1数据域中文名数据域命名数据域命名（缩写）命名示例门诊outpatientoutp住院inpatientInp检验LisLis检查risRis病案Mrsmrs电子病历Emremr费用Feefee随访followupfollowup。

原创 python合并excel文件数据--1.复杂版（自定义后合并）

2.自定义读到的excel并合并到新的excel文件中。

原创 python合并excel文件数据--1.简单版（直接合并）

if i == 1:#可以自定义新的数据列加进dfdf['所在地'] = df.iloc[0,0]df['文件名'] = file_nameprint(f"合并了第{i}个文件: {file_name}")

原创 python遍历文件夹及子文件夹下所有文件并复制到同一文件夹下

3.将文件复制到根目录路径下，并命名新文件名。2.将新文件名放到excel_files中。1.获取路径+文件名构建新文件名。

原创 常用sql语句--计算周岁

两种常用方式（根据身份证号计算）

原创 jar包的概念及作用(二）运行jar包、查看jar包内容

反编译的结果可能不会完全还原原始的源代码，因为一些信息可能在编译过程中丢失或被优化。此外，反编译的源代码可能不完全可编辑或可理解，特别是如果原始代码经过混淆或加密处理。需要强调的是，反编译 JAR 包的行为可能违反软件的许可协议或法律规定。如果你对 JAR 包的源代码有特定的需求，最好的做法是与软件的开发者或所有者联系，以获取合法的源代码或支持。执行`jar`包后，根据`jar`包中的代码逻辑，可能会出现不同的结果。此外，如果`jar`包需要特定的依赖或配置，可能还需要满足其他要求。拖到界面，即显示代码。

原创 一个后台登录的拦截器

2.写第一个方法（1.预检请求，是则直接放行，不是则是正式请求2.要走取token在redis里验证，取出写入threadlocal,将redis的用户信息的过期时间延长三十分钟，放行）3.拦截器注册：写死对哪个路径拦截哪个不拦截（在原本写的配置类里面，注进拦截器的类@Autowired,有两个方法 excluede不拦截add需要拦截）(有三个方法，分别在方法调用前后执行以及所有完成后执行的，我们用第一和第三个@override）写第三个方法（删除threadLocal)

原创 mysql死锁问题解决

找到这张表的进程id，将sleep的，或者所有的id都kill掉（先试试只kill sleep的是否解开死锁）。查找到表a的in_use>0确定了表a确实被死锁（有点废话，此步骤可以跳过）。

转载 linux下centos7 pgadmin4的安装部署

此处需注意，pgadmin是基于python3的（CentOS7默认是python2.7版本），在安装pgadmin4-web的过程中，会安装其依赖的python36版本，如果觉得官方软件源安装太慢，建议先行修改本地系统的yum源，包括【base源、epel源】；安装完成后，会在/etc/yum.repos.d/目录下，生成一个pgadmin4.repo文件，确认此文件存在即可。注：其中python3.6及各个库，是安装pgAdmin时，依赖安装自EPEL的；这一节，官文也没有交待清楚，自己摸索了好久。

原创 构造函数的作用和创建

主要用来在创建对象时完成对对象属性的一些初始化等操作, 当创建对象时, 对象会自动调用它的构造函数。", 默认构造函数不能完成对象数据成员的初始化, 只能给对象创建一标识符, 并为对象中的数据成员开辟一定的内存空间。当用户没有显式的去定义构造函数时, 编译器会为类生成一个默认的构造函数, 称为 "■ 给创建的对象建立一个标识符;■ 为对象数据成员开辟内存空间;■ 完成对象数据成员的初始化。

原创 写一个Java项目需要具备的基础知识

私有化后，如果没有get\set方法，实例化也不能获取属性。公有化，实例化后就可以获取属性。私有化，防止其他类实例化此类。

原创 mysql实现rank()排序功能

在MySQL中，不存在类似于SQL Server或Orcal等中的rank()函数来得到排名；所以我们需要手动地写这个rank功能。看我给大家手撸个MySQL rank()函数，来自于。

原创 windows10改hive源码

我用的maven版本是3.6.3，据说3.5.4以上的版本很多都会有这个问题，我把版本降低到了3.5.3，问题完美解决。列如：Unable to process Jar entry [module-info.class]\。我们只需要去.m2中的maven仓库里找到后面报错的jar包，然后用压缩文件工具打开，删除里面的。有一个关于tomcat的报错。

原创 windows10环境下编译hive3.1.2源码

windows10的环境下编译hive3.1.2的源码参考官方的开发指南（链接如上），只更新到hive2.x，尝试使用hive2.x的命令编译成功。

原创 带你快速认识并使用docker

镜像库(下下来别人定义好的镜像用)/dockerfile(自定义镜像用)->镜像->容器。

原创 如何快速编写dockerfile--以nginx为例

运行容器后，生成的页面显示“恭喜你晋级docker黄金段位”。通过编写dockerfile,构建nginx镜像。有些版本的文件名必须是Dockerfile。

原创 dolphinscheduler调度常见问题

问题一：每日调度随机出现以下报错，但可通过多次重试执行成功 两种报错： TTransport:SocketTimeout:Read time out SQL task prepareStatementAndBind 分别对应以下bug [Bug] [Task] SQL task prepareStatementAndBind error · Issue #10540 · apache/dolphinscheduler · G

原创 hadoop常用linux命令

3.查看hdfs文件夹下文件按时间顺序排序。1.查看hdfs上文件夹下文件的个数。2.查看hdfs上文件夹下文件的大小。

原创 常见数据同步工具的对比

离线批量数据同步工具---datax的配置，用来进行全量和增量数据的采集