锦衣当国-优快云博客

原创 flink部署

YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。而这也就代表着，我们需要为每一个提交的应用单独启动一个JobManager，也就是创建一个集群。这个JobManager只为执行这一个应用而存在，执行结束之后jobManager也就关闭了，这就是应用模式。

2024-08-30 20:09:31 608

原创 MybatisPlus快速使用

如果不涉及分页，无需配置从上面网址粘贴下来代码即可。

2024-08-25 15:37:39 700

原创 MybatisPlus/Mybatis分页插件

注意：只有紧跟着PageHelper.startPage(pageNum,pageSize)的sql语句才被pagehelper起作用。

2024-08-25 15:33:59 300

原创 hive常用参数优化

SET hive.exec.mode.local.auto.inputbytes.max = 128000000 // 默认是128M。

2024-08-20 20:10:29 374

原创 Zookeeper安装

【代码】Zookeeper安装。

2024-08-20 20:06:08 191

原创 Linux配置环境变量(以ORACLE环境变量为例)

在当前的shell（BASH）或其子shell（BASH）下是有效的，shell关闭了，变量也就失效了，再打开新shell时就没有这个变量#oracle安装目录(注意：目录最好使用双引号区分)： export ORACLE_HOME="/home/oracle/product/12.1.0/dbhome_1";#oracle实例名 export ORACLE_SID=orcl;#配置系统变量 export PATH=$ORACLE_HOME/bin:$PATH;

2024-08-15 10:43:38 691

原创 Linux远程挂载nas共享盘

需求：92服务器/test_nas/test_92to116共享到116服务器/test_nas/test_gx_92to116下。-- 在92服务器查看 116服务器共享目录状态。-- 92服务器 root用户操作。-- 116服务器root用户操作。3. 设置开机自启动挂载。

2024-08-15 10:41:53 765

原创 shell优雅获取脚本输入参数

【代码】shell优雅获取脚本输入参数。

2024-08-14 22:37:34 583

原创实现linux集群文件批量分发

可以同步文件，也可以同步文件夹调用命令： xsync 绝对路径 -- 会把路径下的文件(或单个文件)分发到指定机器相同路径下。

2024-08-14 22:36:43 424

原创 Python操作excel

【代码】Python操作excel。

2024-08-14 22:23:32 313

原创使用Python将word.excel.ppt转pdf

【代码】使用Python将word.excel.ppt转pdf。

2024-08-14 22:21:23 551

原创 Python发送邮件

【代码】Python发送邮件。

2024-08-14 22:20:23 209

原创 Python操作数据库

Python操作数据库代码模板

2024-08-14 22:16:36 208

原创 Python爬虫——爬取360百科

【代码】Python爬虫——爬取360百科。

2024-08-14 22:11:05 888

原创 shell实现多线程

通过控制管道符读写。

2024-08-14 20:10:15 611

原创 Docker教程

阿里云官网 -> 容器镜像服务 -> 管理控制台 -> 镜像工具 -> 镜像加速器。

2024-08-14 12:56:18 652

原创 Git使用

git命令行执行以下信息。

2024-08-14 12:28:11 898

原创 Control-M常用命令

ctmorder -FOLDER 文件夹名 -NAME 作业名 -ODATE 调度日期(YYYYMMDD) [-HOLD y/n]# 查看所有依赖(依赖名称 ,依赖日期mmdd)# 添加资源组(名称，最大数量)# 查看任务执行情况(粗略查看)HOLD ：是否挂起任务。# 查看资源组占用情况。# 修改资源组资源总数。

2024-08-14 12:11:41 726

原创 SpringBoot快速部署

修改key的序列化，便于观察。设置静态资源映射路径。

2024-08-14 11:52:03 213

原创 MAVEN打包插件

【代码】MAVEN打包插件。

2024-08-14 11:41:04 155

原创 Kafka安装

注意：若配置Kafka集群，需要提前安装Zookeeper。

2024-08-14 11:35:50 227

原创 Mysql常用优化方法

如果连接方式是inner join，在没有其他过滤条件的情况下MySQL会自动选择小表作为驱动表，但是left join在驱动表的选择上遵循的是左边驱动右边的原则，即left join左边的表名为驱动表。区分in和exists主要是造成了驱动顺序的改变（这是性能变化的关键），如果是exists，那么以外层表为驱动表，先被访问，如果是IN，那么先执行子查询。优化的方法如下：可以取前一页的最大行数的id，然后根据这个最大的id来限制下一页的起点。同时需要注意的是查询语句的写法与普通索引的区别。

2024-08-14 11:26:56 1070

行云数据库-学习资料包

XCloud DB 行云数据库是东方国信自主研发的新一代分布式并行数据库，具备PB级海量数据分析应用能力，支撑跨地域数据统一管理。该产品融合分片存储、智能索引、动态规划、内存计算、即时编译、并行处理、多对象缓存等技术，提供海量数据存储、高效能数据加工、高性能统计分析、高并发查询、线性扩容、弹性计算、多租户管理等能力，支撑行业用户在大数据分析领域的应用。

2024-08-14

大数据技术之高频面试题

大数据技术的高频面试题通常涉及对大数据生态中各个关键技术和概念的理解。以下是一些可能的面试题简介： 1. Hadoop生态系统：在大数据领域，Hadoop是一个分布式存储和计算平台，通常会被问到其核心组件，如HDFS（Hadoop Distributed File System），MapReduce编程模型，以及YARN资源管理器。 2. 数据仓库与数据湖：面试中可能会探讨数据仓库的设计原则，以及数据湖与数据仓库的区别。同时，可能还会询问如何选择数据仓库技术和数据湖技术。 3. 实时处理与批处理：实时数据处理技术如Apache Kafka，Apache Flink，Apache Storm和批处理技术如Apache Hadoop MapReduce的区别和应用场景也是常见的面试题目。 4. SQL与NoSQL数据库：面试者需要了解关系型数据库和非关系型数据库（如MySQL，MongoDB，Cassandra）的优缺点及其在大数据环境中的应用。 5. 数据处理工具：面试中可能会探讨Apache Spark，Presto等数据处理工具的特点和优势。 6. 大数据安全和隐私：在处