- 博客(22)
- 收藏
- 关注
RSS订阅原创 spark开发中遇到的一些BUG
sparkSQL在运行作业时候，使用saveASTable时候作业如果突然挂掉或者被kill掉，此时表的HDFS路径已经创建，但是表在MySQL的元数据确没有就会导致，再次saveASTable时候会报错显示HDFS上此路径已经存在。
2024-08-09 17:18:38
372
原创 Flink状态管理
2.1 键控状态是根据输入数据流中定义的键（key）来维护和访问的2.2 Flink 为每个 key 维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态2.3 当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key2.4 Keyed State很类似于一个分布式的key-value map数据结构，只能用于KeyedStream（keyBy算子处理之后）
2023-04-09 17:45:43
97
原创 2021-11-04
yarn application status一些知识分析一个菜鸡大数据开发者本人最近也是突然研究到yarn application这一块，突然对这个application执行过程比较感兴趣，因此通过查阅资料、论坛等方式了解了一些知识分享一下。我们在hive些sql进行查询的时候，都会生成一个application ID，关于这些信息，做一个简单的描述：Application-Id : application_1635832725447_0431 **#也就是你生成的作业ID** A
2021-11-04 16:55:36
355
1
原创 mysql学习笔记
1.mysql架构原理client提供连接mysql的各种api，支持多种语言Management Serveices & Utilities系统管理和控制工具Connection Pool线程连接池，管理缓冲用户连接，负责监听各种mysql server请求SQL Interface接受用户的SQL命令，并且返回用户需要查询的结果Parser将SQL语句进行语义和语法的分析，按照不同的操作类型进行分类，如果sql错误，则返回错误信息。Optimizer: 查询优化器每条发
2020-09-06 18:25:47
115
原创 Linux常用命令复习笔记
Linux常用命令复习笔记reboot 重启文件和目录cd /home 进入 '/ home' 目录'cd .. 返回上一级目录cd ../.. 返回上两级目录cd 进入个人的主目录cd ~user1 进入个人的主目录cd - 返回上次所在的目录pwd 显示工作路径ls 查看目录中的文件ls -F 查看目录中的文件ls -l 显示文件和目录的详细资料ls -a 显示隐藏文件ls *[0-9]* 显示包含数字的文件名和目录名tree 显示...
2020-07-29 11:19:29
152
原创 hive入门笔记
1.hive简介:Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言.2.hive如何存储数据：hive是将元数据保存到数据库中，例如mysql或者derby数据库中，3.hive的内部表和外部表：内部表hive本身管理，外部表由hdfs管理，内部表会保存在默认路径，外部表自己设定路径。内部表在删除数
2020-07-09 16:24:52
518
原创 excel探索一下数据分析师这个职业
第一步，明确分析问题:要分析数据分析师岗位的招聘需求可以从2个方面来看城市需求分布如何薪资分布如何第二步,数据清洗:1.数据清洗是数据分析非常重要的一环，做好数据清洗可以保证数据的准确度，一般会占用数据分析大部分时间，但随着经验的增长和技能的数量，效率会有所提升，但一定要细致保证每一步的准确性。众所周知，数据清洗是个脏活累活，那么就开始吧。2.理解数据，拿到数据之后要了解一下每一列数据...
2019-08-18 21:50:46
292
原创 入门MySQL常用操作笔记
1.数据库操作： 1.create *create database 数据库名 2.retrieve * show databases；查看数据库 * show create database 数据库名；查询已创建的数据库...
2019-08-05 10:55:56
118
原创 航班延误分析项目
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-07-18 16:10:29
3029
1
转载 C#调用命令执行python脚本
string pythonScriptPath = Server.MapPath(@"~\pythonScript");//python脚本所在的目录 ProcessStartInfo start = new ProcessStartInfo(); start.FileName = "python";//执行python.ex...
2018-11-27 17:17:44
2586
转载 Linux权限管理
目录的权限：linux权限管理r：具有读取目录结构列表的权限，可以查看目录下有哪些文件w：该权限对于目录来说是很大的，1、可以在该目录下新建新的文件和目录2、可以删除已经存在的文件和目录3、将已经存在的文件和目录重命名4、移动目录内的文件和目录的位置x：是否可以进入该目录账户管理/etc/passwd：记录linux上的所有账号/etc/shadow：记录账户对应的密码/...
2018-11-27 17:12:16
157
原创 HTML中overflow的作用
Overflow属性：主要用于设置盒子的属性，规定当内容溢出元素框时发生的事情，这个属性主要有这个设置值1.overflow：visible 默认值，内容不会被修剪，会呈现在元素框之外。2.overflow：hidden内容会被修剪，并且其余内容是不可见的。3.overflow:scroll内容会被修剪，但是浏览器会显示滚动条以便查看其余内容。4.overflow:...
2018-11-27 16:53:14
21797
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人