
spark
手把手教你学AI
sss
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据治理工程师CDGA内容大纲
●第三部分 数据架构、建模、集成与互操作。●第五部分 数据标准、主数据与参考数据。●第七部分 数据仓库、大数据与数据中台。●第四部分 数据伦理与数据安全。●第六部分 元数据与数据资产。●第八部分 非结构化数据管理。●第一部分 数字化转型概述。ETL与ELT的区别与联系。数据分类分级与数据安全管理。●第二部分 数据管理总论。CDGA考试注意事项简介。数据安全内容与体系建设。数据湖的定义与应用场景。数据中台建设及主要问题。数据管理与数字化转型。数据标准及其体系建设。主数据与参考数据建设。文件、档案与内容管理。原创 2023-02-09 11:21:53 · 540 阅读 · 0 评论 -
hive 修复分区 MSCK REPAIR TABLE
MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来: 解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore, 这个服务主要是存储一些元数据信息, 比如数据库名,表名或者表的分区等等信息。 如果不是通过hive的insert等插入语句, 很多分区信息在metastore中是没有的, 如果插入分区数据量很多的话, 你用 ALTER TABLE table_na原创 2021-11-24 19:56:29 · 2043 阅读 · 0 评论 -
【无标题】
mysql8 各种问题 怎么装一个mysql.57 1.yum centos7.8安装mysql5.7时Error: Unable to find a match: mysql-community-server_你吃棒棒我吃糖(贺成)的博客-优快云博客 安装 CentOS7 yum方式安装MySQL5.7 - 码头小渔夫 - 博客园 ...原创 2021-11-19 16:59:30 · 720 阅读 · 0 评论 -
flink-1.12(一)flink-1.12 搭建
Flink-1.12(一)flink-1.12 搭建 - 简书原创 2021-11-18 00:44:34 · 936 阅读 · 0 评论 -
jinfo使用
jinfo 顾名思义 就是java进程信息 参数查看和修改 jinfo 进程号 如项目很多信息,Java代码可以通过System.getProperties()获取。 C:\Users\Administrator>jinfo 10448 Attaching to process ID 10448, please wait... Debugger attached successfully. Server compiler detected. JVM version is 25.29...原创 2021-11-05 17:38:27 · 560 阅读 · 0 评论 -
MetadataCleaner
MetadataCleaner运行定时任务周期性的清理元数据(metadata),有6种类型的元数据:MAP_OUTPUT_TRACKER,executor跟踪各个map任务输出的存储位置的数据,根据spark.cleaner.ttl.MAP_OUTPUT_TRACKER设置清理时间,默认值为-1,表示不清理; SPARK_CONTEXT,SparkContext中记录缓存到内存中的RDD的...原创 2016-12-09 23:09:33 · 340 阅读 · 0 评论 -
UDF 底层实现
用户自定义函数 继承UDF,重写evaluate方法即可 以 length 为例 例子如下 import org.apache.hadoop.hive.ql.exec.UDF; public class MD5Hash extends UDF { public String evaluate(String in) { // 请在此实现 } } hive 怎么调用呢 h...原创 2017-01-04 00:03:20 · 389 阅读 · 0 评论