
数据
文章平均质量分 95
本人的部分数据知识笔记
Beth_Chan
保持初心,保持好奇,人生没有白走的路,每一步都算数 | Java, Python, Javascript; Cloud; Data; DevOps | Github: https://github.com/Beth-Chan
展开
-
Kafka 记录
在一个Kafka集群中,每增加一个代理就需要为这个代理配置一个与该集群中其他代理不同的id, id值可以选择任意非负整数即可,只要保证它在整个Kafka集群中唯一,这个id就是代理的名字,也就是在启动代理时配置的broker.id对应的值。同时与传统消息系统不同的是,Kafka并不会立即删除已被消费的消息,由于磁盘的限制消息也不会一直被存储(事实上这也是没有必要的),因此Kafka提供两种删除老数据的策略,一是基于消息已存储的时间长度,二是基于分区的大小。当然,客户端还可以在主题创建后修改主题的分区数。原创 2024-01-30 13:17:33 · 1275 阅读 · 0 评论 -
PostgreSQL记录
目录安装与配置数据类型数字类型字符类型时间/日期类型数据类型转化COLLATESQL高级特性WITH查询批量插入聚合函数窗口函数体系结构逻辑和物理存储结构进程结构内存结构Oracle To PostgreSQLDBA谷歌云 PostgreSQL原创 2022-05-14 15:57:48 · 4022 阅读 · 0 评论 -
Spark中的RDD、DataFrame和DataSet讲解
1、Spark中的模块 2、什么是DataFrame 3、RDD和DataFrame的区别 4、什么是DataSet 5、RDD和Dataset的区别 6、Dataset和DataFrame的区别与联系 7、DataSet的创建 8、RDD转DataFrame原因及方式 9、DataFrame转RDD原因及方式 10、DataFrame转载 2021-05-09 07:01:02 · 113 阅读 · 0 评论 -
OCA/OCP(Oracle Certified Associate/Profesional)
12c版本号是12.1.0.2.0.18c版本号是12.2.0.2,19c版本号是12.2.0.3,这两个年度版本仍然处于 12c 的发布序列中,19c 属于 12c 体系的最后一个版本。OCP 12c 认证包括 071, 062 & 063三门认证考试071: Oracle Database SQL Exam062: Oracle Database Installation and Adminstration063: Oracle Database Advanced A..原创 2020-12-16 13:31:02 · 2116 阅读 · 1 评论 -
数据仓库记录
一、数据仓库、数据集市概述数据仓库特点面向主题。如基金数据仓库、基金数据集市、投资人数据集市等。 集成性。由多个数据源系统集成。 随时间变化。反映某一历史时间点的数据快照。 2.数据仓库组件 数据仓库的核心组件有四个:各源数据库,ETL,数据仓库,前端应用。如下图所示: (1) 业务系统业务系统包含各种源数据库,这些源数据库既为业务系统提供数据支撑,同时也作为数据仓库的数据源(注:除了业务系统,数据仓库也可从其他外部数据源获取数据);...转载 2020-12-15 16:15:08 · 368 阅读 · 0 评论 -
CDH实战记录
[root@hadoop01 ~]# /usr/local/mysql/support-files/mysql.server startStarting MySQL.. [ OK ][root@hadoop01 ~]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server startStarting cloudera-scm-server:...原创 2020-12-14 16:22:00 · 440 阅读 · 0 评论 -
大数据实战记录
1. Create CentOS server and clone 3 servers: 2. vi /etc/sysconfig/network 3. vi /etc/sysconfig/network-scripts/ifcfg-ens33 Config static IP 4. vi /etc/hosts 172.16.235.134 hadoop01 172.16.235.135 hadoop02 172.16.23...原创 2020-12-14 16:16:54 · 4828 阅读 · 0 评论