- 博客(28)
- 收藏
- 关注
RSS订阅原创 FLINK基础
Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams
2022-06-03 19:26:24
784
原创 Spark SQL/DSL
文章目录前言一、SparkSession1、SparkSession介绍2、SparkSession构建3、sql与dsl实现词频统计4、spark开发形式发展二、DataFrame1.dataframe概述2.dataframe编程3、dataframe函数4、Catalyst 优化器5、spark读写外部数据源1、从本地文件系统加载JSON格式数据，保存为Parquet格式：2、加载文本数据和保存数据到文本文件中：3、加载文本JSON格式数据，并保存：4、加载Parquet格式数据包保存数据为Parqu
2022-05-31 15:36:04
2350
原创 Kafka基础
文章目录前言一、Kafka基础1.消息队列2、kafka特点3、kafka存储结构4、kafka集群架构5.kafka基础操作6.kafka Api二、Kafka原理1.kafka储存原理2.kafka写入数据3.kafka读取数据4.kafka数据清洗5.kafka分区副本和数据同步6.kafka生产者数据安全7.kafka消费者数据精确总结前言Kafka基础一、Kafka基础Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索
2022-05-11 15:21:03
888
原创 Hbase基础知识
文章目录前言一、Hbase基础1、Hbase数据模型2、Hbase集群二、Hbase基础命令1.基础DDL操作2.基础DML操作3.HbaseApi操作三、Hbase核心1.储存原理2.Region3.Region内部原理4.Region数据溢写和合并、分裂5.Hbase读写流程6.Hbase优化四、Hbase与SQL的集成1、Hbase on hive2、Phoenix3、Phoenix sql4、Phoenix 二级索引总结前言非关系型数据数据库大量应用于数据缓存、消息队列等场景中，在大数据领域其
2022-05-07 20:32:31
1917
原创 Redis基础知识
文章目录前言一、Redis基础1.Redis安装和配置2.Redis简单操作1、通用操作2、String类型操作3、Hash类型操作4、List类型操作5、Set类型操作6、SortSet类型操作3.Redis Api操作二、Redis集群1.Redis 单点问题redis 持久化RDB持久化redis 持久化AOF持久化2.Redis 主从复制集群3.Redis 哨兵集群4.Redis 分片集群5.Redis 集群API总结前言非关系型数据数据库大量应用于数据缓存、消息队列等场景中，在大数据领域其非
2022-05-07 17:30:22
200
原创 数仓工具hive概述
数据仓库是为了解决大数据分析而产生的数据存储平台，简称数仓：DW（DataWarehouse），面向分析的集成化数据平台，分析结果给公司提供决策依据。hive是如何操作数仓的呢？
2022-03-03 16:19:18
2826
原创 hadoop相关概念回顾
文章目录前言一、Zookeeper1.特点2.leader选举机制二、HDFS1.组成与职责2.HDFS读流程和写流程3.HDFS元数据管理三、MapReduce与Yarn1.MapReduce思想2.MapReduce过程3.Yarn集群组成和功能3.MapReduce在Yarn集群中的调度流程四、高可用与hadoop集群方案1.高可用相关概念2.HDFS的高可用实现JMQ3.Yarn的高可用实现总结前言大数据特点：5V体量大：volume 采集、储存、计算量大数据种类多：variety 结.
2022-02-24 18:07:58
1418
原创 从字符串转换日期和/或时间时，转换失败
1、更改查询条件时间格式select count(1) from table where field= '1' and field> '2021-04-01 00:00:00' and field< '2021-05-01 00:00:00'#更改之后select count(1) from table where field= '1' and field> '2021-04-01 00:00:00' and field< '2021/05/01 00:00:00'.
2021-05-10 16:42:03
12001
原创 centos 离线openssh升级
1、检查系统内核2、准备离线升级依赖包下载地址：https://vault.centos.org/3、离线升级准备①、关闭selinuxvim /etc/selinux/config将selinux设置为disabledsetenforce 0②、安装telnet，防止ssh卸载后无法远程yum install -y telnet-server xinetd systemctl enable xinetd.servicesystemctl enable telnet.so
2021-05-08 11:39:07
481
原创 nginx代理配置
1、本地服务器8082端口代理其他服务器其他端口server {listen port;server_name localhost;location ~{proxy_pass http://ip:port;}}2、同上添加参数 server { listen port; location / { proxy_pass http://ip:port/; proxy_set_header Host $host:$se
2021-05-08 11:21:09
2428
原创 控制nginx输出日志，设置自动删除过期日志
1、查看nginx运行所用的配置文件ps -ef|grep nginx2、配置nginx输出内容配置文件log_format main "$remote_addr $remote_user [$time_local] '$request_method $host$request_uri'" "$request_time $status $body_bytes_sent '$http_referer'" " '$http_u
2021-05-08 11:06:49
827
原创 linux清理日志
1、查看系统所用空间情况df- h2、查看当前路径下所用的总空间du -sh3、查看某个文件所用的空间du -sh 文件名4、删除文件rm -rf 文件名rm -rf name-2021-05-* 删除日期为5月份的文件echo "" > filename 清空文件内容...
2021-05-08 10:51:56
112
原创 nginx跨域访问设置
1、ngxin跨域访问错误提示Access to fetch at 'http://ip:端口/' from origin 'http://域名' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. If an opaque response serves your needs, set the request's mode to 'no
2021-05-08 10:42:51
3874
1
原创 SQL Server数据库备份出现-1073548784错误号的解决方法
-1073548784，无法打开备份设备根据sqlservermanager所登录的用户添加文件夹权限即可，如图：
2021-03-09 17:22:24
3269
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人