- 博客(6)
- 收藏
- 关注
RSS订阅原创 hive数据倾斜
产生数据倾斜有三种原因 表连接:如小表连接大表,大表连接大表 数据类型不同关联产生数据倾斜 空值产生数据倾斜 解决方法: 表连接可以用map join 解决倾斜问题 数据类型不同可以转换数据类型 可以全部转换成string类型的 空值产生的数据类型可以用一个数字来代替空值 可参考:https://blog.youkuaiyun.com/weixin_28851191/article/details/111974379 ...
2022-03-15 09:58:36
2508
原创 大数据面试题---kafka部分(一)
kafka 设计时是什么样子的 kafka 将消息以topic为单位进行归纳 将向kafka发布消息的程序称为生产者 kafka将订阅消息的程序称为消费者 kafka将以集群的的方式运行,由一个或多个服务器组成,每一个服务器叫做broker 生产者通过网咯将消息发送到kafka集群，集群将向消费者提供消息 数据传输的事务定义有哪三种 最多一次：消息不会被重复发送，最多被传输一次，也有可能一次都不被传输 最少一次：消息不会被漏发送,最少被传输一次,但也有可能被重复传输 精确的一次:不会漏传输也不会重复传
2022-03-14 10:22:35
2291
原创 MapReduce笔记整理(概念部分结)
MapReduce简介 定义 MapReduce 是一个分布式的运算程序的编程框架,基于hadoop的数据分析应用”的核心框架。 Mapreduce 核心功能是将用户写的逻辑代码和默认组件整合成完整的分布式运算程序发布在hadoop集群上边 1.2 优缺点: MapReduce 易于编程 它 ...
2021-12-19 20:24:47
148
原创 Redis常用的基本命令
Redis简介 Redis是关系型数据库他的存储方式是键值对存储的所以他的存储方式是先设个键在存个值进去然后根据键来进行取值 基本命令 set key value //用来存储数据 get key //用来取出数据库里面存的数据 //演示 set name zhangsan get name del key //用来删除存在的键就相当于把这条数据给删除掉 // 删除掉张三这条数据 dal name rename key newkey //用来修改键的名称 //把键name 修改成name2 rena
2021-12-07 09:11:13
379
原创 Linux文件夹和文件操作命令
创建文件和文件夹 mkdir ./temp //在当前位置创建空文件夹 mkdir ./date1/date2 -p //在当前位置创建多级文件夹 toch ./file.txt //创建空文件夹 vi file.txt //创建文件并且进入编辑模式 cat file.txt //查看文件内容 向文件中写入内容 echo “hello”>file.txt //创建文件并输入并且把hello写入到该文件中 echo “hello”>>file.txt//把hello..
2021-11-28 20:31:47
995
原创 Linux最简单好用的安装方式
介绍: 如果我们要在Windows上边运行Linux必须要安装虚拟机(VMware workstation15Pro)这个软件首先我们来看这个虚拟机的安装 安装: 首先我们要下载:VMware workstation15Pro这个软件链接如下: https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html 推荐下载15Pro这个版本因为这个比较稳定点 然后找到下载的文件右击管理员运行 然后点下一步,一直
2021-11-25 11:44:41
764
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人