- 博客(28)
- 收藏
- 关注
RSS订阅原创 Typora1.9.5最新版安装及多款主题包
在确保Typora软件关闭的情况下，右键TyproaCrack.exe以管理员权限运行。安装Typora：双击Typora 1.7.6 安装包。最后用这个序列号，打开typora将序列号粘贴进去即可。然后按照要求把文件夹里的文件拖动到主题文件夹里即可。如果之前安装过先卸载，删除原文件夹，很重要！我第一次也是直接覆盖原文件，然后一直激活失败。进入偏好设置-打开主题文件夹。
2023-11-16 15:56:26
4982
18
原创 Hive调优
执行分组操作, 翻译后的MR, 分组的字段就是k2的字段, 按照k2进行分组操作, 将相同value合并在同一个集合中, 既然分组的字段就是MR的k2, 那么分区也会按照分组字段进行分区操作, 如果某个组下数据非常的多, 可能出现出现什么问题呢?查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。
2023-11-16 14:51:42
316
原创 Hive相关函数
Hive相关函数，行转列列转行实战，json文件处理，开窗函数的应用，数据脱敏函数，条件函数，日期函数，字符串函数，复杂类型函数，Hive函数的分类
2023-11-16 11:55:36
212
原创 Hive相关查询
在Hive中除了支持cross join（交叉连接，也叫做笛卡尔积）right outer join（右外连接）left outer join（左外连接）inner join（内连接）
2023-11-16 10:53:36
85
原创 Hive分区分桶表和复杂类型
Hive分区表和分桶表的创建，分区分桶表的区别，Hadoop_hive官方文档链接，Hive复杂类型，array类型，struct类型，map类型
2023-11-16 10:39:42
86
原创 Hive内外表的创建与区别和数据的导入导出
外表创建语法，内表创建语法，内外表区别，hdfs与Linux的数据导入和导出，load加载HDFS文件
2023-11-16 10:23:41
359
1
原创 Hive基础操作
create [external] table [if not exists] 表名(字段名 字段类型 , 字段名 字段类型 , ... )[partitioned by (分区字段名 分区字段类型)] # 分区表固定格式[clustered by (分桶字段名) into 桶个数 buckets] # 分桶表固定格式 注意: 可以排序[sorted by (排序字段名 asc|desc)]
2023-11-10 16:59:37
107
原创 Hadoop概述
Hadoop简介:是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop起源: Doug Cutting 创建的，最早起源一个Nutch项目。三驾马车: 谷歌的三遍论文加速了hadoop的研发Hadoop框架意义: 作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。狭义上来说:Hadoop指Apache这款开源框架，它的核心组件有：HDFS,MR,YANR。
2023-11-10 16:39:37
56
原创 MySQL函数
18、strcmp(s1,s2)比较字符串 s1 和 s2，如果 s1 与 s2 相等返回 0 ，如果 s1>s2 返回 1，如果 s1
2023-11-10 16:29:30
54
原创 大数据导论
什么是大数据?狭义上: 对海量数据进行处理的软件技术体系广义上: 数字化、信息化时代的基础支撑，以数据为生活赋能狭义和广义联系: 学习狭义上的大数据软件技术体系,在工作中为广义上的数字化、信息化时代，添砖加瓦大数据解决了什么问题?问题1: 海量数据的存储问题2: 海量数据的计算问题3: 海量数据的传输大数据的核心工作?存储: 利用各类大数据技术栈,妥善保存海量待处理数据计算: 利用各类大数据技术栈,完成海量数据的价值挖掘传输: 利用各类大数据技术栈,协助各个环节的数据传输。
2023-11-10 16:19:14
95
原创 shell编程入门
Shell语言:是一个 C 语言编写的脚本语言，它是用户与 Linux 的桥梁shell编程:通常指的是学习shell命令语法后，利用这套语法开发脚本程序，操作、访问内核服务。而不是使用C语言去编写一个shell程序。shell解释器: unix默认sh,Linux的默认是Bash:全称是bash shell,bash兼容sh，针对sh编写的Shell代码可以不加修改地在bash中运行。
2023-11-10 15:35:41
54
原创 Linux进阶
vim有丰富的插件，可自定义配置和编辑方式，并支持多种编程语言和文件格式，如在编写时对标识符会用其它颜色显示。切换用户后，可以通过exit命令退回上一个用户，也可以使用快捷键：ctrl + d。-f，要创建的文件，或要解压的文件，-f选项必须在所有选项中位置处于最后一个。在我们得知root密码的时候，可以通过su命令切换到root得到最大权限。参数：用户名，表示要切换的用户，用户名也可以省略，省略表示切换到root。-符号是可选的，表示是否在切换用户后加载环境变量（后续讲解），建议带上。
2023-11-10 15:25:19
46
原创 linux基础
计算机组成: 硬件和软件硬件组成: 冯-诺依曼体系结构 (控制器 运算器 存储器 输入设备 输出设备)软件组成: 系统软件(操作系统) 和 应用软件(各种第三方软件)操作系统作用: 承上启下(用户使用第三方应用软件和硬件之间的桥梁)linux诞生: 林纳斯-托瓦兹 , 1991年上大学期间开始开发linux系统组成: linux系统内核 和 系统级应用程序linux发行版: 基于开源免费的linux内核开发出的操作系统(本课程主要学习centos版本)
2023-11-04 20:35:35
60
1
原创 序列和集合和字典
定义空集合: 集合名 = set() 注意: 千万不要使用空的{},因为它代表字典定义非空集合: 集合名 = {元素1,元素2,元素3,...} 注意: 集合中不要嵌套可变类型定义空字典: 字典名 = {} 或者 字典名 = dict()定义非空字典: 字典名 = {k1:v1 , k2:v2 , ...} 注意: 字典的每个元素是一个键值对。
2023-10-06 23:04:41
178
1
原创 Python常用方法用法及含义
Python内部函数和Python字符串相关函数及其用法，Python列表相关函数及其用法，Python元组相关函数及其用法，Python集合相关函数及其用法，Python字典相关函数及其用法，Python文件相关函数及其用法
2023-10-06 20:48:18
497
1
原创 字符串的学习
空字符串:字符串名=str() 字符串名='' 或者 字符串名="" 或者 字符串名='''''' 或者 字符串名=""""""非空字符串:字符串名='内容' 或者 字符串名="内容" 或者 字符串名='''内容''' 或者 字符串名="""内容"""# 定义空字符串s = str()s1 = ''s2 = ""# 定义非空字符串s5 = '传智's6 = "黑马"s7 = '''传智教育'''s8 = """黑马程序员"""print(s)print(s1)
2023-10-05 21:52:49
358
原创 元组的学习
Python 的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。定义空元组: 元组名 = () 或者 元组名 = tuple()定义非空元组: 元组名 = (元素1,元素2,元素3,...)注意: 如果只有一个元素需要加逗号。
2023-10-05 21:35:34
191
原创 Python函数基础
函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号起始，并且缩进。return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 None。global关键字含义及用法
2023-10-03 14:10:54
55
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人