- 博客(21)
- 收藏
- 关注
原创 Hive操作基础(入门篇)
优点:可以单独使用外部库(mysql),可以共享元数据,本地可以连接metastore服务也可以连接hiveserver2服务,增加了扩展性(其他依赖hive的软件都可以通过Metastore访问hive)没有专门的临时数据库(ODS),这意味着数据会立即加载到单一的集中存储库中,数据在数据仓库系统中直接进行转换,然后进行分析。数据仓库层(DW):也称为细节层,DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。根据报表、专题分析需求而计算生成的数据。
2024-11-03 21:38:22
1039
原创 Shell 语言教程 (入门)
Shell 是一个 C 语言编写的脚本语言,它是用户与 Linux 的桥梁,用户输入命令交给 Shell 处理 Shell 将相应的操作传递给内核(Kernel),内核把处理的结果输出给用户。shell编程通常指的是学习shell命令语法后,利用这套语法开发脚本程序,操作、访问内核服务。而不是使用C语言去编写一个shell程序。
2024-10-31 21:22:59
831
原创 Linux 操作系统 5 (实用操作篇)
Linux和Mac系统常用有2种压缩格式,后缀名分别是: .tar,称之为tarball,归档文件,即简单的将文件组装到一个.tar的文件内,并没有太多文件体积的减少,仅仅是简单的封装 .gz,也常见为.tar.gz,gzip格式压缩文件,即使用gzip压缩算法将文件压缩到一个文件内,可以极大的减少压缩后的体积 针对这两种格式,使用tar命令均可以进行压缩和解压缩的操作。-r,被压缩的包含文件夹的时候,需要使用-r选项,和rm、cp等命令的-r效果一致。搜索到命令之后,如果是想要的,回车键可以直接执行,
2024-10-31 02:30:00
699
原创 Linux 操作系统 4 (用户权限篇)
Linux中关于权限的管控级别有2个级别,分别是: 针对用户的权限控制, 针对用户组的权限控制 ,比如,针对某文件,可以控制用户的权限,也可以控制用户组的权限。在其它命令之前,带上sudo,即可为这一条命令临时赋予root授权 ,但是并不是所有的用户,都有权利使用sudo,我们需要为普通用户配置sudo认证。选项:-g指定用户的组,不指定-g,会创建同名组并自动加入,指定-g需要组已经存在,如已存在同名组,必须使用-g。选项:-r,删除用户的HOME目录,不使用-r,删除用户时,HOME目录保留。
2024-10-29 06:00:00
851
原创 Linux 操作系统 3 (VIM篇)
Vim 是从 vi 发展出来的一个文本编辑器。代码补全、编译及错误跳转等方便编程的功能特别丰富,在程序员中被广泛使用。简单的来说, vi 是老式的字处理器,不过功能已经很齐全了,但是还是有可以进步的地方。vim 则可以说是程序开发者的一项很好用的工具。连 vim 的官方网站 () 自己也说 vim 是一个程序开发工具而不是文字处理软件。所有的 Unix Like 系统都会内建 vi 文书编辑器,其他的文书编辑器则不一定会存在。但是目前我们使用比较多的是 vim 编辑器。
2024-10-28 17:35:10
2252
原创 可视化ETL平台 Kettle (保姆级安装教程)
在大数据开发过程中,有一个【ETL开发工程师】的工作岗位,工作职责是转换、处理各种不同类型的数据格式。ETL(Extract-Transform-Load的缩写),指的是:数据抽取、转换、加载的过程。当要了解并掌握使用一款ETL工具时,必不可少的,Kettle就是一个强大的ETL工具。Kettle是一款开源的ETL工具,由Java语言开发,可用于数据库间的数据迁移。并可以在Windows、Linux、Unix等系统中运行,运行时有图形界面,也有命令脚本,还支持二次开发。
2024-10-24 22:37:35
2423
3
原创 即便做BA也要充满passion!编程小白必吃榜No.1!
选好自己想去学习的编程语言之后,第一步就是迈出第一步,俗话说的好“基础不牢,地动山摇”,所以第一步就是打好基础,其实大学选择的课本一般情况下,自己仔细把课本上的实例全部自己敲代码来一遍,就已经会的七七八八了,最主要的不是记住所有代码都是什么,而是知道他们应该怎么用,什么时候用。因为现在的编程语言比较多,所以学长建议至少学一门自己喜欢的,至于怎么喜欢就看你们自己的喜好了,当年学长就是学校啥都教,啥都是只教皮毛应付考试,所以啥都没留下,唯一还有点基础的就剩下Python了,别问!)还有计算器,小游戏……
2024-10-19 20:04:19
309
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人