ivhs的博客

一、Hive练习1.分区表我们有这样的一组数据：6,APPLE,北京,352,APPLE,上海,47数据脱敏，将原来的真实数据中敏感的信息进行模糊化，或者部分数据直接删除。id-》uuid-》变成了自动增长手机型号-》具体到什么品牌什么型号-》只保留了手机品牌城市-》 国-县-市-区（数字表示）-》只保留城市年龄-》身份证号码-》经过脱敏后，转换为年龄继续脱敏，删除部分数据，去除字段 。。。。。数据量：55Wx2 -》 超过百万的数据量我们在hive中执行如下的命令select c

一、回顾1.数据倾斜数据倾斜/数据热点数据倾斜产生的原因数据倾斜大部分情况下是不可避免的。数据倾斜解决方案2.自定义函数Hive不是MySQLHive的底层是JavaMySQL中的count()是MySQL提供的功能 ， MySQL底层是CHive中的count()其实就是Java中的一个方法！我们就自己写一个简单的方法 ， 导入Hive中完成一个简单的需求。统计字符串长度select word,charcount(word) from wc;hadoop 6ja

一、课程回顾1.共同的问题（1）换行lines terminated by ‘\n’ -> 让Java将换行符作为两条数据分分隔符…metastore?\ncreate…xml的配置文件 不要有中文，不要有空格，不要有tab，不要换行****（2）关于日志hive的日志需要自己配置一下的[hadoop@hadoop212 conf]$ vim hive-log4j.properties 2.核心知识点（1）关于HiveHive是一个Java编写的应用程

一、课程回顾1.数据的更新（1）新增数据insert into commoditytype (ct_id,ct_name) values (1,'玩具');insert into commoditytype (ct_id,ct_name) values (2,'文具')(3,'书籍');比较常见的错误：违反主键约束。违反外键约束。值的数量不匹配。（2）删除数据delete from commoditytype where ct_id=3;删除需要注意的事项：如果没有whe

一、课程回顾1.数据库的分类和介绍数据库的分类：关系型数据 [MySQL57]非关系型数据库 [mongodb]NewSQL [MySQL80]2.MySQL数据库的下载和安装在安装的时候，我们需要学会观察日志文件。无论安装还是卸载，完成后必须重新启动计算机。MySQL安装成功的唯一标准是系统服务中能够正常启停服务。上图是MySQL进行操作的整个完整的流程。这个客户端是 mysql.exeC:\Program Files\MySQL\MySQL Server 5.7\binm

准备的各个阶段