weixin_43904810的博客

使用Kafka做日志收集。需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）1、HTML可以理解为拉勾的职位浏览页面2、Nginx用于收集用户的点击数据流，记录日志access.log3、将Nginx收集的日志数据发送到Kafka主题：tp_individual架构：HT.

**Hive命令实战操作之 – Hive调优策略提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之 -- Hive调优策略第 1 节 架构优化执行引擎优化器分区表分桶表文件格式第 2 节 参数优化第 3 节 SQL优化列裁剪和分区裁剪sort by 代替 order bygroup by 代替 count(distinct)group by 配置调整join 基础优化调整 Map 数对于小文件采用的策略是合并调整 Reduce 数第 4 节 优化小结小结前言提示：本文

**Hive命令实战操作之元数据管理与存储提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之--DQL命令第 1 节 Metastore1.1 metastore三种配置方式第 2 节 HiveServer2第 3 节 HCatalog第 4 节 数据存储格式前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。HQL操作之–DQL命令第 1 节 MetastoreMetadata即元数据。元数据包含用Hive

**Hive命令实战操作之 – DML命令提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之--DML命令第 1 节 Hive 事务第 2 节 Hive 事务操作示例前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。HQL操作之–DML命令数据操纵语言DML(Data Manipulation Language)，DML主要有三种形式：插入(INSERT)、删除(DELETE)、更新(UPDATE)。事务(

题目1：t1.dat文件内容2;zhangsan;book,TV,code;beijing:chaoyang,shagnhai:pudong3;lishi;book,code;nanjing:jiangning,taiwan:taibei4;wangwu;music,book;heilongjiang:haerbin要求：创建表t1和加载数据；题目2：连续7天登录的用户ulogin.dat数据：-- uid dt status(1 正常登录，0 异常)1 2019-07-11 11 2

**HQL操作之–函数提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之--函数第 1 节 系统内置函数日期函数字符串函数数学函数条件函数UDTF函数第 2节 窗口函数(重点)over 关键字partition by子句order by 子句排名函数序列函数前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。HQL操作之–函数第 1 节 系统内置函数-- 查看系统自带函数show functions;-

**Hive命令实战操作之 – DQL命令@DQL – Data Query Language 数据查询语言提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之--DQL命令第 1 节 基本查询第 2 节 where子句第 3 节 group by子句第 4 节 表连接第 5 节 排序子句5.1 全局排序(order by)5.2 内部排序(sort by)前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。HQ

**Hive命令实战操作之 – 数据操作提示：本文章内容取自来源： 拉勾教育大数据高薪训练营文章目录前言HQL操作之--数据操作1、数据导入1.1、装载数据(Load)1.2、插入数据(Insert)1.3、创建表并插入数据(as select)1.4、使用import导入数据2 、 数据导出2.1、将查询结果导出到本地2.2、 将查询结果格式化输出到本地2.3、将查询结果导出到HDFS2.4、dfs 命令导出数据到本地2.5、hive 命令导出数据到本地小结前言提示：本文章对于初学者准备，希

Hive命令实战操作摘要提示：本文章内容取自来源： 拉勾教育大数据高薪训练营前言提示：本文章对于初学者准备，希望对大家有所帮助。如果有什么建议和疑问，请留言给我，我会不断完成完善。第一节：HQL操作之 – DDL命令概念： DDL（data definition language），主要的命令有CREATE、ALTER、DROP等。DDL主要是用在定义、修改数据库对象的结构 或 数据类型。1.1、数据库操作Hive有一个默认的数据库default，在操作HQL时，如果不明确的指定要使用

数据仓库工具 – Hive文章目录数据仓库工具 -- Hive前言第一部分 Hive概述第 1 节 Hive产生背景第 2 节 Hive的优缺点Hive的优点Hive的缺点第 3 节 Hive架构第二部分 Hive安装与配置第 1 节 环境配置第 2 节 Hive安装配置2.1、MySQL安装1、删除MariaDB2、安装依赖3、安装MySQL4、启动数据库5、查找root密码和修改 root 口令5.1、 进入MySQL，使用前面查询到的口令5.2 、设置口令强度；将root口令设置为12345678；