cqzengddb的博客

0.架构简介 模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用Html+Jquery+Nginx+Ngx_kafka_module+Kafka来实现，其中Ngx_kafka_module 是开源的专门用来对接Nginx和Kafka的一个组件。 1.需求描述 1.1 用html和jquery 模拟用户请求日志 其中包括下面下面几项： 用户id:user_id, 访问时间:act_time, 操作: (action,包括click,job_collect,cv_sen

hive表：可以加分区字段、存储于hdfs目录中 建表语句: create table db.table_name(     BANKNAME        string,     REGIONNAME        string,     MANUFACTURER    string,     YZWAZ            int,     AZWKT            int,  ...

sqoop命令直接在普通命令行下执行 sqoop import --hive-import --connect jdbc:mysql://ip:3306/dbname --username user--password passwd --query " and  \$CONDITIONS " --verbose -m 4 --hive-table dbname.tableName --targe...

选取hive中的表进行建立model demension为维度字段不含度量 measure为度量字段，sum、count build按可按分区 build为增量，refresh为更新该分区字段

联机事务处理--联机分析处理 数据处理分为两类：联机事务处理、联机分析处理。 .what 联机事务处理(OLTP，online transaction processing)：传统型关系数据库的主要应用。用于管理面向交易的应用（基本的，日常的事务处理）。 适用于增删改以及简单的实时查询 联机分析处理（OLAP，Online Analytical Processing ）：数据仓库的最主要...