liangq740的博客

原创 02.03第二篇之数据环境准备

第3 章数据环境准备 3.1 安装Hive2.3 1）上传apache-hive-2.3.0-bin.tar.gz 到/opt/software 目录下，并解压到/opt/module [atguigu@hadoop102 software]$ tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/module/ 2）修改apache-hive-2.3.6-bin 名称为hive [atguigu@hadoop102 module]$ mv apache-hive-

原创 02.02第二篇之业务数据采集模块

第2 章业务数据采集模块 2.1 MySQL 安装 2.1.1 安装包准备 1）查看MySQL 是否安装，如果安装了，卸载MySQL （1）查看 [root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64 （2）卸载 [root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 2）解压mysql-libs.zip 文件到当前目录 [root@

原创 02.01第二篇之电商业务简介

第1章 电商业务简介 1.1 电商业务流程 1.2 电商常识（SKU、SPU） SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息集合。 例如：iPhoneX手机就是SPU。一台银色、128G内存的、支持联通网络的iPhoneX，就是SKU。 SPU表示一类商品。好处就是：可以共用商品图片，海报、销售属性等。 1

原创 关于样例类转json格式存入redis以及redis中查看会增加多余转义符（斜杠）的问题

【样例类转json格式并存入Redis】 def saveToRedis(client: Jedis, key:String, value: AnyRef ): Unit ={ //样例类不能用fastjson了， import org.json4s.DefaultFormats val json: String = Serialization.write(value)(DefaultFormats) client.set(key,json) 原始json数据 {"id"

原创 01.05第一篇之总结

第5 章总结 5.1 数仓概念总结 1）数据仓库的输入数据源和输出系统分别是什么？ 输入系统：埋点产生的用户行为数据、JavaEE 后台产生的业务数据。 输出系统：报表系统、用户画像系统、推荐系统 5.2 项目需求及架构总结 5.2.1 集群规模计算 5.2.2 框架版本选型 1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运维人员）（建议使用） 2）CDH：国内使用最多的版本，但CM 不开源，但其实对中、小公司使用来说没有影响。离线 3）HDP：开源，可以进行

原创 01.04第一篇之集群搭建&数据采集模块

第4 章集群搭建&数据采集模块 4.0 虚拟机准备 4.0.1 虚拟机内存分配 1）从hadoop100的快照中克隆出3台虚拟机，并分配好内存 建议内存不低于4G，尤其是hadoop102，作为主机，后续可能要8G才能较顺利运行 机子 建议内存 Hadoop102 8G 作为主节点 Hadoop103 2G Hadoop104 2G 2）原始虚拟机的已经创建好了root和user的账号&密码如下： root: xxxxxxxx atguigu: 12345

原创 01.03第一篇之数据生成模块

第3 章数据生成模块 3.1 埋点数据基本格式 Ø 公共字段：基本所有安卓手机都包含的字段 Ø 业务字段：埋点上报的字段，有具体的业务类型 下面就是一个示例，表示业务字段的上传。 下面就是一个示例，表示业务字段的上传。 { "ap":"xxxxx",//项目数据来源 app pc "cm": { //公共字段 ​ **"mid": "", // (String)** **设备唯一标识** ​ **"uid": "", // (String)** **用户标识**

原创 01.02第一篇之项目需求及架构设计

第2 章项目需求及架构设计 2.2 项目框架 2.2.1 技术选型 2.2.2 系统数据流程设计 2.2.3 框架版本选型 2.2.4 服务器选型 2.2.5 集群资源规划设计 2）测试集群服务器规划 服务名称 子服务 服务器 hadoop102 服务器 hadoop103 服务器 hadoop104 HDFS NameNode √ DataNode √ √ √ SecondaryNameNode √ Yarn NodeManager √ √

原创 01.01第一篇之数据仓库概念

原创 00前言

项目名称： 大数据技术之离线电商数仓 主要技术实现： 基于Hadoop，HIVE为基础构建的离线数仓，并赋以可视化，即席查询，集群监控，元数据管理，质量监控等基本功能。 数仓架构图 如绿色框所示，其中业务数据和用户行为数据由脚本随机生成，以模拟生产环境。 声明 该项目基于网上公开课程《尚硅谷大数据项目数据仓库,电商数仓V1.2新版》而来。 B站链接：https://www.bilibili.com/video/BV1df4y1U79z?p=1 感谢尚硅谷教育的无私分享！ 笔者根据网上的公开资料进行了搜集整

原创 Redis 批量删除带有特定字段的keys

【问题】 如何快速的删除Redis中的含有某个特定字段的keys？ 例如，一键删除如下所有以“order_info”开头的keys 127.0.0.1:6379> keys * 1) "order_info:5047" 2) "order_info:4989" 3) "order_info:5030" 4) "order_info:4985" 5) "order_info:4999" 6) "order_info:5023" 7) "order_info:5024" 8) "order

原创 vim编辑器误操作卡死问题

【问题】 用vim写完文件后，下意识的按了 Ctrl+s ，结果界面卡死了。 原来但对vim编辑器，该组合键是锁定编辑器的快捷键，使用后会使vim编辑器处于锁定状态 【解决方案】 使用ctrl+q即可退出vim锁定状态 ...

原创 【解决】idea Maven已经成功导入依赖，但在程序中无法找到，无法import相关jar包

【问题】 在使用alibaba的fastjson时， 已经在Maven中配置好pom，maven导入成功，本次仓库也已经下载，也能在library里看到相关的jar包了，但是代码引用时发现导入不了这个包。。。 本地库也已经下载完毕了 尝试过reimport maven的配置，还是找不到。导包飘红。。。 【解决】 1.把本地仓库的fastjson包删除 2.把pom文件中的fastjson配置删除，reimport一下。 3.然后重新把fastjson的配置在pom中加上，reimport一下。 4.

原创 解决：IDEA Cannot resolve directory {JAVA_HOME}

IDEA Cannot resolve directory ‘$’{‘JAVA_HOME}’ 用idea新建一个maven项目，演示hdfs客户端操作。导入依赖之后，发现有一处标红: 提示错误信息：Cannot resolve directory ‘$’{‘JAVA_HOME}’ <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId>

原创 Tensorflow 2.0 GPU 版安装教程

Tensorflow 2.0 GPU 版安装引言CUDA 软件安装cuDNN 神经网络加速库安装环境变量 Path 配置TensorFlow 安装 引言 目前的深度学习框架大都基于NVIDIA 的GPU 显卡进行加速运算，因此需要安装NVIDIA 提供的GPU 加速库CUDA 程序。 CUDA 的安装分为CUDA 软件的安装、cuDNN 深度神经网络加速库的安装和环境变量配置三个步骤。 CUDA ...