weixin_43908779的博客

第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_表名 ADS层命名为ads_表名 临时表命名为xxx_tmp 用户行为表，以log为后缀。1.3.2 脚本命名 数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以db为后缀。1.3.3 表字段类型

第1章 电商业务简介1.1 电商业务流程电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。电商的主要业务流程包括用户

Hadoop1、 Hadoop的介绍Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架M...

Hadoop的安装首先登录CM管理平台 账号admin 密码 admin勾选图示按钮选择继续，选择图示版本点击继续选择当前管理的主机

为什么要安装CM的hadoop版本ClouderaManagme在大型互联网企业中用的较多。相比于安装原生的apache版本的Hadoop来说，CM版本的Hadoop需要考虑Hadooop生态圈各个不同版本之间的兼容性问题，原生版本还需要改动更多的配置文件。CM集群的管理也相对的简单。1.2 cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。监控：监控集...

VM12虚拟机安装首先完成VM12的安装，有需要的请去下方链接下载需要的文件，里面有vm12的安装教程和破解文件，在这里不做过多的教程。本片主要是linux系统的安装教程。链接：https://pan.baidu.com/s/19fGgOU-hsiErQJ9QdGCMZw提取码：46dmLinux系统的安装（桌面版）1 检查BIOS虚拟化支持2 新建虚拟机3 新建虚拟机向导4 创建...

Hadoop是什么Hadoop发展历史Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Apache Hadoop官网地址：http://hadoop.apache.org/releas...

1.1、大数据概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。最小的基本单位是bit，按顺序给出所有单位：bit 、Byte、KB、MB、GB、TB、PB、EB、 ZB、YB、BB、NB、DB。1 Byte = 8 bit 1K = 1024B...

最近一段时间会整理、更新大数据的一些基本的生态圈和经常会用到一些常用到的项目架构，以及经常碰到的错误和解决办法，还有一些软件，jar包放在百度网盘里，需要的小伙伴可以自行下载。希望在接下来的日子里能共同进步，从大数据入门小白成长为大神，工资涨涨涨。...