项目背景介绍——某大型互联网企业用户上网行为日志分析系统

 

项目目的

• 通过分析，用户的上网日志，来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销

• 同时记录用户的上网行为，可以掌握用户的上网情况，如时间、频次等

实际生产环境

• 每天约有 5T 的数据

• 实际运行节点到达 100

• 涉及到技术 Hadoop,Hive,HBase,Zookeeper,Ozzie

第二部分： 项目架构

 

第三部分： 环境搭建

• Hadoop

• HBase

• Hive

• Zookeeper

• Oozie

HBase 安装 

• 安装前提

• Hadoop 安装成功

• 软件准备

• Hbase -0.92.0.tar.gz

步骤 

• 解压

• tar – zxvf hbase-0.92.0.tar.gz

• 配置环境变量

• vi . bash_profile

• 加入：

• export HBASE_HOME=/home/ hbase

• export PATH=$HBASE_HOME/bin

配置HBase

• 进入 / hbase_home /conf/

• Vi hbase-env.sh

• 加入

• export JAVA_HOME=your java_home

• export HBASE_MANAGERS_ZK=false

• export HBASE_HOME=your hbase home

• export HADOOP_INSTALL=your hadoop home

• 进入 / hbase_home /conf/

• Vi hbase-site.xml

• 加入

• <property>

• <name> hbase.rootdir </name>

• <value>hdfs://localhost:9000/hbase</value>

• </property>

• <property>

• <name> hbase.cluster.distributed </name>

• <value>true</value>

• </property>

• <property>

• <name> hbase.master </name>

• <value>localhost:60000</value>

• </property>

• <property>

• <name> hbase.master.port </name>

• <value>60000</value>

• </property>

Vi hbase_home/conf/regionservers

加入localhost

 

 

Zookeeper安装

• 软件准备

• zookeeper -3.4.3.tar.gz

• 解压

• Tar – zxvf zookeeper-3.4.3.tar.gz

• 配置环境变量

• Vi bash _profile

• Export ZOOKEEPER _HOME=/home/zookeeper-3.4.3

• Export PATH =$ZOOKEEPER_HOME/bin

• 打开

• Zookeeper/home/conf/zoo.cfg

• 加入

• tickTime =2000

• dataDir =home/xxx/zookeeper

• clientPort =2181