- 博客(8)
- 收藏
- 关注
RSS订阅原创 第2章 日志采集
1、浏览器的页面日志采集主要分为两大类：页面浏览日志采集：页面浏览量Page View和访客数Unique Vistors页面交互日志采集1.1 页面浏览日志采集流程在日志采集前，我们首先要理解一个网页访问的过程。1、首先用户在浏览器中输入地址2、浏览器则向服务器发器http请求请求行：请求方法、url、http版本协议号请求报头：如cookie请求正文：一般为空，忽略3、服务器响应（http相应）状态行：即状态码如200、404响应报头：cookie响应正文：如文档
2021-08-17 22:50:40
920
原创 大数据学习之路
第1章 总述第1篇 数据技术篇第2章 日志采集第3章 数据同步第4章 离线数据开发第5章 实时技术第6章 数据服务第7章 数据挖掘第2篇 数据模型篇第8章 大数据领域建模综述第9章 阿里巴巴数据整合及管理体系第10章 维度设计第11章 事实表设计第3篇 数据管理篇第12章 元数据第13章 计算管理第14章 存储和成本管理第15章 数据质量第4篇 数据应用篇第16章 数据应用...
2021-08-17 20:13:50
119
原创 大数据之路--总述
首先，先看看整体的架构图从架构图来看，很清晰的可以看到数据架构可以分为数据采集层、数据计算层、数据服务层、数据应用层。数据采集层首先日志采集：Web端：Aplus.JSAPP端：UserTrack...
2021-08-17 19:59:11
171
原创 第4章 对象与类
1、面向对象程序设计三大特性：1. 封装隐藏对象的属性和实现细节，进对外提供公共访问方式，保护内部操作不被破坏2. 继承在原本的基础之上继续进行拓展，提高代码的复用性，是多态的前提3. 多态父类或接口定义的引用变量可以指向子类或具体实现类的实例对象。五大原则：1. 单一职责原则SRP(Single Responsibility Principle)功能要单一2. 开放封闭原则OCP(Open－Close Principle)开放拓展，拒绝修改3. 里式替换原则L
2021-07-31 17:27:16
143
原创 第3章 Java的基本程序设计结构
1、一个简单的Java应用程序public class FirstExample { public static void main(String[] args) { System.out.println("Hello World"); }}访问修饰符：public、private、protected、default类名命名规则：每个单词首字母大写（骆驼命名法）java虚拟机是从指定类main方法的代码开始执行三种注释区别...
2021-07-28 22:18:48
110
原创 Apache Hadoop 完全分布式集群搭建
第 1 节 虚拟机环境准备1、三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步）2、在/opt目录下创建文件夹mkdir -p /opt/lagou/software --软件安装包存放目录 mkdir -p /opt/lagou/servers --软件安装目录3、Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/Hadoop官网地址：http://hadoop.ap
2021-02-27 15:29:54
187
原创 Apache Hadoop的介绍
Hadoop简介Apache Hadoop的重要组成一、HDFS二、Hadoop MapReduce三、Hadoop Yarn四、Hadoop CommonApache Hadoop的重要组成Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架啊)+Yarn(资源协调框架)+Common模块一、HDFSHadoop HDFS：（Hadoop DistributeFile System）一个高可靠、高吞吐量量的分布式文件系统比如：100T数据存储，“分而治之”分：拆分–》
2021-02-27 13:42:14
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人