- 博客(8)
- 收藏
- 关注
RSS订阅原创 大数据实时阶段_Day08_Elasticsearch
一、 什么是Elasticsearch1． Java语言全文检索技术简介什么是lucene？Lucene是一套 “全文检索” 编程API ，基于Lucene对数据建立索引，进行查询。很多框架对lucene进行了封装。什么是ElasticSearch ?现在企业开发中，更常用是的solr搜索服务器和ElasticSearch搜索服务器如果大家使用过 Apache Lucene 或 ...
2018-10-11 17:25:05
616
原创 大数据实时阶段_Day07_Hbase
HBASE数据库Hbase基础1.1 hbase数据库介绍1、简介hbase是基于Google BigTable模型开发的，典型的key/value系统。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它是Apache Hadoop生态系统中的重要一员，主要用于海量结构化和半结构化数据存储。它介于nosql和RDBMS之间，仅能通过主键(ro...
2018-10-11 08:32:32
413
原创 大数据实时阶段_Day06_推荐系统
推荐系统开发实战推荐系统是一个综合性的系统，涉及到前段JS代码、推荐服务（Web网站）、推荐算法、大数据处理平台等；各个系统有依赖很多基础服务，调用关系非常复杂；在实际的开发过程中，每个模块都是由一个团队负责开发和维护的；本例期望通过一个猜你喜欢的案例梳理出推荐系统开发的一般流程。课程目标了解推荐系统概念及整体架构掌握推荐系统开发的整体流程理解推荐系统之协同过滤算法及开发流程动手实践...
2018-10-09 08:33:39
429
原创 大数据实时阶段_Day05_日志分析
课程名称：日志监控告警系统课程目标：1、 掌握Storm编程的应用场景及编程模型2、 掌握Storm开发生态圈各知识点3、 掌握短信和邮件告警功能课程大纲：1、 背景知识2、 需求分析3、 功能分析4、 架构设计5、 代码开发点击流日志信息行为轨迹1.2、如何进行点击流日志分析1） 用户访问http://yun.itheima.com/open/c-139.html 是...
2018-09-30 17:11:29
742
原创 大数据实时阶段_Day03_Storm原理
1.Storm源码下载及目录熟悉1.1在Storm官方网站上寻找源码地址http://storm.apache.org/downloads.html1.2 点击文字标签进入github点击Apache/storm文字标签，进入githubhttps://github.com/apache/storm1.3 拷贝storm源码地址在网页右侧，拷贝storm源码地址1.4 使用...
2018-09-28 19:01:48
262
原创 大数据实时阶段_Day02_Apache Storm 流式计算框架
1.Strom基础1.1是什么?hadoop处理数据时效性不够，Strom是一个流式计算框架，（数据是一条一条计算）它只负责计算，不负责存储流式计算概念：数据如同在流水线上被处理1.2 strom架构Nimbus:负责资源分配和任务调度Supervisor:负责接收nimbus分配的任务，启动和停止属于自己的管理的workerWorker：运行具体处理组件逻辑的进程。T...
2018-09-26 21:35:16
240
原创 Storm集群安装部署详细手册
Storm集群安装部署详细手册1、安装虚拟机1.1、准备软件1、VMware Workstation 12.zip 虚拟机软件2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统1.2、安装虚拟机软件要想成功安装，务必删除掉已有的虚拟机软件1.3、安装操作系统运行虚拟机软件，点击软件右上角的文件，选择新建虚拟机，会弹出新建虚拟机向导页面选择典型安装...
2018-09-26 12:42:05
614
原创 大数据实时阶段_Day01_Apache Kafka 企业级消息队列
大数据企业级消息平台apache kafkaApache Kafka 企业级消息队列爬虫课程：原生队列、多线程重复消费的问题、ArrayBlockingQueue阻塞队列分布式爬虫：使用Redis的list数据结构做队列。分布式电商：AMQ 消息队列、发布一个商品时发送一个消息，有程序消费消息创建静态化页面。Apache Kafka：消息队列、随着大数据兴起，现在非常流行1、...
2018-09-25 22:05:35
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人