大数据学习规划

所处阶段	主讲内容	技术要点	学习目标
第一阶段 ：      Java语言编程基础	计算机基础	DOS常用命令；Java概述；JDK环境安装配置；环境变量配置；Java程序入门	能力养成： 能够掌握DOS系统常用基本命令；  熟练使用eclipse编写java代码；  熟练使用java语言的常用对象；  使用java编写单机应用程序； 掌握面向对象编程思想， 为以后深入学习JavaEE就业课程打下坚实的基础。 具备能力及市场价值： 能够完成B/S结构网站开发，具备了真实环境的 项目部署能力，能够完成中小型企业管理系统等 传统项目 的开发。 市场价值： 继续努力学习
	编程基础	常量与变量；数据类型；运算符；流程控制语句；方法；数组
	面向对象	面向对象思想；类与对象；成员变量和局部变量；封装；this关键字；构造方法
	常用类	Object类；Scanner类；Random类；String；StringBuilder类
	集合操作	集合概述；集合特点；ArrayList集合
	IO操作	字符输入流；字符输出流；字符缓冲输入流；字符缓冲输出流；复制文件；集合与文件中数据  相互读写
第二阶段 ：         JavaWeb核心技术	Java基础增强	多线程、网络编程、反射、注解及动态代理	核心能力培养： 运用常用的网页开发技术设计网页；  掌握WEB系统交互原理； 掌握JavaWeb开发核心技术； 运用JavaWeb核心技术完成简单功能实现； 掌握JavaWeb高级技术 创建更好的Web应用程序；  具备B/S结构软件开发能力。 具备能力及市场价值： 能够完成B/S结构网站开发，具备了真实环境的 项目部署能力，能够完成中小型企业管理系统等 传统项目的开发。
	数据库操作	MySQL数据库、JDBC开发、数据库连接池、DBUtils、JDBC事务管理、表操作、索引
	前端技术基础	html、css、js、jQuery、BootStrap ajax、jQuery的ajax
	JavaWeb核心	Tomcat、Servlet、Request和Response、Cookie和Session、jsp，el和jstl、Filter、Listener、ajax
	Linux服务器	Linux常用操作、Redis安装部署、tomcat部署、nginx部署
	javaWeb综合项目实战	缓存技术、JavaMail、在线支付、文件上传、Linux项目部署
第三阶段：       网站开发三大框架	项目构建及管理	Maven项目构建、管理、编译、仓库配置，SVN服务器部署、SVN客户端、自动化部署	核心能力培养： 掌握SSM框架，使用SSH框架开发出结构清晰、 可复用性好、维护方便的Web应用程序;  掌握如何使用Maven管理项目工程; 掌握数据库的相关技术; 掌握系统开发中的性能、可扩展性及维护性的提升;  通过项目实战熟练掌握SSM框架的使用。 具备能力及市场价值： 能够使用SSH框架完成传统企业级项目开发， 熟悉多种业务流程，丰富项目开发经验。
	数据库操作框架	mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、mybatis输入输出映  射、动态sql、spring整合mybatis
	Spring框架	applicationContext、xml配置文件编写、IoC思想、DI依赖注入、使用AspectJ切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合
	SpringMVC框架	springmvc框架原理、springmvc入门案例、springmvc整合mybatis、参数绑定、json数据交互、拦截器
	CRM项目实战	使用springmvc+spring4+mybatis+svn来开发项目、使用BootStrap 进行布局

 

 

第四阶段：      互联网搜索及爬虫	单机爬虫开发	网络爬虫基础、网络编程基础、HttpClient网络请求、Jsoup网络解析、自动登录系统	核心能力培养： 掌握网络爬虫开发技术、能够获取互联网数据； 掌握中文分词，并能够进行词库维护及管理； 了解图片识别及验证码识别技术； 掌握搜索技术，能够快速搭建企业级高性能 搜索系统理解分布式核心思想的分片及副本机制。 具备能力及市场价值： 能够利用技术手段获取互联网的数据能够构建企业级搜索系统。 市场价值： 8000-10000元。
	爬虫高级开发	京东爬虫、浏览器debug、浏览器插件、Ajax数据获取、多线程线程池、并发包阻塞队列
	分布式爬虫	分布式爬虫架构、分布式爬虫开发、简单验证码识别、爬虫攻防技术、分部署爬虫部署
	搜索系统技术	搜索系统基础、倒排索引、创建索引库、查询索引库、中文分词、中文词库扩展及管理
	搜索系统框架	Solr基础、在Linux部署solr、创建搜索引擎核心Core、创建索引、查询索引
	分布式搜索系统	solr cloud集群、solr集群分片管理、solr集群副本管理、部署solr cloud，操作索引
第五阶段：      分布式电商系统	电商网站主体架构搭建	电商基础知识、背景分析、项目需求分析	核心能力培养： 电商网站核心业务开发：商家管理、商品管理、 库存管理、购物车、订单、支付、物流等 高性能网站技术:静态化技术、缓存技术、 分库分表技术、服务化治理技术； 使用分布式服务化治理框架Dubbox开发微服务 系统使用静态化技术、缓存技术、分库分表技术 提高系统性能。 具备能力及市场价值： 能够独立完成中小型网站整体架构，承载百万级并发访问能够独立完成电商网站核心业务系统开发。 市场价值： 10000-12000元。
		Dubbo、AngularJS、商家管理平台、网站管理平台
		Dubbo、AngularJS、AngularJS 分页实现
		Dubbo、AngularJS、商家入驻审核、按条件查询商家
	电商网站商品管理	电商核心业务实现、图片上传、图片压缩、分布式图片服务器
		电商核心业务实现、规格管理、类型管理
		电商核心业务实现、商品分类管理（树形结构）
		电商核心业务实现、商品录入、商品审核、商品上架
		电商核心业务实现、商品展示、freemarker静态化
	页面静态化及搜索	电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理
		电商核心业务实现、Solr、商品及店铺搜索
		电商核心业务实现、Solr、商品及店铺搜索+ 选择区
	单点登录及购物流程实现	电商核心业务实现、登录、单点登录（SSO）、我的品优购首页
		电商核心业务实现、购物车的实现
		电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成
		电商核心业务实现、支付宝系统对接  ActiveMQ消息队列
		电商核心业务实现、订单查询、我的收藏
	百万级网站部署及优化	Nginx、Hudson、Solr Cloud
		Nginx、Keepalived、负载均衡、反向代理、高并发
		Redis Cluster、FreeMarker页面静态化、高并发
		Mycat 数据库分库分表方案、高并发
		Docker容器部署、热部署、高并发
第六阶段：    大数据离线计算	基础增强	Linux增强、zookeeper与网络通信、网络编程增强	核心能力培养： 掌握离线数据收集、数据存储、数据计算 任务调度、数据导入导出、数据报表开发技术  掌握用户日志分析系统（业务分析、编码实现 调度配置、数据导出、数据可视化）； 掌握数据仓库管理、元数据管理、数据稽查等 常见处理技术掌握Hadoop高可用配置及管理。 具备能力及市场价值： 能够胜任离线相关工作，包括ETL工程师 任务调度工程师、Hive工程师、数据仓库工程师等。  市场价值： 12000-14000元。
	大数据平台	Hadoop介绍、集群规划及部署
	数据收集	大数据生态概念、用户网络日志收集系统、Flume数据收集
	数据存储	Hadoop HDFS基本操作、Hadoop HDFS原理、 Hadoop HDFS应用开发
	数据计算	Hadoop MapReduce、MapReduce入门、MapReduce深入
	数据管理	数据管理、数据仓库、Hive数据仓库工具
	案例分析	网站日志分析系统（上）、采集预处理、工作流调度器
	数据分析	网站日志分析系统（下）、ETL、统计分析、Sqoop数据导出、数据可视化
	核心增强	MapReduce核心、YarnMapReduce核心机制课程设计
	核心提高	Hadoop新特性、元数据、安全模式、HA、Federation、Hadoop Archives、CDH

 

 

第七阶段： 大数据实时计算	实时数据储存	Kafka基础、Kafka分片及副本机制、Kafka消息不丢失、offset管理、FLume基础	核心能力培养： 掌握实时数据收集、数据存储、数据计算 任务调度、数据导入导出、数据报表开发技术； 掌握互联网行为数据分析/用户看板/互联网交易风险 控制系统案例（业务知识、技术开发、实时架构）；   掌握实时数据数据存储（Hbase/Redis），查询操作（ElasticSearch）等技术； 掌握推荐系统开发整体架构、数据清洗、数据调度 数据导入导出、推荐引擎开发。 具备能力及市场价值： 能够胜任实时相关工作，包括ETL工程师 Storm工程师、搜索系统工程师初级推荐系统工程师等。  市场价值： 13000-15000元。
	实时数据计算	Storm基础、Storm架构、Storm编程模型、Storm消息不丢失机制、Storm核心原理
	实时计算案例	互联网行为数据分析（flume+kafka+storm+redis+mysql+管理），任务定时更新机制
	实时计算案例	用户看板/互联网交易风险控制系统（flume+kafka+storm+redis+mysql+管理）
	实时数据存储	Hbase部署、原理、常用操作；Redis集群部署、一致性Hash算法、布隆过滤器算法
	实时数据查询	ELK基础、ElasticSearch分布式搜索系统、创建索引、查询索引、ELK集成操作
	推荐系统开发	推荐系统架构、协同过滤算法、猜你喜欢推荐模型开发、推荐引擎开发、推荐系统展现
	Spark基础	Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型
	Spark RDD	RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、Spark任务调度、checkpoint、RDD编程实战
	Spark SQL	Spark SQL概述、DataFrame、DataFrame常用操作、DataSet介绍、SparkSQL整合JDBC、Spark on Yarn
	Spark Streaming	概述、与Storm的对比、Spark Streaming原理、DStream操作实战、开窗函数、整合Flume、整合Kafka
	项目实战阶段	互联网电商用户画像建模、开发、数据导入、数据存储（Hbase+Phoenix）、可视化

 

 

第八阶段：     大数据内存计算	Scala语言基础	Scala基础语法、Scala高级特性、Scala的Akka编程实战	核心能力培养： 掌握Spark基础、Spark RDD、Spark SQL、Spark Streaming开发技术； 掌握互联网电商用户画像建模、开发、可视化 （业务知识、技术开发、架构） 掌握数据数据存储 及存储（Hbase+Phoenix）。 具备能力及市场价值： 能够胜任Spark相关工作，包括ETL工程师 Spark工程师、Hbase工程师、用户画像系统工程师 等目前企业急缺Spark相关人才。 市场价值： 15000+元
	Spark基础	Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型
	Spark RDD	RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、Spark任务调度、checkpoint、RDD编程实战
	Spark SQL	Spark SQL概述、DataFrame、DataFrame常用操作、DataSet介绍、SparkSQL整合JDBC、Spark on Yarn
	Spark Streaming	概述、与Storm的对比、Spark Streaming原理、DStream操作实战、开窗函数、整合Flume、整合Kafka
	项目实战阶段	互联网电商用户画像建模、开发、数据导入、数据存储（Hbase+Phoenix）、可视化
第九阶段：     机器学习基础	机器学习基础概念	机器学习基础、环境搭建、Scikit-learn机器学习库、第一个机器学习任务	核心能力培养： 了解机器学习基本概念、流程、常见算法。 能够使用算法解决简单的业务问题（特征提取 模型设计、代码开发、效果评测）。 具备能力及市场价值： 机器学习入门，能够解决简单的业务问题。 市场价值： 17000+元
	机器学习决策树模型	决策树的实例、决策树的基本概念和算法、电商实例ID3算法详解、经典案例
	机器学习KNN模型	KNN实例、KNN分类算法入门、KNN算法步骤详解、KNN算法实战
	机器学习SVM支持向量机	SVM实例、SVM分类算法入门、算法步骤详解、SVM实战手写体识别案例
	机器学习感知机与BP神经网络	感知机模型、BP神经网络模型、神经网络算法实战、经典案例