学习_001_大数据工程师学习指南

课程说明

项	内容
课程类型	视屏课程
内容类型	通用
课程名称	大数据工程师学习指南
地址	https://edu.youkuaiyun.com/course/detail/8215
时长	60
费用	免费

课程目录和概要

1.大数据是什么

• 样本是全部（不抽样，而是用全部数据计算）
• 能做什么：预测
• 核心逻辑：通过现象总结规律，而不是因果推断（更擅长通过相关性预测）

2.大数据工程师做什么

• 找规律（相关性）
• 预测
• 调优

3.大数据工程师要会什么

• 了解业务（数据是业务的表现，不懂业务的人也不可能懂数据）
• 编程：java（通用），python（数据专用）
• 模型和算法（类似工具，会使用就行）
• 大数据生态组件：linux，hadoop，mysql，hive，zookeeper，sqoop，hbase，kafka，spark

4.如何学习（实践出真知，没有其他捷径）

• 小项目的工作经验
• 中项目的工作经验
• 大项目的工作经验

5.具体工作内容是什么（。。。没啥意思）

• 开发
• 测试
• 部署

6.学习路线

• 编程：java，python，scala
• 大数据架构：kafka，hadoop，spark，elasticsearch，storm
• 分析：机器学习，数据分析，BI数据仓库
• 数据可视化

学习心得

课程适合给不了解大数据的人看，帮助理解一些概念。想通过课程学到什么知识基本是不可能的，但能通过课程知道后续要接触那些内容，避免像个无头苍蝇。
没人能清晰的定义大数据到底是什么，也许是因为大数据在不停的演进中。可能刚开始只是因为Hadoop适合处理大量数据，后来慢慢的发现也适合处理多种数据类型，又慢慢发现因为数据越来越多能挖掘的价值越来越大，又发现全面细粒度的数据很适合通过相关性预测等等。所以没必要纠结什么是大数据，只要能降低成本，提升效率，获取更大的价值就行。
大数据怎么学习这点说的真好，就是上手实践，这是最快最有效的方法。
具体学习什么，我觉得只能作为参考，因为大数据发展很快，各种生态组件层出不穷，很可能学完了才发现已经过时了。而且当前的趋势是像阿里云的数加这样，把运维、调度、存储等封装成统一的产品平台，只要会SQL就可以进行大数据的开发，技术难度基本没有了。大数据的工作将更多在业务的了解、数据的分析处理、算法模型的调优上。