待我君临天下,结发与蕊可好。@夏瑾墨
我的大数据初步学习路线图
- 了解云计算技术
- 学习Hadoop基础概念
- hadoop HDFS文件系统的特征
- 什么是Map/Reduce
- Mapreduce 整个工作机制图
- Hadoop mapper类的阅读
- Mapreduce shuffle和排序
- java处理海量数据
- 运用python数据分析
课题:云计算和大数据技术与应用
讲座人:杜宇健 (清华大学自动化系博士,中国移动研究院,技术总监)
昨天下午去听讲座,我坐在第二排,会上到了学生提问环节,作为全场唯一一个提问的学生,我问了一些很基础很细节的问题:
“杜老师您好!对于大数据初学者,我现在只懂得在ClouderaManager操作,用web 界面建立集群,用用wordcount,统计下单词这些。您有哪些具体的学习建议能让初学者更好地入门?”
“进行服务器的部署这些只是基本的工作,会看看数据图表还不够,最重要的是你要懂得它的运行机制,这是你要学习的地方,”会下还和杜老师问了”研究大数据应该用什么开发语言?“python,当然是用python!”“另外linux这些要多学学。”
#云计算理念和典型技术形态#
云是网络、互联网的一种比喻说法,云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
云计算支持用户在任意位置、使用各种终端