spark-总览（一）

分布式数据处理spark

别人告诉我，总是要写点什么，那就写点什么吧。

  入行已经很久了，开始总结，学习、工作以及为工作而生活的点点滴滴。
  刚入行，那时候我是一个菜鸟，身为自动化专业毕业生，世界一片奇妙，传感器采集的数据那么复杂，报文让人头疼欲裂，数据清洗、数据处理、数据展示好像很牛。大数据仿佛高大上，各种大数据组件、服务器、集群乱花渐欲，总之一个词:求知欲爆棚啊。🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄🐄




  讲讲我的入行？好的。
  那年是疫情的开始，我在家帮助老师做项目，一天一个同学告诉我老师让他看看“集群”，我第一次听到这个，很陌生，但是又很亲切。因为我原来在学校是帮老师做算法，往大点说人工智能。我们都知道人工智能的三要素：数据、算力，算法。集群可以往算力靠靠，所以很陌生却又很轻切。那天还有些映像，同学说我们试一试看看可不可以把我们的电脑连在一起（那时候都在自己的家里，远隔千里，又是私网，所以现在想想当初的想法有点好笑）所以我在私下里就搜了很多集群以及大数据的东西，学了一点hadoop，这便是我大数据的开端了。😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀😀
  过后不久，找了一家实习公司。入行那会，我问同事关于hadoop，同事直接告诉我现在已经没有人用hadoop。都在用spark或者flink。我半信半疑，但是既然学了一些hadoop又不想放弃，所以就私下继续学习hadoop，没有放弃（这里我推荐新手们，不管hadoop----当初同事说的是mapreduce，入行先看hadoop，包括mapreduce，这是底层，其中hadoop的一些组件是大数据必备，不管是spark还是flink，亦或者是其他组件）。
  好了，我的入行就到这。
  讲讲我的实习？好的。
  其实没啥好讲的，快乐大于心酸。🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺🤺。




\

兄弟们加油！我要开始冲了，加油。