Maynor的博客

Anaconda（水蟒）：是一个科学计算软件发行版，集成了大量常用扩展包的环境，包含了 conda、Python 等 180 多个科学计算包及其依赖项，并且支持所有操作系统平台。下载地址：https://www.continuum.io/downloadsl 安装包：pip install xxx,conda install xxxl 卸载包：pip uninstall xxx,conda uninstall xxx。

函数式编程#Python中的函数式编程return x*x#2-lambda 匿名函数 java: x=>x*x 表达式 Scala:x->x*xreturn x+y# 语法 lambda表达式语言：【lambda 变量：表达式】# 列表表达式 [表达式 for 变量 in 可迭代的序列中 if 条件]#3-reduce# 4-filter1','***']print(list(filter(func,seq1))) #返回 filter 对象# sorted()

测试：目前node1是主节点，node2是standby备用主节点，这时候将node1 的master进程干掉，然后看node2的master是否能够接替node1的master的作用，成为active的master。3）、Executor在接收到Task后，会下载Task的运行时依赖，在准备好Task的执行环境后，会开始执行Task，并且将Task的运行状态汇报给Driver；#执行计算的过程在worker中，一个worker有很多executor(进程)，一个executor下面有很多task(线程)

能够知道 DataFrame 和 Series 数据结构能够加载 csv 和 tsv 数据集能够区分 DataFrame 的行列标签和行列位置编号能够获取 DataFrame 指定行列的数据locilocloc和iloc的切片操作[]

pandas是用于数据分析的开源Python库，可以实现数据加载，清洗，转换，统计处理，可视化等功能。pandas最基本的两种数据结构：1）DataFrame用来处理结构化数据（SQL数据表，Excel表格）可以简单理解为一张数据表(带有行标签和列标签)2）Series用来处理单列数据，也可以以把DataFrame看作由Series对象组成的字典或集合可以简单理解为数据表的一行或一列csv 和 tsv 文件都是存储一个二维表数据的文件类型。

Spark风雨十年s2012年Hadoop1.x出现，里程碑意义2013年Hadoop2.x出现，改进HDFS，Yarn，基于Hadoop1.x框架提出基于内存迭代式计算框架Spark1-Spark全家桶，实现离线，实时，机器学习，图计算2-spark版本从2.x到3.x很多优化3-目前企业中最多使用Spark仍然是在离线处理部分，SparkSQL On HiveSpark 是什么Spark是一个处理大规模数据的计算引擎扩展阅读：Spark VS HadoopSpark和Hadoop对比。

偶然间想到每天推送新闻给自己，在网上搜了下果然有轮子，不过代码跑不起来，于是自己改了下。

创始人吉多·范罗苏姆龟叔为什么要学习Python大势所趋，简单易学，使用范围广我们本次学习使用Python3.x版本Python在大数据生态中应用非常广泛。

转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序， 打字很浪费时间滴。在这个实例中，我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序。尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Pytho

任何学习过程都需要一个科学合理的学习路线，才能够有条不紊的完成我们的学习目标。以往的数据开发，需要一定的Java基础和工作经验，门槛高，入门难。今天特别为大家整理了一个全面的Python+大数据学习路线图，帮大家理清思路，攻破难关！本路线图适合零基础入门数据开发行业的小伙伴，从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘、机器学习、实时计算在内的各种大数据集成任务。PS：等不及的同学可以直接翻到文末点击阅读原文查看路线图 。别忘了收藏呦，此套

Python+selenium 自动化 - B站短视频发布第一章：效果展示① 效果展示② 素材展示第二章：实现过程① 调用已启用的浏览器② 上传视频和图片③ 自定义标签的输入④ 完整源码展示第一章：效果展示① 效果展示② 素材展示一个为视频，另一个为像素大小不小于视频的封面。第二章：实现过程① 调用已启用的浏览器通过调用已启用的浏览器，可以实现直接跳过每次的登录过程。使用方法可以查看：Python+selenium 自动化-操作已启用的 chrome 浏览器实例演示，c

Python的pyecharts安装，导入map、geo模块，画地图1、安装pyecharts**注意：**安装pyecharts是pyecharts==0.1.9.4版本的安装指令：pip install pyecharts==0.1.9.42、安装模块全球国家地图：echarts-countries-pypkg中国省级地图：echarts-china-provinces-pypkg中国市级地图：echarts-china-cities-pypkg安装指令：第一种：pip instal

Python简单教程Python综述1.1 python是什么Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。Python是交互式语言： 这意味着，我们可以在一个Python提示符后面直接互动执行写自己的程序。Python是面向对象

PySpark使用pyspark:• pyspark = python + spark• 在pandas、numpy进行数据处理时，一次性将数据读入 内存中，当数据很大时内存溢出，无法处理；此外，很多执行算法是单线程处理，不能充分利用cpu性能spark的核心概念之一是shuffle，它将数据集分成数据块， 好处是：• 在读取数据时，不是将数据一次性全部读入内存中，而是分片，用时间换空间进行大数据处理• 极大的利用了CPU资源• 支持分布式结构，弹性拓展硬件资源。pyspark:• 在

爬⾍概述什么是爬⾍?不知道各位是否遇到过这样的需求. 就是我们总是希望能够保存互联⽹上的⼀些重要的数据信息为⼰所⽤.⽐如,在浏览到⼀些优秀的让⼈⾎脉喷张的图⽚时. 总想保存起来留为⽇后做桌⾯上的壁纸在浏览到⼀些重要的数据时(各⾏各业), 希望保留下来⽇后为⾃⼰进⾏各种销售⾏为增光添彩在浏览到⼀些奇奇怪怪的劲爆视频时, 希望保存在硬盘⾥供⽇后慢慢品鉴在浏览到⼀些⼗分优秀的歌声曲⽬时, 希望保存下来供我们在烦闷的⽣活中增添⼀份精彩那么恭喜你. 本课程将⼗分的适合于你. 因为爬⾍就是通过编写

项目介绍：自动邮件天气提醒体验自动邮件发送是常见的办公需求，例如你有日常发送报表的工作，或者用Python写了一个监控天气的脚本，就可以通过邮件的方式来提醒自己，方便你的生活和工作。本项目共有八个任务，可带你制作监控和查询城市天气脚本，了解邮件发送的思路，设置邮箱，并发送一封简单的天气监控邮件，在项目实践的过程中学习基础的Python知识。快打开右侧的在线编程环境，开始你的Python编程之旅吧。任务一：第一行代码体验Python跟我练可以在线输入Python代码,带你快速专注的学习Pytho