ay_FuronG的博客

原创 四种统计图代码

Matplotlib 安装本章节，我们使用 pip 工具来安装 Matplotlib 库，如果还未安装该工具，可以参考Python pip 安装与使用。升级 pip：python3 -m pip install -U pip安装 matplotlib 库：python3 -m pip install -U matplotlib安装完成后，我们就可以通过 import 来导入 matplotlib 库：importmatplotlib以下实例，我们通过导入 ..

原创 mysql-思维导图

原创 py&爬虫&pandas

1.Pandas 教程Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、M...

原创 py-爬虫-numpy函数

1.入门numpy介绍（终极目的：读取文件数字数据进行处理，文字处理用pandas（后面讲））NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其它扩展而开发了 Num...

原创 Java操作hdfs

1.winutil处理1.解压hadoop-2.6.1到D盘2.配置环境变量2.处理Java连不上hdfs1.1.删除tmp2.修改配置修改namenode的地址为具体IP (之前写的localhost)修改slaves文件,为具体IP3. 格式化hdfshadoop namenode –format4.启动HDFSstart-dfs.sh3.JAVA代码如何理解Mapper LongWri...

原创 Hadoop伪分布式搭建

1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop ...

原创 Mysql优化

1.参数优化MySQL性能优化之参数配置1、目的：通过根据服务器目前状况，修改Mysql的系统参数，达到合理利用服务器现有资源，最大合理的提高MySQL性能。2、服务器参数：32G内存、4个CPU,每个CPU8核。3、MySQL目前安装状况。MySQL目前安装，用的是MySQL默认的最大支持配置。拷贝的是my-huge.cnf.编码已修改为UTF-8.具体修改及安装MySQL,可以参考<<Linux系统上安装MySQL5.5>>帮助文档。...

原创 网络爬虫-xpath

Xpath的作用:XPath 是一门在 XML 文档中查找信息的语言。XML文档包括: HTML / XHTMLXML / XML NamespacesXPath的节点:请看下面这个 XML 文档：<?xml version="1.0" encoding="UTF-8"?><bookstore> <book> <title lang="en">Harry Potter</title>...

原创 Linux权限&服务

Linux的权限管理操作Linux的权限操作与用户、用户组是兄弟操作。一、权限概述总述：Linux系统一般将文件可存/取访问的身份分为3个类别：owner、group、others，且3种身份各有read、write、execute等权限。1、权限介绍什么是权限？在多用户（可以不同时）计算机系统的管理中，权限是指某个特定的用户具有特定的系统资源使用权力，像是文件夹、特定系统指令的使用或存储量的限制。在Linux中分别有读、写、执行权限：读权限： 对于文件...

原创 Msql事务&储存过程&触发器

1.事务原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。 一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包含资料的精确度、串联性以及后续数据库可以自发性地完成预定的工作。 隔离性：数据库允许多个并发事务同时对其数据进行读写和修改的能力，隔离性可以防止多个事务并发执行时由于交叉

原创 Scrapy框架安装&案例&入门

W1.安装indows 平台：我的系统是 Win7，首先，你要有 Python，我用的是 2.7.7 版本，Python3 相仿，只是一些源文件不同。 官网文档：Installation guide — Scrapy 2.6.1 documentation，最权威哒，下面是我的亲身体验过程。 1. 安装 Python 安装过程我就不多说啦，我的电脑中已经安装了 Python 2.7.7 版本啦，安装完之后记得配置环境变量，比如我的安装在 D 盘，D:\python2.7.7，就把以下两个路径.

原创 Python网络爬虫-网页爬取

原创 LINUX Shell脚本

Shell基础一、关于shell1、什么是shell什么是shell？Shell（外壳） 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。什么是脚本？脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本： JavaScript（JS，前端），VBScript，

原创 sql 索引优化

原创 Linux指令-唐战伟

基础指令1、ls指令含义：ls （list）用法1：#ls含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#ls 路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径。相对路径：相对首先得有一个参照物（一般就是当前的工作路径）； 相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对...

原创 SQL基础语法-唐战伟

1.建库建表语法，字段数据类型 CREATE DATABASEIF NOT EXISTS库名DEFAULTCHARSET编码格式; CREATE TABLE IF NOT EXISTS 表明（字段名1数据类型主键自增, 字段名2数据类型(长度)非空唯一默认值 备注, 字段名3数据类型空）2.增删改查语法 (1). 增加多条 ...

原创 网络爬虫-唐战伟

1.爬虫入门程序2.爬虫程序添加data、header，然后post请求3.爬虫程序添加cookie4.正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。...