破解idea，了解numpy

Window如何向虚拟机中拷贝文件

1. 安装vmtools后可直接共享内存，这样就可以直接粘贴

2. 通过xftp一类工具共享文件

 

编辑文件：

vi

Gendit

 

承载数据 item

请求对象 request

响应对象 response

 

引擎   engine

蜘蛛   spider

管道   pipeline

中间件 middleware

调度器 scheduler

 

破解idea（18版）：

通过网址获得http://idea.lanyus.com/（注册码有效期为2018年5月5日至2019年5月4日）

通过vi /etc/hosts

访问文件

再末尾添加“0.0.0.0 account.jetbrains.com”添加到hosts文件中

:wq退出（使用root用户登录保存）

 

爬虫根据url

Tcp  http  ftp  udp  smtp  rtsp

我们的爬虫主要根据http协议（网站爬虫）

 

And 并且   （两个数有一个为0就是false）

Or 或者    （两个数有一个不为0就是true）

Xor 疑惑   （两个数相同boolean意义时就为false）

Not 取反   

 

np.xxx

ndarray.xxx

区别：np.xxx函数使用方式，是有返回值，

 

打开丘比特笔记：

打开jupyter-notebook --ip 地址

 

Window系统下访问丘比特笔记需要关闭防火墙：

打开终端，然后切换root用户：

然后执行关闭防火墙命令：systemctl stop firewalld

 

 

Numpy : 一个多维数组处理工具类库

Plot    :数据绘图工具类库

          定义数据 （numpy数据）

          定义子图 （subplots）

          画图      plot      ：数据变化   线

                    Scatter  ： 数据变化   点

                    bar    数据变化              条

                    pie    数据中每个分类占比     饼形图

                    boxplot  分析数据分布  （箱型图）

hist    数据变化    柱状图

显示     

 

 

 

Pandas : 是一个数据分析的类库（前面两个总和）

Python  data analysis library 官网 （可以到向导中才看图表样式代码Tutorials）

import pandas as pd

 

       Dataframe 数据读入

                  Read_json

                  Html

                  Sql                  Csv

                  Excel

 

               数据写出

                   

        数据结构：

              第一个：series      是一个 一维的ndarray，带有标签，可以使用标签作为索引，

                                 尺度不能改变，里面数据可以改变

                      

              第二个：dataframe  是一个二维的ndarray，带有标签，可以通过列标签索引，

                                 尺度可变，数据可变

       数据访问和变换，统计：

              

       数据展示

 

 

数组ndarray

NumPy最重要的一个特点就是其N维数组对象（即ndarray）,该对象是一个快速而灵活的大数据集容器，该对象由两部分组成：

· 实际的数据；

· 描述这些数据的元数据；

大部分的数组操作仅仅是修改元数据部分，而不改变其底层的实际数据。数组的维数称为秩，简单来说就是如果你需要获取数组中一个特定元素所需的坐标数，如a是一个2×3×4的矩阵，你索引其中的一个元素必须给定三个坐标a[x,y,z]，故它的维数就是3。而轴可以理解为一种对数组空间的分割，以数组a为例，如果我们以0为轴，那么a可以看成是一个由两个元素构成的数组，其中每个元素都是一个3×4的数组。

我们可以直接将数组看作一种新的数据类型，就像list、tuple、dict一样，但数组中所有元素的类型必须是一致的，Python支持的数据类型有整型、浮点型以及复数型，但这些类型不足以满足科学计算的需求，因此NumPy中添加了许多其他的数据类型，如bool、inti、int64、float32、complex64等。同时，它也有许多其特有的属性和方法。

常用ndarray属性：

· dtype        描述数组元素的类型

· shape       以tuple表示的数组形状

· ndim         数组的维度

· size           数组中元素的个数

· itemsize    数组中的元素在内存所占字节数

· T               数组的转置

· flat            返回一个数组的迭代器，对flat赋值将导致整个数组的元素被覆盖

· real/imag  给出复数数组的实部/虚部

· nbytes      数组占用的存储空间

常用ndarray方法：

· reshape(…)                                 返回一个给定shape的数组的副本

· resize(…)                                    返回给定shape的数组，原数组shape发生改变

· flatten()/ravel()                            返回展平数组，原数组不改变

· astype(dtype)                              返回指定元素类型的数组副本

· fill()                                              将数组元素全部设定为一个标量值

· sum/Prod()                                  计算所有数组元素的和/积

· mean()/var()/std()                        返回数组元素的均值/方差/标准差

· max()/min()/ptp()/median()          返回数组元素的最大值/最小值/取值范围/中位数

· argmax()/argmin()                       返回最大值/最小值的索引

· sort()                                           对数组进行排序，axis指定排序的轴；kind指定排序算法，默认是快速排序

· view()/copy()                               view创造一个新的数组对象指向同一数据；copy是深复制

· tolist()                                          将数组完全转为列表，注意与直接使用list(array)的区别

· compress()                                  返回满足条件的元素构成的数组