- 博客(9)
- 收藏
- 关注
RSS订阅原创 Python - 内置函数、字符串方法、保留字
查看python内置函数：import builtinsfor b in dir(builtins):print(b)abs(int)取一个数的绝对值all(iterable)判断可迭代对象中所有元素是否全为True( 0、空、None、False),有则返回False,参数为空迭代对象时为Trueany(iterable)判断可迭代对象中有任意一个元素为真返回True,所有元素为空返回False,参数为空迭代对象返回Falseascii(int/str)把输入参数(如字符串字符参数
2020-07-19 15:26:53
390
原创 Linux - nginx服务器
nginx基本信息和基本操作1./var/log/nginx/access.log -->访问日志2./etc/nginx/nginx.conf -->配置文件3./etc/nginx/conf.d -->虚拟机配置文件4.service nginx start/stop/restart/reload -->开启/停止/重启/重载1) Nginx安装（方法1）1.yum install yum-utils2.vim /etc/yum.repos.d/
2020-07-19 15:23:41
159
原创 Linux - 搭建yum源服务器
本文以Centos 7为例:yum配置目录cd /etc/yum.repos.d查看当前使用的yum源yum repolist1) 新建存放所有yum源的文件夹 mkdir [file name]2) 同步当前镜像服务器中的yum源1.yum -y install yum-utils (安装reposync同步工具)2.reposync -r base -p /dir (-r 指定下载哪个库 -p 指定下载到哪里)3) 建立资料库repository索引1.yum -y
2020-07-19 15:18:35
534
原创 Linux - fdisk磁盘管理
df -h 查看硬盘状态1)fdisk -l -->查看存储情况2)fdisk /dev/newdisk -->磁盘分区m 查看命令说明d 删除分区p 查看分区列表n 创建新分区q 退出不保存w 保存退出3)mkfs.ext4 /dev/sdb5(具体分区部分) -->格式化分区4)mount /dev/sdb5 /mnt -->挂载到指定目录...
2020-07-19 15:12:11
151
原创 51job爬虫职位数据分析实战
国际惯例:导入模块import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport pymysql,reimport pyecharts.charts as pcfrom pyecharts import options as optsfrom pyecharts.globals import ThemeType%matplotlib inline加载数据# 创建mysql数据库对象conn = py
2020-07-19 14:51:37
1735
3
原创 scrapy爬虫实战 - 51job爬虫职位爬取
思路:首先爬取所有内容页的链接存储到数据库然后再新建一个scrapy 爬取这些链接需要用到的模块:scrapy urllib pymysql内容页链接爬取这里使用scrapy的通用爬虫框架创建命令:scrapy genspider -t crawl [name] [domains]# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spid..
2020-07-18 16:05:15
1278
原创 Python - 分布式爬取百度贴吧
Environment Configure:Scrapysettings.pymiddlewares.pytieba.pySeleniumRedisMongoDBLinuxstep 1:scrapy startproject namewindows写好的爬虫文件整个传进linux无法辨识settings.py属于哪个爬虫linux中创建scrapy爬虫windows中编写好scrapy爬虫文件对应覆盖linux中scrapy爬虫文件即可step 2:settings.py
2020-07-16 16:14:33
221
1
原创 豆瓣读书数据分析实战
本次分析内容:分析所有书籍评分情况热门书籍TOP20书名高频词汇作者出版书数量TOP20每年出版书籍数量分布热评作者TOP20每年出版最受欢迎的类别书籍最多的分类TOP20热评分类TOP20导入模块import pandas as pdimport numpy as npimport pymysql,reimport matplotlib.pyplot as plt%matplotlib inline读取数据库数据conn = pymysql.connect("l
2020-07-13 16:13:13
3878
2
原创 Python分布式爬虫实战 - 豆瓣读书
01.是否为整数>>> str="1234567890">>> str.isdigit()True02.是否为字母>>> str.isalpha()False
2019-08-06 15:26:55
1073
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人