- 博客(14)
- 收藏
- 关注
RSS订阅原创 爬虫定时任务
import timefrom scrapy import cmdlinedef doSth(): # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name cmdline.execute('scrapy crawl zhilian_spider'.split())# 想几点更新,定时到几点def time_ti(h=17, m=54): ...
2018-12-24 15:22:36
755
2
原创 数据库三大范式
数据库三大范式- 数据库在是设计时对数据库春初性能，还有开发人员对数据的操作都有很大关系，建立科学数据库需要满足一些规范来优化数据存储方式，在关系型数据库总规范叫做范式第一范式 1NF 原子性 不可以再分割用户id 用户名 密码 姓名 联系方式001 test 123456 张三 13888888888家庭住址:不符合第一范式 因为 可以将联系方式 继续拆...
2018-12-05 22:15:32
245
原创 定时任务 启动级别 软件安装常用命令
Linux 的启动级别vim /etc/rc-sysinit.conf 设置启动级别 第14行 env DEFAULT_RUNLEVEL=2Ubuntu 默认启动级别 2 redhat 默认启动级别 3 Ubuntu redhat0 关机 关机1 单用户模式 以root的身份开启...
2018-12-04 20:30:50
271
1
原创 linux vim编辑 网络管理 进程管理 登录状态
vi vim编辑器sudo apt-get install vim 编辑模式 vi 文件 先进入命令模式 然后 i o a s 进入编辑模式 英文状态下按键作用o在光标的下一行输入i在光标所在的位置插入元素esc回到命令模式a在光标的下一个位置输入内容s先删除光标所在位置的字符S删除光标所在行的内容 然后输入...
2018-12-04 19:56:29
231
原创 ubuntu nginx 编译安装、开机启动及常见错误
编译安装nginx安装依赖sudo apt-get install gcc automake autoconf libtool make build-essential libpcre3-dev 下载软件wget -c https://ftp.pcre.org/pub/pcre/pcre-8.42.tar.gzwget -c https://www.openssl.org...
2018-12-04 15:35:06
628
1
原创 验证码登录及实例
图形验证码、极验验证码（1）手动输入（2）光学识别 OCR毕竟是机器，一般识别率 80% 仅限于简单的图形验证码指令识别，tesseract 图片名字 lala 0%代码识别，60%pip install pytesseractpip install pillow（3）打码平台云打码import requestsfrom bs4 import BeautifulSoup...
2018-11-23 09:09:20
338
原创 bs4实例，并保存mysql、mongodb数据库
BeautifulSoup, 用来解析html数据，提供的接口非常的人性化，简单安装：pip install bs4pip源，默认从国外源安装，我们指定为国内源安装，阿里源、豆瓣源Ubuntu源，（1）指令配置源 pip install bs4 -i 源地址（2）永久配置 pip install bs4windows 1、打开文件资源管理器 2、地址栏输入 %appdata%...
2018-11-23 08:55:26
408
原创 加密数字文字的爬取
爬取起点的数据信息，其中数字是加密的，需要下载包pip install fonttoolsfrom fontTools.ttLib import TTFontfont.getBestCmap()import requestsimport refrom lxml import etreefrom fontTools.ttLib import TTFontfrom io import ...
2018-11-21 18:16:53
599
原创 多线程爬虫
如何理解线程？比如在qq里面，可以同时语音和视频，在word里面，可以同时打字、拼写检查这些同时执行的就可以理解为线程进程和线程的区别（1）线程属于进程，一个线程只能属于一个进程，一个进程里面可以有多个线程。（2）系统分配资源的基本单位是进程。（3）系统调度资源的基本单位是线程。线程和队列，生产者消费者模型while 1:生产数据消费数据生产数据线程数据队列消费数据线程...
2018-11-21 09:14:59
176
原创 spider
1.xml是什么？和json处在同一个位置，后端给前端传输数据的时候使用的数据格式，目前以json使用居多xml：可扩展标记语言 html：超文本标记语言不同： （1）xml用来传输和存储数据，html用来显示数据（2）xml标签可以自行定义，html不行（3）xml是纯文本信息，html是超文本信息 xpath是什么？xpath是用来解析xml数据的xpath和html有什么关系？...
2018-11-17 11:29:33
180
原创 spider
1、bs4 BeautifulSoup,用来解析html数据，提供的接口非常的人性化，简单 安装：pip install bs4 pip源，默认从国外源安装，我们指定为国内源安装，阿里源、豆瓣源 Ubuntu源，（1）指令配置源 pip install bs4 -i 源地址 （2）永久配置 pip install bs4 windows 1、打开文件资源管理器 2、地址栏输入 %appd...
2018-11-17 11:28:05
189
原创 spider
1、cookie cookie是什么？http协议，发请求-给响应 发请求-给响应 无状态特性 有问题的。 登录请求-响应 登录后请求-响应 这个问题如何解决？ 引入了cookie，会话机制 登录请求-响应 响应的头部会有一些信息发给客户端，缓存起来 登录后请求-响应 请求的时候，将你保存的信息带过来即可 session 信息的保存，cookie保存到客户端，session，信息保存到服务端，s...
2018-11-17 11:15:51
166
原创 爬虫基础
1、构建请求对象headers = { 这里面写需要定制的请求头，想定制哪个定制哪个 } request = urllib.request.Request(url=url, headers=headers) response = urllib.request.urlopen(request)2、模拟各种请求方式get post ajax-post ajax-get https://fe-ap...
2018-11-17 11:14:35
170
原创 爬虫
1.爬虫概念 爬虫是什么？生活中，爬虫就是爬行的虫子，毛毛虫、蛆、蜘蛛（spider） 蜘蛛网：从任何一端都可以到达任何一端，由很多的节点构成 互联网爬虫。通用爬虫：百度、搜狗、谷歌、360、必应等 搜索引擎工作：将互联网中所有的数据全部爬取下来，给用户提供检索服务自己的网站呢？博客，阿里云服务器，放上去了，放到网上了百度能不能抓取你的网站？（1）其它网站中设置友情链接（2）主动提...
2018-11-17 11:00:08
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人