- 博客(13)
- 收藏
- 关注
RSS订阅原创 动态页面内容抓取并保存json文件
话不多说，直接上代码#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020-03-26 20:52# @Author : 蓝狼# @File : scrapy3.py# @Desc : 抓取动态页面到json文件import jsonimport threadingimport timeim...
2020-03-26 22:26:41
632
原创 数据抓取实战demo
话不多说，直接上代码import requestsimport pymongofrom pyquery import PyQuery as pqimport reimport loggingfrom urllib.parse import urljoinlogging.basicConfig(level=logging.INFO, format='%(asctime)s - ...
2020-03-22 23:42:55
382
原创 python之pyquery
话不多少就是上代码#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020-03-17 21:16# @Author : 蓝狼# @File : star_data_scrapy.py# @Desc : 明星资料抓取import timeimport pymysqlimport requests...
2020-03-18 00:00:15
252
1
原创 python之多线程图片抓取
站点目标：https://www.2717.com/编写脚本：import osimport threadingimport timeimport requestsfrom bs4 import BeautifulSoupheaders = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3...
2020-03-08 16:25:29
3199
原创 docker下的nginx实战
使用docker搭建nginx服务1. 拉取nginx镜像docker pull nginx2. 简单启动nginx服务docker run -d -p 80:80 --name nginx-server nginx 参数说明： run 运行容器 -d = daemon 后台运行，守护进程 -p 端口映射。顺序为： 宿主机端口（即外部端...
2020-01-19 23:05:05
206
原创 PHP高级程序员所要掌握的技能
很多面试，很多人员能力要求都有“PHP高级工程师的字眼”，如果您真心喜欢PHP，并且您刚起步，那么我简单说说一个PHP高级工程师所应该具备的，希望给初级或已经达到中级的PHP工程师一些帮助。一、平静的心态和所有程序员一样，要写一手好的程序，没有好的心态是不行的。遇事不可急躁，不可轻言放弃。在程序开发过程中，尤其是初中级程序员，写出的程序或架构会遇到很多问题，其中一些问题比较弱智，...
2019-02-01 11:51:42
534
原创 swoole基础之毫秒定时器
在平常的开发中,我们最常用的方式处理,是使用linux提供的crontab功能进行定时处理.但是很明显它有一个缺陷,那就是时间的粒度只能是分钟级别的,如果想使用秒级的就不行了,这个时候我们的基于swoole的毫秒定时器就可以很好的解决这个问题. 系统提供了三个函数供调用: swoole_timer_tick,swoole_timer_after,swoole_...
2018-12-23 17:03:15
428
原创 swoole基础之task任务
日常对于比较耗时的操作,我们一般不影响性能和客户体验的情况,会将任务交给一个任务去执行,例如:发送邮件,广播...... 对于使用task任务,我们之前需要进行一个参数的必要设置:task_worker_num配置Task进程的数量，配置此参数后将会启用task功能。所以Server务必要注册onTask、onFinish2个事件回调函数。如果没有注册，...
2018-12-23 16:10:40
506
原创 swoole基础之websocket服务
websocket协议是基于tcp的一种新的网络协议.它实现了浏览器与服务器全双工通信 - 允许服务器主动向客户端发送消息 websocket的请求与普通的HTTP的请求不同支持,可以通过请求头,看出一些端倪: generalRequest URL: ws://192.168.33.20:8812/Request Method: GETStatus Code...
2018-12-22 17:12:00
408
原创 swoole基础之http-server
一般我们使用的http服务器都是例如Apache和NGINX的较多,同样swoole本身也自带了http的这种服务,可以直接进行使用,但是在这个的上层我们一般会加nginx服务进行fastcgi转发到swoole的http服务中. 一般我们在测试的使用可以使用两种常见的方式进行http服务的测试使用浏览器直接访问地址 +端口 (要HTTPserver要绑定0.0.0.0都...
2018-12-22 16:27:13
869
原创 swoole基础之tcp+client
最近工作需要,接触了swoole,感觉有必要好好学习一下,废话少说笔记走起~~~ 文档参考: https://wiki.swoole.com swoole一般以cli的方式方式来运行一个服务,所以在启动这个服务的时候,有些参数是需要进行必要设置的.进程的数量 worker_num (一般设置为CPU核数的1-4倍) 实用命令: ...
2018-12-22 15:52:04
316
原创 python之知识点总结
作为初学Python的小白来说，记录一些学习过程中遇到的问题是十分有必要的。 1）列表的声明方式不同，操作不同 a = b = []ora = []b = [] 第一种方式直接导致变量a与b的值是一致的，这个和PHP是有区别的。 2）对象可变性 在 python 中，strings, tuples, 和 numbers 是不可...
2018-12-09 22:46:10
125
原创 Python之注意事项
在学习Python的过程遇到了很多的坑，在此总结一下，继续努力学习 1. Python文件的名称 给一个Python脚本命名的时候，注意不要与自带类库的名称一样，否则，会报模块不存在或者模块中的某个方法不能使用和缺失。...
2018-12-09 22:11:02
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人