
爬虫
天下皆白_唯我独黑
爱我所爱,恨我所恨,墨眉无锋,似剑非攻。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python 爬取抖音个人分享页面信息保存到数据库
注释:本文仅用于技术学习1、分享链接存入缓存redis2、python读取缓存队列信息3、访问页面解析页面的值4、存入mysql数据库redis缓存如图事先存入队列,数据库存储结果数据库结构CREATE TABLE `tj_douyin` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `dy_id` va...原创 2019-10-29 12:40:35 · 2137 阅读 · 0 评论 -
PHP 爬虫抓取歌词
<?phpheader("Content-type:text/html;charset=utf-8");class Small_crawler{ protected $regular; //获取内容正则 protected $url; //源头 protected $i; //控制数量 protec...原创 2018-04-08 15:37:47 · 1099 阅读 · 0 评论 -
PHP 爬虫模拟登录签到(PC版)
<?php date_default_timezone_set('Asia/Shanghai'); echo "执行开始:-----".date("Y-m-d H:i:s", time())."-----";$user = '13*****2014'; //用户名$pwd = '12****67'; //密码$url = 'https://www.********/ac...原创 2018-04-08 15:47:21 · 1433 阅读 · 3 评论 -
Python selenium 模拟ip 代理ip地址访问
本章讲述Google Chrome浏览器方法1、安装python与selenium模块2、非常重要:查看Chrome版本3、非常重要:下载对应的chromedriver程序官网地址-需要翻墙:https://sites.google.com/a/chromium.org/chromedriver/downloads这边是我下载好的包:https://download.csd...原创 2019-03-26 16:12:44 · 6647 阅读 · 2 评论 -
php 制作自己的ip地址池 爬虫做自己的ip代理池
1、要找一个免费能打开的ip代理网址https://www.xicidaili.com/nt/12、上代码<?php/** * php制作自己的ip池 * User: * Date: 2019/3/29 * Email: */ini_set('date.timezone', 'Asia/Shanghai'); //定义时间地点header("Content-t...原创 2019-03-29 11:51:17 · 3733 阅读 · 0 评论