使用php的curl爬取登陆后的信息

php利用curl爬虫爬取微信公众号,防止ip封锁 public function test1Action(){ //搜狗抓取微信公众号 $url="http://weixin.sogou.com/weixin?type=1&s_from=input&query=农产品&ie=utf8"; $ifpost = 0; $datafields = ''; $cookiefile = ''; $v = false; //构造随机ip $i 阅读详情

<?php
//1:curl初始化
 $ch = curl_init();

//2:设置post数据
 $data = array (
		'post_xuehao' => '13110572068'
);

//3:设置请求的url
 curl_setopt($ch, CURLOPT_URL, "http://210.44.176.116/cjcx/xhcx_list.php");

//4:设置请求的参数
curl_setopt ( $ch, CURLOPT_POST, 1 );
curl_setopt ( $ch, CURLOPT_HEADER, 0 );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt ( $ch, CURLOPT_POSTFIELDS, $data );

//保存到文件,以注释
// $fop=fopen("test.html", "wr");
// if(!$fop){
// 	mkdir("test.html","wr");
// }
// curl_setopt($ch, CURLOPT_FILE,$fop);

//5:执行url,返回结果
$re=curl_exec($ch);

//6:打印到浏览器
echo $re;

//关闭curl
 curl_close($ch);
// fclose($fop);
?>

因为在近期的开发当中,经常的需要使用爬虫技术用来爬取网站的信息,这里,因为不想过多的再去学习一门新的语言,就使用已经掌握的php作为后台爬取脚本,听说python蛮不错的,但是,那只是听说,反正我用过是不怎么爽的,但是,无论什么言语,起根本的原理是相同的,这里使用curl工具进行爬取,特别注意的是,一定要打开php的curl扩展,否则无法使用,我记得在php5.4.3版本,有个无法解决的bug,就是无法使用curl,在linux上面,现在相关的扩展就可以使用了。下面是具体的实例代码:


PHP 下好用的爬虫类 支持登陆抓取 伪造cookie 立即下载

相关推荐

Canoe CAPL TCP通信避坑指南:从OnTcpConnect回调不触发到Socket句柄管理

本文详细解析了Canoe CAPL中TCP通信的常见问题与解决方案,包括OnTcpConnect回调不触发的三大原因、Socket句柄管理的内存泄漏风险、数据发送截断规则等。通过实战案例和代码示例,帮助开发者规避TCP通信中的典型陷阱,提升车载网络测试的稳定性和可靠性。

weixin_26976635的博客 358

php curl登录后保存登录状态,使用curl_init()进行了网站登陆以后,应该怎么保存登陆信息呢…...

该楼层疑似违规已被系统折叠隐藏此楼查看此楼function curlFetch($url, $cookie = "", $referer = "", $data = null) { $ch = curl_init($url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 返回字符串,而非直接输出 ...

weixin_32486581的博客 268

linux离线安装nginx

linux离线安装nginx

zhang_130914036的博客 9347

php用curl在已有后台账号密码情况下爬取后台数据

1.先用谷歌浏览器登录后台,登陆成功后F12-network抓取的数据包

qq_41991955的博客 951

【Excel VBA 编程】批量核对两张表格数据,行和列显示顺序均被打乱

利用数据字典在 Excel 中进行表格数据的核对,该表格含有多行多列,并且行和列顺序是打乱的,批量核对数据后将差异输出

wei1019的专栏 1293

使用IntelliJ IDEA配置版本管理(SVN和Git)

在开发过程中,版本管理是必不可少的一部分,它可以帮助团队协作、管理代码历史记录,并且提供了代码回滚和分支管理等功能。本文将介绍如何使用IntelliJ IDEA配置版本管理,包括SVN和Git两种方式,另外列举了常见的问题并指导修复,以帮助开发者更高效地进行代码管理和协作。

2870

PHP通过CURL模拟登录并获取数据

<?php/*通过CURL模拟登录并获取数据 一些网站需要权限认证,必须登录网站后,才能有效地抓取网页并采集内容, 这就需要curl来设置cookie完成模拟登录网页,php的curl在抓取网页内容方 面效率是比较高的,而且支持多线程,而file_get_contents()效率就要稍低 些。模拟登录的代码如下所示:*/ function login_post($url, $cookie, ...

weixin_33843947的博客 557

Spec Kit:GitHub 官方推出的规范驱动开发工具包,让 AI 编程真正可控、高效、高质量

先明确“做什么”和“为什么”,再考虑“如何做”。它通过一系列标准化命令(如/specify/plan/implement可验证的功能规格(spec)可执行的技术方案(plan)可追溯的开发任务(tasks)高质量的实现代码(code)最终实现“规范即代码,代码即规范”的闭环。📌项目地址许可证:MIT(完全开源,欢迎贡献)Spec Kit 代表了 GitHub 对AI 原生开发(AI-Native Development)AI 不应替代开发者,而应放大开发者的意图。

lpfasd123的博客 1712

php的curl扩展抓取信息——模拟登陆成功却无法抓取页面等问题

最近我编辑了一个程序抓取某平台的用户的新信息并将其以邮件的形式发送。与普通的抓取页面信息不同的是,此程序涉及到了模拟登陆的过程。 技术:php的curl扩展和smtp/mime 发送邮件 难点说明:1.模拟登陆对于cookie的处理是将其存在一个文件中,页面跳转抓取信息时用来当通信证,程序结束时再删除该文件。             $cookie= dirname(__FILE__

lorielei的博客 1138

数据库小技能:数据导入脚本

背景:版本大升级,从2.0升级到3.0 ,服务端开发语言从c#换到java语言。数据库类型从microsalft sql server 换到mysql。数据来源于微信,用于查询卡bin。

专注于计算机研发知识和资讯分享 774

手把手教你学Simulink——基于传统电网建模与稳定性分析的场景实例:基于同步发电机的单机无穷大系统建模与稳定性分析

本文详细介绍了使用MATLAB/Simulink进行单机无穷大系统(SMIB)建模与稳定性分析的方法。教程从系统结构设计入手,包含同步发电机、输电线路、无穷大母线等核心模块的建模步骤和参数配置示例。重点讲解了七个关键步骤:项目创建、模块配置、控制系统集成、负载添加(可选)以及仿真运行与结果分析,并提供了具体的MATLAB代码示例。最后通过性能评估指标(功角差、电压跌落、频率偏差)分析系统稳定性,为电力系统动态特性研究提供了实用指导,强调准确参数设置对仿真结果的重要性。

MHD0815的博客 298

php 模拟登陆爬取_PHP 之 CURL 模拟登陆并获取数据

1、CURL模拟登陆的流程和步骤2、tempnam 创建一个临时文件3、使用CURL模拟登陆到PHP100论坛$cookie_file=tempnam('./temp','cookie');$login_url='http://bbs.php100.com/login.php';$post_fields='cktime=31536000&step=2&pwuser=ph...

weixin_39756235的博客 160

[24] cuda 应用之 nppi 实现图像颜色通道变换

[24] cuda 应用之 nppi 实现图像颜色通道变换

yohnyang的博客 343

php通过cURL爬取数据(1):ajax接口、cookie伪造爬取、文件头信息

cURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。当然,PHP也支持 cURL 库,用来模拟浏览器访问网页、上传文件、下载文件等操作

挖掘大数据价值,让决策者快速洞悉趋势,让大众读懂数据背后的故事。 1785

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

php 模拟登陆爬取_PHP利用CURL模拟登陆并获取数据

[php]< ?php$cookie_file=tempnam('./temp','cookie');$login_url='http://renrenstudy.com/login.php'; // 此处设置登录表单提交指向的action$post_fields='username=test&password=123'; ...

weixin_39741459的博客 207

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

php 模拟登陆爬取_PHP模拟登陆抓取页面内容

平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来的这个cookies再次发送请求来获取页面内容,下面我们直接上代码...

weixin_39654751的博客 410

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

php 模拟登陆爬取_PHP中使用CURL模拟登录并获取数据实例

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用。PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,...

weixin_39643244的博客 290

php 爬虫 登陆,php curl 需要登录爬取页面

$data='username=demo_peter@126.com&password=123qwe&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URLcur...

weixin_32163411的博客 520

php 模拟登陆爬取_php模拟登陆

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。代码实战先来看登录部分的代码://模拟登录functionlogin_post($url,$cookie,$post){$curl=curl_init();//初始化curl模块curl_setopt($curl,CU...

weixin_39814454的博客 332

php 模拟登陆爬取_PHP模拟登录并获取数据

举例:从某网站显示行情图表的页面抓取数据,用到自己的网站中。观察:是从 http://*****.com/HQ/Getpost:两个参数,goods,line就能返回json数据格式。用postman,调用接口能够返回此json数据。那现在怎么使用到自己的网站呢?前台:主要代码后端:主要代码Application/Home/Controller/H*Controller.class.php中pub...

weixin_39620629的博客 1389

php 模拟登陆爬取_PHP 使用 curl post 模拟登录

32015-06-07 11:39:56 +08:00抓包工具看看header里面的参数是不是一样。应该就是content-type类型没对mac抓包httpscoop参考下我最近写的一个论坛的$data = $_POST;//请求登陆地址$url = "http://passport.uc108.com/login.aspx?mode=1";$data = array('username' =&...

weixin_39834084的博客 127

php 模拟登陆爬取_phpcurl模拟登录并获取网页内容

class CURL{var $cookie_file; // 设置Cookie文件保存路径及文件名var $loginurl; //登陆地地址var $actionstr; //登陆参数function __construct(){$this->cookie_file=tempnam("./TEMP","COOKIEdsdsdsdsdsdwerwdszx454.txt");}functio...

weixin_28812943的博客 455

php 模拟登陆爬取_php curl 模拟登录并获取数据实例详解

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。代码实战先来看登录部分的代码://模拟登录function login_post($url, $cookie, $post) {$curl = curl_init();//初始化curl模块curl_setopt($curl, CU...

weixin_39629093的博客 177

php模拟登陆360网站 爬取360指数

爬取360指数三部曲 获取360用户的token 通过账号、密码、token模拟登陆,获取cookie 设置cookie,爬取360指数 代码实现 &lt;?php class CrawlerOf360Data { private $curl; function __construct() { $this-&gt;init_curl_...

ZS的博客 1648

PHP使用Curl实现模拟登录及抓取数据功能记录

PHP使用Curl实现模拟登录及抓取数据功能示例 模拟提交登录表单: $ post_url = 'http://www.xxxx'; //登录表单提交地址 $post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据(根据表单字段名和用户输入决定) $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $ post_url); curl_se

weixin_45237065的博客 621

使用PHP的curl爬取百度搜索页相关搜索词

使用PHP获取百度搜索的第一个相关搜索词 详细代码如下 $key_word = urlencode('王者荣耀');//需要对关键词进行url解析,否者部分带字符的标题会返回空 $url = 'https://www.baidu.com/s?ie=UTF-8&amp;wd='.$key_word; $res = curl_request($url); $reach_word = su...

Ersan_Yi的博客 4002
上一篇: 使用Hibernate时数据库的设计问题
下一篇: python的语法基本使用
宇宙第一帅
博客等级 码龄12年 22粉丝 147原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值