curl采集循环数据

PHP使用CURL MULTI实现并发采集的例子 在本文中,我们将介绍如何使用PHP的CURL MULTI功能来实现并发采集。CURL MULTI是一个强大的工具,可以让我们同时发起多个HTTP请求,并在它们完成时获取结果。通过利用CURL MULTI功能,我们可以在PHP中轻松实现并发的HTTP请求,从而提高数据采集的效率。我们使用一个循环来持续执行该函数,直到所有请求都完成。接下来,我们创建了多个CURL句柄,并为每个句柄设置URL和其他必要的选项。在上面的代码中,我们首先创建了一个CURL MULTI句柄。函数将每个CURL句柄添加到批处理句柄中。 阅读详情
<?php 
header("content-type:text/html;charset=utf-8");
/**
 * @author   Cpath
 * @time     2016/5/8
 * curl采集获取10页图片数据
 */

if (!is_file('./photo')) {
        mkdir('./photo');
    }
//$dns="mysql:host=127.0.0.1;dbname=article";
//$p=new PDO($dns,"root","root");
//$p->query("set names utf8");
$preg='#<tr>[\r\t\s\n]+<td class=".*" valign=".*">[\r\t\s\n]+<ul id=".*"  class=".*">[\r\t\s\n]+<li class=".*">[\r\t\s\n]+<span class=".*">[\r\t\s\n]+<center>[\r\t\s\n]+<a href=".*" target=".*" onclick=".*">[\r\t\s\n]+<img border="\d+" id=".*" src="(.*)" width="\d+" height="\d+" sizew="\d+" sizeh="\d+" class=".*"/>[\r\t\s\n]+</a>[\r\t\s\n]+</center>[\r\t\s\n]+</span>[\r\t\s\n]+</li>[\r\t\s\n]+</ul>[\r\t\s\n]+</td>[\r\t\s\n]+</tr>#isU';


for ($i=0; $i <=240; $i++) { 
    $url="http://image.yodao.com/search?q=%E5%A4%A9%E8%8A%B1%E6%9D%BF%E5%9B%BE%E7%89%87&keyfrom=image.nextPage&start=".$i+=24;

    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    $con=curl_exec($ch);



preg_match_all($preg,$con,$res);
$images = $res[1];
    foreach ($images as $key => $value) {
        set_time_limit(0);
        $file=file_get_contents($images[$key]);
        //获取图片扩展名
        $pathex=pathinfo($images[$key]);
        $img=str_replace('0.','',str_replace(' ','',microtime())).'.'.$pathex['extension'];
        $success=file_put_contents("./photo/".$img,$file);
        //入库
        //$sql="insert into goods(img) value('".$img."')";    
        //$pre=$p->prepare($sql);
        //$success=$pre->execute();

        if($success){
            if ($i%24==0) {
                echo "目前采集了".$i."张图片<br/>";
            }
        }else{
            echo "采集失败";
        }
    }

    curl_close($ch);

}
include 'db.php';

#采集数据添加入库
#前台列表以news_1.html 的伪静态形式展示
#增加搜索,列表,缓存(redis)
#批量生成html
function curl($url){
    $ch =  curl_init();
    curl_setopt($ch, CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_HEADER, 0);//设置为0、1控制是否返回请求头信息
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $output=curl_exec($ch);
    curl_close($ch);
    return $output;
}
$start=isset($_POST['start'])?isset($_POST['start']):'';
$file1=isset($_POST['file1'])?isset($_POST['file1']):'';
if($start=='start'){
    $url="http://auto.ifeng.com";
    $output=curl($url);
    $preg = '#<div class="artb artb1" >[\r\n\t\s]+<a href="(.*)" .*><img ifengsrc="(.*)" src=".*" alt=".*"></a>.*<a .*>(.*)</a>.*<span class="t1">(.*) &nbsp;.* (\d{4}[-]{1}\d{2}[-]{1}\d{2} \d{2}[:]\d{2})</span>.*<div class="imgt_con">(.*)</div>.*</div>#isU';#凤凰汽车 &nbsp; [谍照] &nbsp; KKND &nbsp; 2017-02-04 08:21
    preg_match_all($preg,$output,$res);
//print_r($res);
# 数据入库

    for($i=0;$i<count($res[1]);$i++){
        $sql = 'insert into news_cache (dsurl,img,title,brand,`time`,content) values ("'.$res[1][$i].'","'.$res[2][$i].'","'.$res[3][$i].'","'.$res[4][$i].'","'.$res[5][$i].'","'.$res[6][$i].'")';
        $dbh=db();
        $su=$dbh->exec($sql);
        if($su){
            header("Location:news_list.php");
        }else{
            echo "采集失败----";

        }

    }
}elseif($file1=='file1'){

    $dbh=db();
    $sth = $dbh->prepare("select id,dsurl from news_cache");
    $sth ->execute();
    $result = $sth->fetchAll(PDO::FETCH_ASSOC);

   for($i=0;$i<count($result);$i++){
       ob_start(); //打开输出缓冲区
       $cacheTime = 864000; //设置缓存页面过期时间
       $cacheDir = 'cacheDir'; //设置缓存页面文件目录
       if (!is_dir($cacheDir)) mkdir($cacheDir); //判断目录是否存在,否则创建目录
       $cacheFile = $cacheDir.'/'.'news-car-'.$result[$i]['id'].'.html'; //缓存文件路径,文件以日期命名
       #redis 缓存文件 id
       $redis = new redis();
       $redis->connect('127.0.0.1','6379');
       $redis->auth('root');

       //设置带有效期的字符串(String)
      // $redis->delete("car-".$result[$i]['id']);
       $redis->setex("car-".$result[$i]['id'],1000*10,$result[$i]['id']);
     //  echo $redis->get('car-5');
     // die;
       if (!is_file($cacheFile) || time() - filemtime($cacheFile) > $cacheTime) {
            $output=curl($result[$i]['dsurl']);
            $preg='#<div class="arl-c-txt">(.*)</div>#isU';
            preg_match_all($preg,$output,$ress);
             print_r('<meta charset="UTF-8">'.$ress[0][0].$ress[1][0]);
            $content = ob_get_contents(); //取得php页面输出的全部内容
            $fp = fopen($cacheFile, "w"); //输出内容写入文件
            fwrite($fp, $content);
            fclose($fp);
        } else {
           echo $content = file_get_contents($cacheFile); //如果缓存文件已经存在,且未过期则读取
       }

   }


}

?>

<button onclick="start()">开始采集</button>
<button onclick="file1()">批量生成html文件</button>
<button onclick="list()">新闻列表</button>
<script src="jquery-1.9.1.min.js"></script>
<script>

function start(){
    $.post('news_caiji.php',{start:'start'});
}
function  file1(){
    $.post('news_caiji.php',{file1:'file1'});

}
function list(){
    location.href="http://www.php1.com/Freshman/news_cache/news_list.html";
}

</script>
基于PHP的GWars游戏自动信息更新机器人实战项目 在当今浏览器游戏生态中,自动化工具的开发已成为提升玩家效率的重要手段。GWars作为一款典型的在线策略类网页游戏,其角色状态、资源存量与任务进度需频繁更新以应对实时战斗和资源调度需求。本章介绍GWars-INFO-BOT项目的核心目标:通过PHP脚本在预设时间间隔内自动获取并同步游戏角色信息至最新状态,涵盖属性刷新、资源监控与任务追踪等关键数据。为实现高效稳定的自动化采集,项目采用PHP语言主导开发,依托其轻量级特性、强大的cURL扩展支持、灵活的HTML解析能力以及对定时任务的良好兼容性。 阅读详情

相关推荐

PHP Curl登录采集类的全面实现

本文还有配套的精品资源,点击获取 简介:本篇文章深入讲解了如何使用PHP中的cURL库进行模拟登录和后台数据采集。首先介绍了cURL的基础知识,包括如何初始化会话、设置请求选项、执行请求和关闭会话。接着,详细描述了模拟登录的过程,包括获取登录页面的cookies、提交登录表单以及检查登录状态。文章还展示了如何采集登录后的后台数据,以及如何处理返回的数据,并提供了错误处理和优...

weixin_35751194的博客 1391

php 使用 CURL 获取数据

第一种,POST 和 GET 合并 function http_curl($url, $type = 'get', $data = ''){ $cl = curl_init();  //初始化 curl_setopt($cl, CURLOPT_URL, $url);  //设置 cURL 传输选项 curl_setopt($cl, CURLOPT_RETURNTRANSFER, ...

qq_25285531的博客 643

【UE5】UE5 Dedicated Server专用服务器与网络同步

这篇文章是个人在学习UE4的网络同步方面的内容的一些记录,因为UE5出来了,顺带也一起熟悉熟悉UE5,所以也就直接使用UE5来实践了。说句实在话,UE4网络同步这块确实挺难的,我自己在网上搜索的博客的内容要么停留在很浅层面只搭建一个ds服务器,要么就直接深入源码去剖析UE4的网络机制,处在中间层面的内容少之又少,不得不自己好一阵研究,强烈推荐这几位博主的博文,我在学习的过程中也从中受益匪浅。 Ken_An、风蚀之月、 刘东无敌还有我师傅推荐给我的一本关于UE4网络的PDF。 一、什么是Dedicated

Goulandis 3万+

PHP cURL 函数

PHP支持的由Daniel Stenberg创建的libcurl库允许你与各种的服务器使用各种类型的协议进行连接和通讯。 libcurl目前支持http、https、ftp、gopher、telnet、dict、file和ldap协议。libcurl同时也支持HTTPS认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies和用户名+密码的认证。

unber的博客 750

SAP 屏幕增强:客户商主数据屏幕增强(KNA1、KNB1、KNVV)

本文介绍了SAP系统中针对客户主数据(KNA1、KNB1、KNVV)进行屏幕增强的具体实现方法。主要内容包括:1)在SPRO配置中创建新条目;2)通过SE80创建函数组和程序(LZKNA1TOP等);3)设置子屏幕9001并添加自定义结构字段;4)利用BADI(CUSTOMER_ADD_DATA等)实现数据交互逻辑。文章分别详细说明了针对客户主数据的一般数据(KNA1)、公司代码数据(KNB1)和销售数据(KNVV)三类不同数据的增强配置步骤,包括函数模块创建、屏幕设置和BADI方法调用等关键技术点。

SAP ABAP开发技能记录分享 1622

单细胞分析实战:用R语言绘制带连线的堆叠柱状图(附完整代码)

本文详细介绍了如何使用R语言绘制带连线的堆叠柱状图进行单细胞转录组数据分析,特别适用于展示细胞比例变化趋势。通过完整代码示例和实战技巧,帮助研究者优化多组别比较的可视化效果,提升科研图表质量。

yhn4567890的博客 390

PHP数据传输神器CURL详解

前言 我们在使用PHP开发网站的后台的时候,有时候需要在PHP代码中请求某一个网页,比如在微信开发中,我们在代码中请求微信服务器地址,得到开发凭证access_token,这时候使用CURL来处理请求是最合适的。如果你想使用PHP来开发微信,那么CURL是一个必备的知识点。 CURL的使用 CURL基础 在PHP中我们想要使用CURL,必须在PHP的配置文件中开启CURL扩展。

li741350149的博客 3860

GraphSense介绍

GraphSense是一个跨账本加密货币分析平台 它的介绍在这里 代码也是开源的 graphsense-dashboard 用于交互式加密货币分析的Web仪表板。 可以看导进数据的情况 graphsense-transformation 基于spark/cassandra/java服务运行 GraphSense转换管道,用于将加密货币的区块/交易/标签等数据导入,可以看它指定的json格式: t...

幸福诗歌的博客 1083

php 数据流显示图片_PHP图片内容以二进制数据流的形式发送(CurlFile使用)

//第一个参数:图片路径(包括图片文件)//第二个参数:图片格式//第三个参数:图片名称$obj_cashCard = new CurlFile($param['img_path'], "image/jpg", $param['file_name'] . '.jpg');实例: /*** 日志记录* @param $data /内容* @param $method /方法名* @param $ph...

weixin_39926749的博客 511

深入理解梅尔刻度、梅尔滤波器组和梅尔时频谱图

读取一段音频,使用短时傅里叶变换,得到普通的时频谱图,然后绘制梅尔滤波器组,值得注意的是,librosa的梅尔滤波器组函数还带有权重归一化功能,即对一个三角形滤波器的每个权重,都除以该三角形的面积,如果不希望进行该归一化,设置参数。从公式可见,对数部分可以以自然对数为底数,也可以以10为底数,不同的底数对应不同的系数,要确定当前的系数,只需要代入(1000Hz, 1000mel)即可。其中,m是当前滤波器的序号,表征了当前的时间段,k是当前频率的序号,表征了当前正在对哪一频率的。

DEDSEC_Roger的博客 1万+

辐射制冷无规散射结构非球形散射体的结构优化与设计准则

本文针对辐射制冷材料中非球形散射体的光散射特性开展研究,提出了一种基于体积散射截面和不对称因子的综合评价方法。通过建立简化模型分析球体、圆柱体、长方体等六种几何形状在太阳波段的散射性能,发现金字塔形和圆锥形具有更强的后向散射能力。研究创新性地提出"反射因子SR=S(1-g)"这一评价参数,该参数与宏观反射率高度相关,为非球形散射体的优化设计提供了定量依据。仿真结果表明,合理选择散射体形状可显著提升辐射制冷材料的太阳反射率,为实现高效被动制冷提供了新的结构设计思路。

huanghm88的专栏 83

curl爬取ajax分页,curl采集数据,分页没有采集完,循环就结束了

[PHP] 纯文本查看 复制代码

weixin_39662578的博客 258

【Claude】Disabled organization 错误:组织被禁用的原因与 API Key 绕过方法

如果环境变量存在,下一步是找出它在哪里被设置的。"Disabled organization" 错误的本质不是账户被封,而是认证优先级冲突。环境变量优先级最高始终覆盖 OAuth 订阅认证报错信息具有误导性:"组织被禁用"指的通常是 API Key 所属的组织,而不是你的个人账户旧 Key 是隐形炸弹:即使你已经不再使用某个组织的 API,只要环境变量中残留该 Key,它就会持续覆盖你的订阅认证非交互模式更敏感claude -p模式下,只要有环境变量,就会强制使用它,完全忽略/login。

博客 8891

php循环采集评论列表,并且存储数据库

下面是一个简单的PHP循环采集评论列表并存储到数据库的代码示例: <?php // 需要采集评论的页面URL $url = 'http://example.com/comments.php'; // 连接到数据库 $con = mysqli_connect('localhost','username','password','database'); // 如果连接失败,则输出错误并退出 if (!$con) { die('Could not connect: ' . mysqli_error(

qq_27487739的博客 201

QQ也能连接OpenClaw啦!手机QQ远程操控本地AI保姆级教程

2026年最新OpenClaw与QQ连接教程发布,支持手机远程操控本地AI。腾讯官方推出QQ Bot插件,无需服务器即可实现三步绑定。教程提供三种连接方案:新手首选的扫码连接(10分钟搞定)、稳定的QQ群机器人方案,以及公网接入方案。详细步骤包括版本更新、插件安装、扫码绑定和功能测试,并附常见问题解决方案。该功能让用户通过QQ指令即可实现文件整理、文档生成等电脑操作,真正实现"手机发指令,电脑自动干"。

通俗易懂学IT 596

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Cpaas平台日志收集脚本

脚本实现目的:在cpaas平台上,需要批量查找平台中的项目日志是否采集成功;脚本中采集时间段固定为15分钟,项目名和集群名之间固定关系;

lbzrl的博客 225

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【码上爬】第 1题解题

第一题的解题思路

qwh12345的博客 411

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

curl数据采集系列之正则处理函数get_matches

  根据前两篇的博文:   curl数据采集系列之单页面采集函数get_html   curl数据采集系列之多页面并行采集函数get_htmls   已经可以得到了我们需要的html文件,现在需要处理得到的文件获取到我们需要的采集的数据。   对于html文档的解析,没有像XML那样的解析类,因为HTML文档有很多不成对的标签,很不严格。这个时候就需要采用其他的一些辅助类了,simpl...

weixin_34090643的博客 149

PHP curl扩展实现数据抓取

PHP版本:5.5.30 服务器:apche 抓取网站地址:http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml 抓取目标:获取当日的价格数据 一、准备工作: 1.打开php.ini配置文件,开启curl功能扩展   extension=php_curl.dll   如果开启之后(记得重启apache服务),仍然不能使用cur...

weixin_30797027的博客 81

curl采集数据

curl采集数据 前言 curl是一个利用URL语法在命令行方式下工作的文件传输工具,功能十分强大,本文是php使用curl采集数据的案例。 一、curl简介 curl命令是一个功能强大的网络工具,它能够通过http、ftp等方式下载文件,也能够上传文件。其实curl远不止前面所说的那些功能,大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。curl命令使用了libcurl库来实现,libcurl库常用在C程序中用来处理HTTP请求,curlpp是libcurl的一个C

阑珊处的秋月博客 446

php 并发采集,PHP用CURL多线程并发采集

《PHP用CURL多线程并发采集》要点:本文介绍了PHP用CURL多线程并发采集,希望对您有用。如果有疑问,可以联系我们。相关主题:PHP开发CURL多线程并发采集一个案例(本站注:其实不是真正的多线程):$urls=['http://m.doudou360.com/bus/i/live.ashx?lid=1132','http://m.doudou360.com/bus/i/live.ash...

weixin_39785814的博客 455

php操作登录采集,使用CURL进行采集或模拟登录

在信息采集的时候,要采集的站点可能需要登录,这样使用简单的采集方式(例如file\_get\_contents)就无法做到了,我们可以利用PHP的CURL扩展库来进行模拟登录,下面给出代码示例:~~~php$cookie_path = './'; //设置cookie保存路径//-----登录要提交的表单数据---------------$vars['username'] = '张三';$vars...

weixin_33181210的博客 397

用PHP的CURL写的一个采集Discuz的例子

以前写ASP的时候,要实现采集功能,那简直就是一个浩浩荡荡的大工程,现在用PHP简单多了,轻轻松松简简单单就能把ASP长篇大论才能实现的功能搞定.这是我用PHP的CURL写的一个采集Discuz的例子,附带模拟登陆,如果不需要模拟登陆就可以直接用File_Get_Contents来采那会更简单.<?phpset_time_limit(0);//cookie保存目录$cookdi...

243

php采集-CURL采集,匹配正则采集

      

x_xiaodeng的博客 750

php响应curl请求,php发送curl请求并等待响应

我正在向服务器发送一个curl请求,该服务器需要几秒钟来处理请求并吐出响应.我相信我的php脚本正在继续而不是等待,因此基于响应的foreach循环吐出0结果.在继续处理数据之前,我如何等待curl事务完成?$curl = curl_init();curl_setopt($curl, CURLOPT_HTTPAUTH, CURLAUTH_ANY);curl_setopt($curl, CURLOP...

weixin_35950365的博客 645
上一篇: php 简单分页类
下一篇: jquery 无限极联动【地区】
Cpath
博客等级 码龄10年 31粉丝 59原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值