php请求远程url内容方法

PHP远程URL获取示例及后端实现 函数获取远程URL的内容,并展示了简单的示例和处理JSON响应的示例。在本文中,我们将探讨如何使用PHP获取远程URL的内容。需要注意的是,如果要获取的远程URL需要身份验证或其他参数,你可能需要使用其他方法,例如使用cURL库或添加适当的请求标头。现在,让我们来看一个稍微复杂一点的示例,其中我们将通过GET请求向远程URL发送一些参数,并处理返回的JSON数据。在上面的示例中,我们首先构建了一个GET请求的URL,将参数附加到URL中。在本文中,我们详细讲解了如何使用PHP获取远程URL的内容。 阅读详情

php请求远程url内容方法

php请求远程url内容有两个方法fopen/file_get_contents和curl。

1,fopen/file_get_contents与curl的差异

(1)fopen /file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。这大大减少了DNS查询的次数。所以CURL的性能比fopen /file_get_contents 好很多。
(2)fopen /file_get_contents在请求HTTP时,使用的是http_fopen_wrapper,不会keeplive。而curl却可以。这样在多次请求多个链接时,curl效率会好一些。
(3)curl可以模拟多种请求,例如:POST数据,表单提交等,用户可以按照自己的需求来定制请求。而fopen / file_get_contents只能使用get方式获取数据。

2,如果远程服务器关闭,file_get_contents处理方法,可以参考这篇文章,http://www.cnblogs.com/scofi/articles/3607529.html

公司里有经常有这样的业务,需要调用第三方公司提供的HTTP接口,在把接口提供的信息显示到网页上,代码是这样写的: file_get_contents("http://example.com/") 。

有一天突然接到运维同事的报告,说是服务器挂了,查出原因说是因为file_get_contents函数造成的,那么为什么一个函数会把服务器给搞挂掉呢?
经过详细的查询发现第三方公司提供接口已经坏掉了,就是因为接口坏掉了,才导致服务器挂掉。
问题分析如下:
       我们代码是“file_get_contents("http://example.com/") “获取一个 URL 的返回内容,如果第三方公司提供的URL响应速度慢,或者出现问题,我们服务器的PHP程序将会一直执行去获得这个URL,我们知道,在 php.ini 中,有一个参数  max_execution_time 可以设置 PHP 脚本的最大执行时间,但是,在 php-cgi(php-fpm) 中,该参数不会起效。真正能够控制 PHP 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数:  <value name="request_terminate_timeout">0s</value>   默认值为 0 秒,也就是说,PHP 脚本会一直执行下去,当请求越来越多的情况下会导致php-cgi 进程都卡在 file_get_contents() 函数时,这台 Nginx+PHP 的 WebServer 已经无法再处理新的 PHP 请求了,Nginx 将给用户返回“502 Bad Gateway”。CPU的利用率达到100% ,时间一长服务器就会挂掉。
问题的解决:
     已经找到问题,那么我们该怎么解决呢?
     当时想到的解决问题的办法就是设置PHP的超时时间,用set_time_limit; 设置超时时间,这样就不会卡住了。代码上线后发现服务器还是会挂掉,好像根本不起作用。后来查了资料才知道,set_time_limit设置的是PHP程序的超时时间,而不是file_get_contents函数读取URL的超时时间。set_time_limit和修改php.ini文件里max_execution_time  效果是一样的。
要设置file_get_contents函数的超时时间,可以用resource $context的timeout参数,代码如下:
 
1
2
3
4
5
6
7
8
9
$opts  =  array (
   'http' => array (
     'method' => "GET" ,
     'timeout' =>10,
  )
);
$context  = stream_context_create( $opts );
$html  = file_get_contents ( 'http://www.example.com' , false,  $context );
echo  $html ;

代码中的timeout就是file_get_contents读取url的超时时间。

另外还有一个说法也可以改变读取url的超时时间,就是修改php.ini中的 default_socket_timeout的值,或者 ini_set('default_socket_timeout',    10);  但是我没有测试过不知道行不行。
有了解决方法之后,服务器就不会挂掉了。
http://www.cnblogs.com/scofi/articles/3607533.html

上篇说到我们说到设置file_get_contents超时时间用到了 stream_context_create方法,那么这个方法到底是什么呢?

查了下资料, stream_context_create创建并返回一个文本数据流并应用各种选项,可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。这样看起来功能就强大了,不仅仅可以设置超时时间,还可以设置代理服务器,请求方式和头信息,下面我们就测试下吧:
request.php请求页面负责发起请求:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?php
  $data  =  array ( "name"  =>  'test_name' , "content"  =>  'test_con' );
  $data  = http_build_query( $data );
  $opts  =  array (
    'http' => array (
      'method' => "POST" ,
      'header' => "Content-type: application/x-www-form-urlencoded\r\n" .
                "Content-length:" . strlen ( $data ). "\r\n"  .
                "Cookie: foo=bar\r\n"  .
                "\r\n" ,
      'content'  =>  $data ,
    )
  );
  $cxContext  = stream_context_create( $opts );
  $sFile  =  file_get_contents ( "http://127.0.0.1/reponse.php" , false,  $cxContext );  
  echo  $sFile ;
?>

reponse.php被请求的页面:

1
2
3
4
<?php
var_dump( $_POST );
var_dump( $_COOKIE );
?>

  运行之后的结果为:

string(132) "array(2) { ["content"]=> string(8) "test_con" ["name"]=> string(9) "test_name" } array(1) { ["foo"]=> string(3) "bar" } "  
说明file_get_contents可以post数据和cookie数据到目标url,并获得内容。
3,curl的用法总结, http://www.cnblogs.com/scofi/articles/3607538.html
(1)使用curl,get获取数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
$url  =  'http://www.example.com' ;
//初始化一个 cURL 对象
$ch   = curl_init();
//设置你需要抓取的URL
curl_setopt( $ch , CURLOPT_URL,  $url );
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
//是否获得跳转后的页面
curl_setopt( $ch , CURLOPT_FOLLOWLOCATION, 1);
$data  = curl_exec( $ch );
curl_close( $ch );
echo  $data ;
?>

(2)使用curl。post获取数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?php
function  curl_post( $url ,  $arr_data ){
    $post_data  = http_build_query( $url_data );
    $ch  = curl_init();
     curl_setopt( $ch , CURLOPT_URL,  $url );
     curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
     curl_setopt( $ch , CURLOPT_POST, 1);
     curl_setopt( $ch ,  CURLOPT_POSTFLELDS,  $post_data );
     $data  = curl_exec( $ch );
     curl_close( $ch );
     echo  $data ;
}
$arr_post  =  array (
     'name' => 'test_name' ,
     'age'    => 1
);
curl_post( "http://www.explame.com/" ,  $arr_post );
?>

(3)使用代理抓取页面,什么要使用代理进行抓取呢?以google为例吧,如果去抓google的数据,短时间内抓的很频繁的话,你就抓取不到了。google对你的ip地址做限制这个时候,你可以换代理重新抓。

1
2
3
4
5
6
7
8
9
10
11
12
<?php
$ch  = curl_init();
curl_setopt( $ch , CURLOPT_URL,  "http://google.com" );
curl_setopt( $ch , CURLOPT_HEADER, false); 
curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
//是否通过http代理来传输
curl_setopt( $ch , CURLOPT_HTTPPROXYTUNNEL, TRUE);
curl_setopt( $ch , CURLOPT_PROXY, 125.21.23.6:8080); 
//url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密码的话,加上这个 
$result =curl_exec( $ch );
curl_close( $ch );
?>

(4)继续保持本站session调用,在实现用户同步登录的情况下需要共享session,如果要继续保持本站的session,那么要把sessionid放到http请求中。

1
2
3
4
5
6
7
8
9
10
11
<?php
$session_str  = session_name(). '=' .session_id(). '; path=/; domain=.explame.com' ;
session_write_close();  //将数据写入文件并且结束session
$ch  = curl_init();
curl_setopt( $ch , CURLOPT_URL,  $url );
curl_setopt( $ch , CURLOPT_HEADER, false);
curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
curl_setopt( $ch , CURLOPT_COOKIE,  $session_str );
$ret  = curl_exec( $ch );
curl_close( $ch );
?>


php调用远程url的六种方法,php函数 立即下载

相关推荐

php使用curl简单抓取远程url的方法

主要介绍了php使用curl简单抓取远程url的方法,涉及php操作curl的技巧,具有一定参考借鉴价值,需要的朋友可以参考下

php调用远程url的六种方法

 示例代码1: 用file_get_contents 以get方式获取内容       $url=http://www.baidu.com/;   $html = file_get_contents($url);   //print_r($http_response_header);   ec($html);   printhr();   printarr($http_response_hea

binger819623的专栏 1542

跟着团子学SAP PS:WBS BOM的实际应用价值 CS71/CKW1/CKW4

过往在参与很多项目实施的时候有很多顾问都会提到WBS BOM是否要启用,但仔细聊下来会发现大部分人对WBS BOM的真正功能以及实际应用场景并不是非常了解,因为WBS BOM的实际应用场景非常有限,大部分情况下基本都可以不用考虑启用WBS BOM。 WBS BOM和普通BOM的核心区别是多了一个WBS元素编码的维度,也就是说同一个成品料号可以基于不同WBS元素编码设计不同的BOM主数据。 所以从本质而言WBS BOM真正解决的问题只是减少成品物料的物料编码,比如一个项目中生产2个同型号的控制柜,但两个控制柜

Lucas1211的博客 6307

php远程函数,PHP获取远程url内容的函数代码

PHP获取远程url内容的函数代码发布于 2015-02-17 07:54:39 | 116 次阅读 | 评论: 0 | 来源: 网友投递PHP开源脚本语言PHP(外文名: Hypertext Preprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点,入门门槛较低,易于学习,使用广泛,主要适用于Web开发领域。PHP的文件后缀名为ph...

weixin_29745227的博客 296

Claude Code+Cursor+Claude 4三剑合璧!5步搞定Magentic-UI的OAuth2.0集成,开发效率飙升500%,新手秒变全栈工程师

本文详细介绍了如何利用Claude Code、Cursor和Claude 4三款AI工具高效集成Magentic-UI的OAuth2.0认证系统。通过5个步骤的实战演练,开发者可快速完成从环境搭建、项目分析、代码生成到前端集成的全过程,显著提升开发效率。文章还提供了JWT令牌管理、安全配置及常见问题解决方案。

weixin_29234509的博客 458

TPAMI 2025新作LRFormer复现笔记:我的Windows 11 + RTX 4090配置全流程

本文详细记录了在Windows 11系统下使用RTX 4090显卡复现TPAMI 2025顶会论文LRTransformer的完整流程,包括硬件配置、系统优化、Python环境搭建及模型训练中的常见问题解决方案。特别针对Windows平台特有的路径管理、CUDA版本冲突和显存优化等关键技术细节提供了实用指南,帮助开发者高效完成环境搭建和模型训练。

weixin_29094301的博客 414

php调用远程url的四种方法

[b]1、 用file_get_contents 以get方式获取内容[/b] 示例: [code="php"]$html = file_get_contents($url); [/code] [b]2、 用fopen打开url, 以get方式获取内容[/b] 示例: [code="php"]$fp = fopen($url, 'r'); $html = stream_get_me...

crystalwiner 293

手把手教你用UC3842搭建12V/5A反激电源(附PSIM仿真文件)

本文详细介绍了基于UC3842的12V/5A反激电源设计与PSIM仿真实践。从UC3842芯片选型、高频变压器计算到PSIM仿真模型搭建,提供完整的开关电源设计流程。特别包含PCB布局要点和实测优化建议,帮助工程师快速掌握反激电源开发技巧。

u6v7w8x的博客 1204

php地址请求,php中请求url有哪些方法

PHP中打开URL地址的几种方法总结,这里的函数主要用于小偷采集等函数。以get方式获取内容

weixin_39784263的博客 442

ArcGIS拓扑面错误批量修改

在工作学习中经常会遇到拓扑修改的问题,当数据量巨大的时候会产生拓扑问题 当拓扑错误数量巨大时,人工逐一修改是不现实的,基于此利用gis自带工具箱实现拓扑面类错误的批量修改。 一、.常见拓扑错误的类型: 1面重叠 2空隙(绿色部分) 二、拓扑检查 1新建数据库-----新建数据集—导入数据. 2新建拓扑 3修改拓扑容差及名称 添加拓扑修改规则 完成拓扑检查-查看拓扑错误 三、拓扑批量...

qq_43173805的博客 3万+

Verilog中用于时序验证的系统任务[setup][hold][skew][width][recovery][removal]【STA静态时序分析】

下列时序检查语句错误的是() A. $setup(posedge clk, data, tSU) B. $hold(posedge clk, data, tHLD) C. $setuphold(posedge clk, data, tSU, tHLD) 答案:A 解析: 在时序检查函数中,$setup 函数比较特殊,格式是: $setup(data_event, reference_event, limit); 其他常见的检查是: $......(reference_...

DengFengLai123的博客 1万+

php 调用远程url

// ; Whether to allow the treatment of URLs (like http:// or ftp://) as files. // ; http://php.net/allow-url-fopen // allow_url_fopen = On //前三个都需要开启 allow_url_fopen //1、file_get_contents()/////...

weixin_30443075的博客 155

DrissionPage无头模式破盾记:实战绕过CloudFlare 5秒验证

本文详细介绍了如何使用DrissionPage无头模式绕过CloudFlare 5秒盾验证,提升爬虫效率。通过关键参数配置、服务器环境问题处理及高级绕过技巧,如动态UA轮换和鼠标移动模拟,帮助开发者有效应对反爬机制。实战案例展示了如何结合最新Chrome UA和参数设置实现稳定数据采集。

weixin_29327525的博客 491

PHP获取远程附件的一种方法

protected function sendRequest($url, $data, $refer = "", $timeout = 10, $header = []) { $curlObj = curl_init(); $ssl = stripos($url,'https://') === 0 ? true : false; $options = [ CURLOPT_URL => $url, ...

youcijibi的博客 314

如何在 R 中使用 Gamma 分布(附示例)

在统计学中,伽马分布通常用于模拟与等待时间相关的概率。我们可以使用以下函数来处理 R 中的 gamma 分布:dgamma(x, shape, rate) – 找到具有特定形状和速率参数的 gamma 分布的密度函数值。 pgamma(q, shape, rate) – 找到具有特定形状和速率参数的伽马分布的累积密度函数值。 qgamma(p, shape, rate) – 找到具有特定形状和速率参数的 gamma 分布的逆累积密度函数值。 rgamma(n, shape, rate) – 生成 n 个随机

Mrrunsen的博客 4419

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

php判断get和post请求,PHP:6种GET和POST请求发送方法

[代码]php代码:// 获取评论次数,参数是文章IDfunction getCommCount( $postid ){$jsondata = file_get_contents ( "http://api.duoshuo.com/threads/counts.json?short_name=i94web&threads=$postid" ); // 设置true返回数组,不设置或者...

weixin_28869649的博客 1299

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

php批量请求url_php中请求url的五种方法总结

本文主要给大家介绍了关于php中请求url的五种方法,分享出来供大家参考学习,下面话不多说,来一起看看详细的介绍:五种方法:前三种都是php基本的文件操作函数curl()是php扩展需要开启,linux下需要安装exec()执行的是linux命令行下的命令wget下载远程文件其中wget命令在本地虚机测试请求http://www.baidu.com时,没有成功,在远程服务器上却可以,考虑时DNS解...

weixin_36256361的博客 471

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

php怎么获取远程网页的代码,PHP 获取远程网页内容的代码(fopen,curl已测)_PHP教程...

1、fopen的使用复制代码 代码如下:$handle = fopen (“http://s.jb51.net/”, “rb”);$contents = “”;while (!feof($handle)) {$contents .= fread($handle, 8192);}fclose($handle);echo $contents; //输出获取到得内容。?>复制代码 代码如下:// ...

weixin_31233537的博客 175

file_get_contents抓取远程URL内容

/** * POST URL * @param $url * @param null $post * @return false / string */ public static function UrlPost($url, $post = null, $timeout = 3) { if (is_arr...

weixin_30455023的博客 488

发送get请求php,如何利用PHP发送GET请求

方法一:用fopen()打开url

weixin_30269407的博客 1020

php curl 获取文件,curl获取远程文件内容_PHP教程

/**获取远程文件内容@param $url 文件http地址*/function fopen_url($url){if (function_exists('file_get_contents')) {$file_content = @file_get_contents($url);} elseif (ini_get('allow_url_fopen') && ($file = @...

weixin_31265295的博客 827

php中如果想取得,PHP中是否有办法通过URL的取得其返回?

例如这里是一个a.php:if(isset($_GET['a']))echo 'There\'s an "a".';elseif(isset($_GET['b']))echo 'There\'s a "b".';else echo 'Nothing\'s out there.';?>而b.php, 从用户输入得到了一个URL, 正好是/a.php?b:assert($_GET["wanted...

weixin_39630247的博客 132

php发送get、post请求的6种方法简明总结

方法1: 用file_get_contents 以get方式获取内容: <?php $url='http://www.51growup.com/'; $html = file_get_contents($url); echo $html; ?> 方法2: 用fopen打开url, 以get方式获取内容: <?php $fp = fopen($url, 'r'...

weixin_34234829的博客 93

获取远程文件类型 for PHP

PHP 内部有函数可以得到远程文件类型,但是需要其它库的支持,或者是更改PHP的环境,下面有使用fsockopen函数来实现获取远程文件类型,代码如下: <?phpclass RemoteFile{ var $url; var $host; var $path; function __construct($url) { ...

weixin_34375054的博客 201

yy神曲url解析php_php解析url的三个示例

方法一:$url="http://www.baidu.com";file_get_contents($url);方法二:// CURL 方法$url="http://www.baidu.com";$ch = curl_init( );curl_setopt( $ch,CURLOPT_URL,$url );curl_setopt( $ch,CURLOPT_HEADER,0 );curl_setop...

weixin_39614109的博客 111
上一篇: json_decode 转换json对象为数组需注意true 你加了吗?
下一篇: linux下定时执行任务的方法--crontab
github_zwl
博客等级 码龄11年 300粉丝 171原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值