php死循环处理大数据（千张表，上亿级别数据）

最新推荐文章于 2024-05-04 14:24:14 发布

DoDo-Baron

最新推荐文章于 2024-05-04 14:24:14 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据死循环递归正则多表

本文链接：https://blog.youkuaiyun.com/Baron0071/article/details/83213458

本文探讨了在处理大数据（如千张表、上亿级别数据）时，如何利用PHP进行有效的死循环控制，包括记录数据落地点、设置断开点、避免SQL连接错误、防止PHP超时、日志跟踪以及递归和正则表达式在业务需求中的应用，以增强程序的执行效率和稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

几个重点，

1,文本记录数据落地点，2,死循环断开点 3,防止sql断开连接（MySQL server has gone away）4,防止php超时

5,日志跟踪 6,递归处理数据（业务需求），7，正则匹配数据（业务需求）增强程序的可执行性

<?php
/**
 * Created by PhpStorm.
 * User: Administrator
 * Date: 2017/9/8 0008
 * Time: 上午 10:52
 */

global $_G;
echo $_GET['exec'] !== 1;


if ($_GET['exec'] !== '1') {
    exit('Pemission denied');
}

if ($_GET['val'] !== null) {
    $fidArr['val'] = $_GET['val'];
}

$pid =isset($_GET['pid']) ? $_GET['pid'] : 0;

//获取所有数据表
$sql = 'SELECT fid FROM ' . DB::table('forum_forum');
$resource = DB::query($sql);
$re = DB::fetch_all($resource);
$fidArr = array_unique(array_column($re, 'fid'));

//切换数据库连接
$object = DB::object();
$object->set_config($_G['config']['db']);
$object->connect(2);

$fun = function ($val,$pid) {

    set_time_limit(0);// 防止时间超时
    DB::query('SET SESSION wait_timeout=7200'); // 防止出现 MySQL server has gone away
    $csql = "SELECT count(*) FROM  `pr

最低0.47元/天解锁文章

200万优质内容无限畅学