Elasticsearch索引数据生成和导入

IT小白龙

已于 2022-10-10 16:18:35 修改

阅读量661

点赞数

分类专栏： Elasticsearch 文章标签： elasticsearch java 大数据

于 2022-10-09 17:35:53 首次发布

本文链接：https://blog.youkuaiyun.com/jy615183000/article/details/127121977

版权

本文详细介绍了如何在Elasticsearch中查询数据，生成Json文件，并进行数据导入。首先，通过获取上次更新时间和最新系统时间来处理日期间隔，然后调用SQL查询数据。接着，生成Json文件，再根据别名获取索引名，批量写入数据，并在导入后优化索引，最后清理并备份数据文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一查询数据

1 获取上次更新时间

可以保存在文本里。

public function getLastUpdate(){
   
    $sLastUpdate = $this->oFileServer->tryFileGetContents($this->getLastUpdatePath());
    $this->aLastUpdate = json_decode($sLastUpdate,true);
}

2 获取最新系统时间作为更新时间

select to_char(sysdate,'YYYY-MM-DD HH24:MI:SS') as time from dual

3 处理日期间隔

public function getDateGap($sStartDate,$sEndDate,$type='delta'){
   
	 $res = [];
	 $iStartStamp = strtotime($sStartDate);
	 $iEndStamp = strtotime($sEndDate);
	 if ($type == 'full') array_push($res,['gt'=>'','lt'=>date('Y-m-d H:i:s',$iStartStamp)]);
	 $aGap = [['gap'=>'7','limit'=>2],['gap'=>'3','limit'=>2],['gap'=>'1','limit'=>0]];//代表按7天的间隔返回，直至近2天后按下一个数组配置再返回后面的间隔
	 do{
   
	     $iTamp = $iStartStamp + $this->dealGap($iEndStamp,$iStartStamp,$aGap);
	     array_push($res,['gt'=>date('Y-m-d H:i:s',$iStartStamp),'lt'=>date('Y-m-d H:i:s',$iTamp)]);
	     $iStartStamp = $iTamp;
	 }while($iStartStamp <= $iEndStamp);
	 return $res;
}

public function dealGap($iEndStamp, $iStartStamp, $aGaps){
   
    $iDayGap = 60 * 60 * 24;
    $aGap = array_shift($aGaps);
    if(floor(($iEndStamp - $iStartStamp)/($iDayGap*$aGap['gap']))<=$aGap['limit']){
   
        if (empty($aGaps)){
   
            return $iEndStamp