删除elasticsearch中重复数据记录的方法

最新推荐文章于 2024-08-18 03:06:45 发布

原创最新推荐文章于 2024-08-18 03:06:45 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据

大数据技术专栏收录该内容

15 篇文章

订阅专栏

2021年底，墨飞鱼团队将推出历经大半年研发的灵感写作平台，旨在帮助用户发现阅读与写作的乐趣。平台将于12月底上线，敬请期待。同时，文章介绍了如何使用Java代码处理查询条件避免重复，并进行批量删除操作，为数据管理提供便利。

友情关注：2021年底即将推出我们墨飞鱼团队历时大半年研发的灵感写作平台，在墨飞鱼这里希望能帮助更多人找到阅读与写作的乐趣, 敬请收藏了解，12月底见哦~

根据查询条件删除特定的记录

POST /hk_tm_info_v1/_delete_by_query
{
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
            "field": "app_date"
          }
        }
      ]
    }
  }
}

查询条件难以避开重复的话，可以使用java代码来对查询到结果进行处理，需要删除的数据加入到dataList中，然后批量删除来达到效果

	private void updateDataToES(BulkProcessor bulkProcessor,List<Map<String, Object>> dataList){
		// 将数据添加到 bulkProcessor 中
		for (Map<String, Object> rowMap : dataList) {
			String id = (String)rowMap.get("_id");
			
			DeleteRequest delRequest = new DeleteRequest(ESProcessor.HK_TM_INFO, id);

			bulkProcessor.add(delRequest);
		}
	}