本文介绍了一种使用Shell脚本批量将大型JSON文件分割并上传到Elasticsearch的方法。通过split命令将主文件分割成多个包含10,000行的小文件，然后利用curl命令逐个发送这些分割后的文件，实现高效的数据导入。
#!/bin/bash
# split the main file into files containing 10,000 lines max
split -l 10000 -a 10 carrier.json /tmp/carrier_bulk
# send each split file
BULK_FILES=/tmp/carrier_bulk*
for f in $BULK_FILES; do
curl -s -XPOST http://localhost:9200/_bulk --data-binary @$f
done
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
