python 将csv文件导入到doris数据库

最新推荐文章于 2025-01-25 22:28:53 发布

alan_山

最新推荐文章于 2025-01-25 22:28:53 发布

阅读量855

点赞数 4

分类专栏：小技巧 python3 文章标签：数据库 doris python

本文链接：https://blog.youkuaiyun.com/u010320736/article/details/141196445

版权

最近在实用doris导入数据时，特别是导入百万级别以上的数据，使用FEweb端导入会遇到导入异常，使用Navicate导入sql也会出现异常，特别是max_tablet_version_num参数导致无法高并发执行插入，试过很多方法都不行，发现python有工具包，可以解决问题，现将方法发出来，之后再整合成工具类。

安装依赖包

pip install pydoris
pip install pydoris-client

注意：我使用python3.7无法找到以上安装包，但是使用python311可以，其他版本暂时没有尝试。

以下的上传代码：

from pydoris.doris_client import DorisClient
import requests
import pandas as pd


client = DorisClient()
fe_host = '127.0.0.1'
username = 'root'
passwd = '123456'

fe_http_port = "8030"
fe_query_port = "9030"

database = 'db_name'
table = 'table_name'

doris_client = DorisClient()
doris_client.options.fe_host = fe_host
doris_client.options.fe_http_port = fe_http_port
doris_client.options.fe_query_port = fe_query_port
doris_client.options.username = usern