python--upload file into HDFS 加载文件到HDFS

最新推荐文章于 2024-07-31 16:26:53 发布

转载最新推荐文章于 2024-07-31 16:26:53 发布 · 84 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/Jesse-Li/p/8946512.html

文章标签：

#python

本文介绍如何使用Python读写HDFS中的文件。通过Pandas库创建DataFrame，并利用hdfs库将DataFrame写入HDFS上的CSV文件。该示例展示了连接HDFS集群、创建数据帧及文件写入的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

模拟：https://creativedata.atlassian.net/wiki/spaces/SAP/pages/61177860/Python+-+Read+Write+files+from+HDFS

import pandas as pd
from hdfs import InsecureClient
import os

client_hdfs = InsecureClient('http://(your name node ip adress):50070/',user='hadoop')
# Creating a simple Pandas DataFrame
liste_hello = ['hello1','hello2']
liste_world = ['world1','world2']
df = pd.DataFrame(data = {'hello' : liste_hello, 'world': liste_world})
 
# Writing Dataframe to hdfs
with client_hdfs.write('/Learn/input/helloworld.csv', encoding = 'utf-8') as writer:
    df.to_csv(writer)