基于pyodps读本地文件上传到odps

本文介绍了一种利用Python将包含特殊字符的本地文件上传至阿里云ODPS的方法,通过pandas读取CSV文件,并使用pyodps进行数据处理及上传,解决了DataWorks界面操作存在的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

         

 

        本地文件有传输到odps的需要,虽然阿里云dataworks有这样的操作界面,但是文件内容有个逗号啥的就会有问题,所以专门写个脚本处理这一步。

处理逻辑:

       pandas_read_csv ---->pyodps的dataframe------>odps

代码如下,简单方便:

# -*- coding: utf-8 -*-

import pandas as pd
from odps import ODPS
from odps.df import DataFrame
o = ODPS(
    access_id='********',
    secret_access_key='***********',
    project='**************',
    endpoint='http://service.odps.aliyun.com/api'
)




#写入的时候是按照列名匹配的,所以对这个dataframe重命名
dewu_offline = pd.read_csv("/Users/wangyuhang/Downloads/shihuo_20200802.tsv",sep='\t',header=0,
                             names=['order_no',
                                    'sub_order_no',
                                    'biz_type',
                                    'biz_channel',
                                    'biz_code',
                                    'biz_id',
                                    'sub_order_status',
                                    'pay_amount',
                                    'discount_amount',
                                    'inventory_id',
                                    'spu_id',
                                    'sku_id',
                                    'sku_title',
                                    'sku_price',
                                    'sku_count',
                                    'buyer_note',
                                    'deposit_amount',
                                    'poundage_amount',
                                    'poundage_info',
                                    'item_info',
                                    'close_type',
                                    'close_time',
                                    'feature',
                                    'is_del',
                                    'create_time',
                                    'modify_time',
                                    'product_amount',
                                    'freight_amount',
                                    'sku_logo',
                                    'delivery_deadline',
                                    'tab_tag',
                                    'size',
                                    'identify_status',
                                    'pay_status',
                                    'source_name',
                                    'customized_parameter',
                                    'no_use'])

dewu_offline_all = DataFrame(dewu_offline)

print(dewu_offline_all.head(5))

#如果这里是个非分区表
#dewu_offline_all.persist('tmp_shihuo_du_order_from_dewu_offline',odps=o)

dewu_offline_all.persist('tmp_shihuo_du_order_from_dewu_offline_all', partition='dt=20200802',odps=o,create_partition=True)

所以感觉python有时候还是方便的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值