基于pyodps读本地文件上传到odps

原创

已于 2022-06-01 20:04:33 修改 · 2.9k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#odps #python #数据挖掘

于 2020-08-03 20:56:44 首次发布

本文介绍了一种利用Python将包含特殊字符的本地文件上传至阿里云ODPS的方法，通过pandas读取CSV文件，并使用pyodps进行数据处理及上传，解决了DataWorks界面操作存在的问题。

本地文件有传输到odps的需要，虽然阿里云dataworks有这样的操作界面，但是文件内容有个逗号啥的就会有问题，所以专门写个脚本处理这一步。

处理逻辑：

pandas_read_csv ---->pyodps的dataframe------>odps

代码如下，简单方便：

# -*- coding: utf-8 -*-

import pandas as pd
from odps import ODPS
from odps.df import DataFrame
o = ODPS(
    access_id='********',
    secret_access_key='***********',
    project='**************',
    endpoint='http://service.odps.aliyun.com/api'
)




#写入的时候是按照列名匹配的，所以对这个dataframe重命名
dewu_offline = pd.read_csv("/Users/wangyuhang/Downloads/shihuo_20200802.tsv",sep='\t',header=0,
                             names=['order_no',
                                    'sub_order_no',
                                    'biz_type',