AWS SDK for pandas 安装与部署完全指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00760/article/details/148549810

AWS SDK for pandas 安装与部署完全指南

aws-sdk-pandas aws/aws-sdk-pandas: 是一个用于 Pandas 的 AWS SDK，可以方便地在 Python 中访问 AWS 服务。适合对 AWS、Pandas 和想要实现 AWS 服务访问的开发者。项目地址: https://gitcode.com/gh_mirrors/aw/aws-sdk-pandas

项目概述

AWS SDK for pandas（原awswrangler）是一个强大的Python工具库，专为在AWS环境中处理数据而设计。它提供了与AWS服务（如S3、Redshift、Athena等）无缝集成的接口，极大简化了数据工程师和分析师的工作流程。

环境要求

基础环境

Python版本：支持3.8、3.9、3.10、3.11和3.12
运行平台：可在多种环境中运行，包括：
- AWS Lambda
- AWS Glue Python Shell
- EMR集群
- EC2实例
- 本地开发环境
- Amazon SageMaker
- 本地服务器等

最佳实践建议

为每个项目创建独立的虚拟环境（推荐使用Python内置的venv模块）
在Jupyter Notebook中使用时，安装后务必重启内核

安装方式详解

1. 通过PyPI安装（推荐）

基础安装：

pip install awswrangler

安装可选模块（如Redshift支持）：

pip install 'awswrangler[redshift]'

2. 通过Conda安装

conda install -c conda-forge awswrangler

3. 大规模数据处理支持

如需处理超大规模数据集，可结合modin和ray使用：

pip install "awswrangler[modin,ray]"

这种组合能让现有脚本无需修改即可处理更大规模的数据集。

可选依赖模块

从3.0版本开始，部分模块变为可选安装：

pip install 'awswrangler[module1,module2]'

可选模块包括：

数据库支持：redshift、mysql、postgres、sqlserver、oracle
图数据库：gremlin
查询语言：sparql、opencypher
文件格式：openpyxl、deltalake
搜索服务：opensearch

若未安装相应模块而尝试使用，系统会提示安装缺失的依赖。

AWS Lambda部署方案

托管层（Managed Layer）

AWS官方提供了托管Lambda层，在所有商业区域可用。

注意事项：

新版本发布后，Lambda控制台中可能需要一周时间才能看到更新
建议Lambda函数内存配置不低于512MB

ARN格式：

arn:aws:lambda:<region>:336392948345:layer:AWSSDKPandas-Python<python-version>:<layer-version>

获取ARN的方式：

通过AWS Lambda控制台直接选择
通过SSM公共参数查询

CLI查询示例：

aws ssm describe-parameters --parameter-filters "Key=Name, Option=BeginsWith, Values=/aws/service/aws-sdk-pandas/3.4.0/"

自定义层创建步骤

下载对应版本的zip层文件
在Lambda控制台创建新层
设置名称和Python版本，上传zip文件
在Lambda函数配置中选择该层

无服务器应用仓库（SAR）方式

通过AWS Serverless Application Repository部署，支持语义化版本控制。

CDK集成示例：

aws_sdk_pandas_layer = sam.CfnApplication(
    self,
    "awssdkpandas-layer",
    location=sam.CfnApplication.ApplicationLocationProperty(
        application_id="arn:aws:serverlessrepo:us-east-1:336392948345:applications/aws-sdk-pandas-layer-py3-8",
        semantic_version="3.0.0"
    )
)

AWS Glue集成方案

Python Shell作业

通过pip安装：

在作业详情页的"高级属性"中
添加作业参数：
- Key: --additional-python-modules
- Value: awswrangler[redshift]==3.9.0

通过whl文件安装：

下载对应版本的.whl文件
上传到S3
在作业配置中指定Python库路径

PySpark作业

注意事项：

仅支持Glue PySpark 2.0及以上版本
需要编译依赖(C/C++)

安装方式：添加作业参数：

Key: --additional-python-modules
Value: awswrangler

指定版本示例：

pyarrow==14,pandas==1.5.3,awswrangler==3.12.0

其他AWS服务集成

Amazon SageMaker

在Notebook单元格中执行：

!pip install awswrangler

安装后必须重启内核。

EMR集群配置

前置条件：

EMR 6以下版本需配置Python 3为默认解释器

引导脚本示例：

#!/usr/bin/env bash
set -ex

# EMR < 6
sudo pip-3.6 install pyarrow==2 awswrangler

# EMR >= 6
sudo pip install awswrangler

从源码安装

git clone https://github.com/aws/aws-sdk-pandas.git
cd aws-sdk-pandas
pip install .

数据库特别说明

Microsoft SQL Server

需要额外安装：

ODBC头文件：

sudo apt install unixodbc-dev
# 或
yum install unixODBC-devel

安装驱动：
```
pip install 'awswrangler[sqlserver]'
```

Oracle数据库

使用oracledb驱动，默认使用Thin模式（无需客户端库），如需Thick模式需额外配置：

pip install 'awswrangler[oracle]'

公共资源

所有版本的Lambda层和Python wheel文件都存储在公开S3桶中：

Bucket: aws-data-wrangler-public-artifacts
路径模式: releases/<version>/

通过检查该桶可获取最新版本资源。

总结

AWS SDK for pandas提供了多种灵活的安装方式，可根据具体使用场景选择最适合的方案。无论是本地开发还是AWS服务集成，都能找到对应的部署方法。特别对于AWS服务集成，项目提供了完善的官方支持，大大降低了使用门槛。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考