◾️はじめに

https://dk521123.hatenablog.com/entry/2025/06/07/230713

の調査の一環として、
Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を
Github Copilotに聞いたところ、「s3fs」を教えてくれたので
メモってみた

【１】s3fsライブラリ

* Amazon S3 バケットを ファイルシステムのように扱うための Python ライブラリ

https://github.com/s3fs-fuse/s3fs-fuse?tab=readme-ov-file

【２】インストール

pip install s3fs

補足：その他の環境でのインストール

* pip 以外のインストールについては、以下の公式サイトを参照。

https://github.com/s3fs-fuse/s3fs-fuse?tab=readme-ov-file#installation

【３】サンプル

例１：CSV

import pandas as pd

df = pd.read_csv(
  's3://your-bucket-name/path/to/your/file.csv',
  storage_options={
    'key': 'YOUR_AWS_ACCESS_KEY_ID',
    'secret': 'YOUR_AWS_SECRET_ACCESS_KEY',
  }
)

print("**************")
print(df)
print("**************")
print(df.info())

print("Done")

例２：Parquet

import pandas as pd

# ★ここ変えただけ★
df = read_parquet(
  's3://your-bucket-name/path/to/your/file.parquet',
  storage_options={
    'key': 'YOUR_AWS_ACCESS_KEY_ID',
    'secret': 'YOUR_AWS_SECRET_ACCESS_KEY',
  }
)

print("**************")
print(df)
print("**************")
print(df.info())

print("Done")