CSV置くだけ構成は壊れずに間違う ― 秋田のオープンデータで検証するS3 Tables

織田 繁

CSVをS3に置いてAthenaで読む。この構成は列名の変更に気づけません。題材は秋田県オープンデータカタログサイトの実データです。月報人口CSVは2024年に36列中26列の列名が変わりました。旧「県外転入」列の中身は実は県内＋県外の合計で、県が名前を実態に合わせて訂正したものでした。CSVは列を位置で読むためAthenaはこの訂正に気づかず、テーブル定義を作り直さない限り誤った列名のまま集計が通り続けます。 Amazon S3 Tables（テーブルバケット上のマネージドApache Iceberg）ならどうなるか。Athena CTASでの取り込みから、列IDで追跡されるスキーマ進化、スナップショットに遡るタイムトラベル、年をまたぐ横断クエリまでを実演ベースで見せます。あわせて、自動コンパクション・スナップショット管理というマネージドの中身、汎用バケット比のパフォーマンス実測を並べます。 15分の終わりに、置くだけ構成を続けるかIcebergへ取り込み直すかの判断軸と、手元で動かせる検証コードを持ち帰れます。