Файлы (SFTP или S3)

ファイルのエクスポートと、SFTP または S3 への定期的な配信を行います。 Athia は、宛先、フォーマット仕様、および検証を提供します。

• 誰が所有するのか： データチーム。 既存のシステムからエクスポートし、配信をスケジュールします。
• Athia が提供するもの： SFTP または S3 への宛先と認証情報、フィールド仕様（参照してください Athiaデータ辞書に定義されています）、および各配信に関する検証レポート。 報告書には、アカウントで合意されたマッピングに基づいて、拒否された行、必要なフィールドの欠落、および型の一致の不一致がリストされ、固定された列名ではなく、アカウントで合意されたマッピングに基づいて検証されます。 これにより、次の実行前にエクスポートを修正できます。
• 配信頻度： 定期的なフィードの場合は、通常は 1 日ごとです。 これは、ソースシステムがクローズする頻度に合わせます。
• フォーマット： Apache Parquet が推奨されます。 Gzip CSV、JSON Lines、または直接テーブルおよびビューへのアクセスも可能です。
• ファイル粒度： 1 つのファイル per ソース per month、約 1 ギガバイト per ファイル、必要に応じて分割。
• 一度限りの作業： 過去のデータのエクスポートは 1 回のみ行います。 ライブ接続が開始されると、手動での更新は不要です。

バックフィルと定期的なデータ配信は同じパスと仕様を使用します。

SFTP経での配信#

SFTPは、大量の履歴データや、数秒以内に到着する必要がないデータ配信に適しています。

アクセス方法

AthiaチームにSFTPアカウントの開設を依頼してください。 公開鍵を交換し、Athiaはホスト、ユーザー名、およびアカウントのアップロードおよび受信ディレクトリを返します。 パスワードは不要です。

ファイル名の設定

すべてのファイル名を、その内容の種類で開始してください。 Athiaは、このプレフィックスに基づいてルーティングを行います。 プレフィックスが正しくないファイルは、ルーティングエラーとなります。

• transactions_2026-05-18_01.parquet
• costs_2026-05-18_01.parquet
• subscriptions_2026-05-18_01.parquet

プレフィックス以降は、タイムスタンプ、ソースシステム、部品番号など、自由に利用できます。

領収書のアップロードと読み取り

1. ホストとユーザー名（発行されたもの）を使用して接続する。
2. ファイルをアップロードディレクトリにドラッグ＆ドロップ。
3. レシートを、同じサーバー上のレシートディレクトリで確認してください。

Athiaは、処理する各ファイルに対してレシートを作成し、拒否された行、欠落している必須フィールド、およびタイプの一致しないケースを記録します。 修正はファイルではなく、エクスポートに対して行う必要があります。そうしないと、次のスケジュール実行で問題が再発生します。