オフラインでのデータ転送
このページで
タイトル: オフラインデータ転送 概要: Athia に、ファイルとしてエクスポートするか、倉庫またはデータレイクで読み取り権限を付与することで、支払いデータをスケジュールで送信します。 slug: athia-integration-offline hidden: false order: 9#
オフライン転送は、Athiaが既に保有しているデータを、あなたが管理するスケジュールで送信する方法です。 これには、単発の履歴データの一時的なバックフィルと、継続的なフィードの両方が含まれます。 どちらも同じパスと仕様を使用します。
2つの形式があり、適切なものは、既存の支払いデータがどこにあるかによって決まります。
| ファイル | 倉庫またはデータレイク | |
|---|---|---|
| その仕組み | ファイルのエクスポートと、SFTPまたはS3への提供 | 指定されたテーブルまたはビューへの読み取りアクセス権を付与し、Athiaがそれらを参照します。 |
| 誰が所有しているか | あなたのデータチーム | あなたの倉庫管理者 |
| 以下の状況で有効 | 倉庫を持っていません、または支払いデータが倉庫にモデル化されていません | すでにSnowflake、Databricks、BigQuery、またはRedshiftで支払いデータをモデル化しています |
| 変更あたりの労力 | エクスポートジョブの変更 | ビューの変更 |
| 鮮度 | 1回の配信あたり、通常は1日ごと | 読み取りごとに、合意された頻度で |
| バックフィル | 同じエクスポート、一度実行 | 同じトランザクションから発生するため、別途バックフィルは不要 |
すでに倉庫やデータレイクで決済データをモデリングしている場合、通常は最も少ない労力で最も完全なデータを得られる方法です。 試行、決済、手数料、紛争間の結合はすでに完了しており、履歴と定期的なフィードは同じソースから取得されます。
オフラインとリアルタイム#
オフラインでのデータ転送は、Athiaへのデータの取得方法としては唯一ではありません。選択の基準は、鮮度ではなく、むしろ優先度です。
- オフラインでのデータ転送、このページ。データは設定したスケジュールで到着します。 履歴、決済およびコストデータ(すでにバッチで生成されるもの)、および時間が重要でない任意のフィードに適しています。
- プロバイダコネクタ、ここでAthiaは、決済、不正検知、およびコストプロバイダーを直接ポーリングするか、またはそれらのWebhookを受信します。 トランザクションデータに関しては、リアルタイムに近いですが、各プロバイダーが生成し、いつ生成するかによって制限されます。
- DEUNAによるオーケストレーション、データが処理の副産物として存在し、送信する必要がない場合。
これらは組み合わされます。Athiaはそれらを統合し、複数の使用は、より明確な結果を生み出すのではなく、競合を回避します。一般的な構成は、倉庫からの履歴およびモデリングされたデータ、および倉庫でカバーされていないプロバイダのコネクタです。
Athiaが各配信で何を行うか#
どのような構成を選択しても、Athiaは、アカウントで合意されたマッピングに基づいて到着したデータを確認し、拒否された行、必要なフィールドの欠落、および型の一致の不一致を特定したレポートを返します。 次の実行の前にエクスポートを修正します。
カラム名を変更する必要はありません。Athiaチームがインジェスト時にそれらをマッピングします。フィールドの仕様は、 Athiaデータ辞書に定義されています.
関連#
- Файлы (SFTP или S3)、形式、命名規則、配信、および検証ループに記載されています。
- 倉庫から倉庫へのデータ連携、承認、変更検出、およびその費用に関する情報。
- Athiaとの統合、すべてのパス、および送信する履歴の量。