メインコンテンツへスキップ
すべてのシステムが正常に動作しています変更履歴v1
ログイン

倉庫から倉庫へのデータ連携

このページで

はい、Athiaは、直接、あなたの倉庫またはデータレイクに接続します。 Snowflake、Databricks、BigQuery、またはRedshiftに接続し、Databricks Unity Catalogのレイクハウステーブルや、倉庫を介して公開されている外部データも読み取ります。 倉庫の管理者は、定義されたテーブルまたはビューへのアクセスを許可し、Athiaは、合意されたタイミングでそれらから読み取ります。 パイプラインの構築、エクスポートのスケジュール設定、またはファイル形式の合意は不要です。 モデルが変更された場合、ビューを変更します。

すでに倉庫で決済データをモデリングしている場合、これは通常、最も少ない労力で最も完全なデータを得る方法です。 試行、決済、手数料、紛争間の結合はすでに完了しており、履歴と定期的なフィードは同じソースから取得されます。そのため、別途バックフィルを構成する必要はありません。

倉庫の管理者が設定する内容#

プラットフォームごとに4つの要素:

  1. 専用の機械識別子。 Athia 用の、ユーザー、サービスアカウント、またはサービスプリンシパル。これは人のアカウントではなく、スタッフの変更の影響を受けず、監査ログに正しく表示されます。
  2. 名前付きオブジェクトへのアクセス権。 2種類あり、2番目のものが最も忘れがちなものです：読み取り権限 行、および、 メタデータの読み取り権。、Athia がテーブルと列を特定するためのカタログエントリ。メタデータへのアクセス権がない場合、接続設定時にスキーマは表示されません。
  3. 変更の検出方法の決定。 詳細は後述。これは請求に影響します。
  4. ネットワークパス。 Athia が倉庫にアクセスする方法。

プラットフォームごとに#

プラットフォームアイデンティティまた、以下のものが必要です。ネットワークパス
Snowflake専用の役割を持つユーザー、キーペアまたはパスワードで認証データベースとスキーマ、支払いオブジェクトの選択、および読み取りを実行するコンピューティングへのアクセス。ネットワークポリシーによる許可リスト、またはサポートされている場合にプライベート接続。
BigQueryサービスアカウントデータセットとテーブルメタデータの読み取り、テーブルデータの読み取り、およびクエリジョブを実行できる役割。 同じ地域 ソースとして使用IAM を介した認証、したがって IP 許可リストは不要
DatabricksUnity Catalog 上のトークンまたはサービスプリンシパルカタログ全体でのスキーマの使用、および Delta テーブルの読み取りAthia のアドレスをワークスペースで許可リストに追加
RedshiftデータベースユーザーSeleccione las vistas del catálogo del sistema y las tablas de pagosセキュリティグループのインバウンドルール、またはプライベート接続

正確な権限は、Athia のチームが、プラットフォームとスコープごとに、それぞれ異なる設定で付与します。そのため、汎用的なスクリプトは役に立ちません。

変更の検出方法と、そのコスト#

これは、権限を付与する前に決定する必要があるもので、権限と実行コストの両方を決定します。

変更追跡。 倉庫自体が変更を記録し、Athia は Delta のみを読み取ります。これは最も安価で高速なオプションであり、大規模なテーブルの場合、数セントのコストと実際のコストの差になります。

完全スキャンによる比較 Athia は、各サイクルで選択されたオブジェクトを読み取り、変更を特定します。変更追跡は不要です。これは、ポリシーがソースオブジェクトへの書き込みを禁止する場合に最適な方法です。ただし、データのスキャンには料金がかかり、テーブルサイズと同期の頻度に応じて料金が変動します。

これらの設定は、権限を付与する前に決定する必要があります。#

  • Scope. データベース、カタログ、データセット、およびスキーマ。また、権限が特定のテーブルを列挙するか、将来のテーブルをカバーするかどうかを決定する必要があります。列挙した場合、オンボーディング後に作成されたテーブルは、誰かが権限を再実行するまで表示されません。
  • 追跡またはフルスキャン。 上記と同様。後で変更するには、管理者に戻る必要があります。
  • ネットワーク環境 許可リスト付きのパブリックエンドポイント、またはプライベート接続。プライベートオプションには、特定のプランレベル、プロビジョニングするエンドポイント、およびピン留めるリージョンなどの前提条件があります。
  • コンピューティングとスクラッチの場所 読み取りを実行する倉庫またはクラスタ、およびそれに関連する費用。BigQuery の場合、ワークングデータセットの場所も決定します。これは、ソースと同一のリージョンに配置する必要があります。

よくある問題#

表示される内容通常は、以下のような理由で。
スキーマは、接続が確立されたときに表示されません。メタデータの読み取り権限が与えられていません。行の読み取りのみ許可されています。
新しいテーブルが表示されません。このドキュメントでは、既存のテーブルのみを対象としています。将来のテーブルについては記載されていません。
Стоимость складов возрастает после запуска変更追跡機能は有効になっていません。そのため、すべての同期操作は完全なスキャンを実行します。
テーブルのエラーは、テーブルの更新時ではなく、テーブルの同期時に発生します。これは読み取り不可能なオブジェクトタイプであり、外部テーブルやパーティション分割されたテーブル（パーティションフィルタが必要な場合）が主な原因です。
テーブルの同期が遅い、または拒否される。主キーを持たない。主キーを持たないテーブルは、効率的に読み取りにくく、一部のプラットフォームでは、テーブルのサイズが制限されることがあります。

適切な範囲を設定する際に考慮すべき制限#

  • 主キーは重要です。 最終的なリストを作成する前に、使用している支払いテーブルに主キーがあるかどうかを確認してください。
  • オブジェクトタイプ。 外部テーブルおよびパーティションフィルタが必要なテーブルは、通常読み取りできません。ビューは、テーブルよりも遅い方法で読み取ることができます。
  • Databricks Unity CatalogおよびDelta形式のテーブルが必要です。
  • 特殊なデータ型、ネストされた構造、期間、地理情報など。必要なフィールドがこれらのいずれかの場合、スコープ段階で通知するようにしてください。