モデル トレーニングとテスト
Athiaの決済モデルが訓練され、評価され、提供され、実験され、促進される方法を理解します。
Athiaは、生産決定ではなく、訓練されたモデルを候補として扱う。 データ品質、オフライン評価、アーティファクトの互換性、準備と管理されたライブ証拠は、モデルが有意なトラフィックを受け取る前に、すべてのパスが必要です。
2つのシステム、1つのライフサイクル#
Athiaはオフラインモデル開発をオンラインモデルの操作から分離します。
| 責任の責任 | データおよび訓練のパイプライン | Athiaプラットフォーム |
|---|---|---|
| トレーニングデータの準備 | クエリは、Snowflakeデータを管理し、それを検証し、モデル固有の機能を構築します | モデルバージョンで公開されたデータセットとトレーニングコンテキストを追跡します |
| 訓練と評価 | トレーニング候補、行動規範、またはコホート・アウェア評価、パッケージアーティファクトを実行 | モデルのバージョンと評価証拠を登録する |
| 互換性をテストする | 機能スキーマ、エンコーダ、メタデータ、アーティファクト契約を検証 | 読みやすさ、健康、そして準備が整う |
| 実験を実行します。 | 候補のアーティファクトと予想されるメトリックを生成 | 影や制御されたトラフィックを割り当て、結果を集め、バリエーションを比較します |
| 推進・運営 | 訓練を促し、証拠を保持する | 勝者、熱負荷またはそれを配下し、要求されるときそれを監察し、ロールバックして下さい |
トレーニングコードとスノーフレークフェーシングパイプラインがライブ DATA-Athena-Snowflake. レジストリ、実験、サービング、ランタイムコントロールがライブで athena-platform. この境界線は、オンライン予測を行うサービスとは別にデータをトレーニングするアクセスを保持します。
管理されたデータから生産モデルまで#
ライフサイクルでサポートされる決済モデル#
同じライフサイクルは、アカウント設定や可用性に応じて、いくつかの決定家族に使用できます。
一部の決定家族は、単一の予測者を使用しています。他のいくつかの関連する出力を訓練したり、モデルの証拠を適格性と安全規則と組み合わせる。
試験とは#
1. データのゲート
トレーニングを開始する前に、パイプラインはソースが使用可能であることを確認します。新鮮さ、最小限のボリューム、必須フィールド、ラベルの可用性、クラスバランス、機能の配布。 タイムアウェアの分割や漏れチェックにより、過去の事例に入らない情報が防ぎます。
2. オフラインモデルの品質
評価は決定に特異的です。 差別、精度、リコール、校正、ランク品質、コホートによるエラー、期待されるビジネス効果などを含むことができます。 テンポラルホールドは、その訓練を受けた期間を超えて候補者が一般化しているかどうかを示しています。
再生とポリシー-aware テストは、データが有効な比較をサポートする歴史的またはライブ保存された結果とモデルの決定を比較します。 プロモーションには、単一のメトリックが十分ではありません。
3. 株式・機能契約
モデルは、その入力と出力を再現するために必要なモデルアーティファクトとメタデータが含まれています。 機能の順序と種類、エンコーダ、サポートされたモデル識別子、出力スキーマ、およびサービングランタイムとの互換性を検証します。
4. 準備のしやすさを
登録されたバージョンは、健康と健康を明らかにし、代表的な要求に応答し、レイテンシーとエラーの期待を満たす必要があります。 読みやすさはモデル品質とは別です。安全に提供できない強力な候補は、事前には行いません。
5. ライブ証拠
Shadow モードは、トランザクションを変更することなくモデルが決定したものを記録します。 制御実験は、資格のあるトラフィックの合意された共有を候補に割り当て、ベースラインと比較します。 ガードレールは、決済結果と運用健康の両方を監視します。
プロモーションゲート#
| ゲートゲート | 証拠が必要 |
|---|---|
| データ | 有効で、十分に新鮮で代表的なトレーニング入力 |
| オフライン評価 | モデル固有のしきい値と許容コホート動作と校正 |
| 契約条件 | 再現性のあるアーティファクト、メタデータ、機能スキーマ、ロードテスト |
| スタッフ | 許容レイテンシーとエラー動作による健康的な展開 |
| 実験実験 | アクティブベースラインと侵害されたガードレールに対する規制証拠 |
| 認証 | 保留監査証跡による承認されたプロモーション決定 |
推進モデルが残存する。 トラフィックウェイトを削減できるため、以前のモデルを復元でき、新しい候補が調査される間、シャドウモードを再び使用できます。
エチオピアで見るもの#
モデルの操作領域が一体化: