Formazione e test del modello
Capire come i modelli di pagamento Athia sono addestrati, valutati, serviti, sperimentati e promossi.
In questa pagina
Athia tratta un modello addestrato come candidato, non una decisione di produzione. Qualità dei dati, valutazione offline, compatibilità artefatti, disponibilità e prove live controllate devono passare prima che un modello riceva traffico significativo.
Due sistemi, un ciclo di vita#
Athia separa lo sviluppo del modello offline dalle operazioni di modelli online.
| Responsabilità | Condutture di dati e formazione | Piattaforma di Athia |
|---|---|---|
| Preparare i dati di formazione | Query ha governato i dati di Snowflake, convalidarlo e costruire caratteristiche specifiche del modello | Tracciare il contesto di dataset e formazione esposto con una versione modello |
| Allenamento e valutazione | Candidati del treno, eseguire la valutazione temporale o cohort-aware e artefatti del pacchetto | Registrare le versioni del modello e le prove di valutazione |
| Compatibilità test | Convalida schemi, encoder, contratti di metadati e artefatti | Controllare la disponibilità di carico, salute e servizio |
| Esperimenti di esecuzione | Produrre artefatti candidati e metriche attesi | Assegnare ombra o traffico controllato, raccogliere risultati e confrontare le varianti |
| Promuovere e operare | Riprodurre la formazione e conservare le prove | Promuovere un vincitore, ricaricare a caldo o dispiegarlo, monitorarlo e riavvolgirlo quando necessario |
Il codice di formazione e le tubazioni di Snowflake-facing vivono in DATA-Athena-Snowflake. I controlli di registrazione, esperimento, servizio e runtime vivono in athena-platform. Questo limite mantiene l'accesso ai dati di formazione separati dai servizi che fanno previsioni online.
Da dati regolamentati a un modello di produzione#
Modelli di pagamento supportati dal ciclo di vita#
Lo stesso ciclo di vita può essere utilizzato per diverse famiglie di decisioni, a seconda della configurazione e della disponibilità dell'account:
Alcune famiglie di decisioni utilizzano un singolo predittore; altre formano diverse uscite correlate o combinano prove di modello con le regole di idoneità e sicurezza.
Cosa è testato#
1. Cancelli di dati
Prima dell'inizio della formazione, il gasdotto controlla che la fonte è utilizzabile: freschezza, volume minimo, campi richiesti, disponibilità etichette, bilanciamento di classe e distribuzione di funzionalità. Le scissioni e i controlli sulle perdite di tempo impediscono alle informazioni future di entrare in esempi passati.
2. Qualità del modello offline
La valutazione è specifica per la decisione. Può includere discriminazione, precisione e richiamo, calibrazione, qualità della classifica, errore da coorte e l'effetto business previsto. Le interruzioni temporali mostrano se un candidato generalizza oltre il periodo che l'ha addestrato.
I test di riproduzione e di policy-aware confrontano le decisioni dei modelli con risultati storici o osservati dal vivo, dove i dati supportano un confronto valido. Non è sufficiente una singola metrica per la promozione.
3. Contratti di artefatti e caratteristiche
Il pacchetto del modello include il modello artefatto più metadati necessari per riprodurre i suoi input e output. I test convalidano l'ordine delle caratteristiche e i tipi, i codificatori, gli identificatori del modello supportati, lo schema di uscita e la compatibilità con il runtime di servizio.
4. Servire la prontezza
Una versione registrata deve caricare con successo, esporre la salute e la disponibilità, rispondere alle richieste rappresentative e soddisfare le aspettative di latenza e di errore. La disponibilità è separata dalla qualità del modello: un candidato forte che non può essere servito in modo sicuro non avanza.
5. Prove vive
La modalità Shadow registra ciò che il modello avrebbe deciso senza cambiare la transazione. Gli esperimenti controllati assegnano una quota concordata di traffico idoneo a un candidato e lo confrontano con una linea di base. Guardrails guarda sia i risultati di pagamento che la salute operativa.
Cancelli promozionali#
| Cancello | Evidenze richieste |
|---|---|
| Dati | Ingresso di formazione sufficientemente fresco e rappresentativo |
| Valutazione off-line | Soglie specifiche del modello più comportamento e calibrazione coorte accettabili |
| Contratto | Artifici, metadati, schema di funzionalità e test di carico |
| Servo | Distribuzione sana con comportamento di latenza accettabile e di errore |
| Sperimentazione | Prove controllate contro la linea di base attiva e nessuna curva di protezione |
| Approvazione | Decisione di promozione autorizzata con un percorso di audit mantenuto |
Un modello promosso rimane reversibile. I pesi del traffico possono essere ridotti, il modello precedente può essere ripristinato, e la modalità ombra può essere utilizzata di nuovo mentre un nuovo candidato è indagato.
Cosa vedi in Athia#
L'area di lavoro del modello riunisce: