Modelo de treinamento e teste
Entenda como os modelos de pagamento Athia são treinados, avaliados, servidos, experimentados e promovidos.
Nesta página
Athia trata um modelo treinado como candidato, não como decisão de produção. A qualidade dos dados, avaliação offline, compatibilidade de artefatos, prontidão para servir e evidência ao vivo controlada devem passar antes que um modelo receba tráfego significativo.
Dois sistemas, um ciclo de vida#
Athia separa o desenvolvimento de modelos offline das operações de modelos online.
| Responsabilidade | Oleodutos de dados e de formação | Plataforma Athia |
|---|---|---|
| Preparar dados de formação | Consulta governa dados Snowflake, valida-o e constrói características específicas de modelo | Acompanhe o conjunto de dados e o contexto de treinamento exposto com uma versão do modelo |
| Comboio e avaliação | Candidatos de formação, avaliação temporal ou de coorte e artefatos de pacotes | Versões do modelo de registo e provas de avaliação |
| Compatibilidade com o ensaio | Validar esquemas de funcionalidades, codificadores, metadados e contratos de artefactos | Verificar a capacidade de carga, saúde e prontidão para servir |
| Executa experiências | Produzir artefatos candidatos e métricas esperadas | Atribuir sombra ou tráfego controlado, coletar resultados e comparar variantes |
| Promover e operar | Reproduzir formação e conservar provas | Promova um vencedor, recarga quente ou implante-o, monitore-o e volte quando necessário |
O código de treino e os gasodutos voltados para o Snowflake vivem em DATA-Athena-Snowflake. Registro, experiência, serviço e controles de tempo de execução vivem em athena-platformEsta fronteira mantém o acesso a dados de treinamento separados dos serviços que fazem previsões online.
Desde dados governados até um modelo de produção#
Modelos de pagamento suportados pelo ciclo de vida#
O mesmo ciclo de vida pode ser usado para várias famílias de decisão, dependendo da configuração da conta e disponibilidade:
Algumas famílias de decisão usam um único preditor; outras treinam várias saídas relacionadas ou combinam evidências de modelo com regras de elegibilidade e segurança.
O que é testado#
1. Portões de dados
Antes do início do treinamento, o gasoduto verifica se a fonte é utilizável: frescura, volume mínimo, campos obrigatórios, disponibilidade de etiquetas, equilíbrio de classes e distribuições de recursos. As verificações de fugas e as separação de tempo impedem que as informações futuras entrem em exemplos passados.
2. Qualidade do modelo offline
A avaliação é específica da decisão. Pode incluir discriminação, precisão e recall, calibração, qualidade de classificação, erro por coorte e o efeito esperado do negócio. Os retentores temporais mostram se um candidato generaliza além do período que o treinou.
Testes de repetição e de percepção de políticas comparam as decisões de modelos com resultados históricos ou observados ao vivo, onde os dados suportam uma comparação válida. Nenhuma métrica é suficiente para promoção.
3. Contratos de artefato e características
O pacote modelo inclui o artefato modelo mais metadados necessários para reproduzir suas entradas e saídas. Os testes validam a ordem e os tipos de recursos, codificadores, identificadores de modelos suportados, esquema de saída e compatibilidade com o tempo de execução de serviço.
4. A prontidão para servir
Uma versão registrada deve carregar com sucesso, expor a saúde e prontidão, responder às solicitações representativas e atender às expectativas de latência e erro. A prontidão é separada da qualidade do modelo: um candidato forte que não pode ser servido com segurança não avança.
5. Evidência viva
O modo Sombra grava o que o modelo teria decidido sem alterar a transação. Experimentos controlados então atribuem uma parcela acordada de tráfego elegível a um candidato e comparam-no com uma linha de base. Os Guardrails observam os resultados dos pagamentos e a saúde operacional.
Portões de promoção#
| Portão | Provas necessárias |
|---|---|
| Dados | Entradas de formação válidas, suficientemente frescas e representativas |
| Avaliação offline | Limiares específicos do modelo mais comportamento de coorte aceitável e calibração |
| Contrato | Artefactos reprodutíveis, metadados, esquema de funcionalidades e teste de carga |
| Serviço | Implementação saudável com latência e comportamento de erro aceitáveis |
| Experiência | Provas controladas contra a linha de base activa e sem fugas de grade de protecção |
| Homologação | Decisão de promoção autorizada com uma pista de auditoria mantida |
Um modelo promovido permanece reversível. Os pesos de tráfego podem ser reduzidos, o modelo anterior pode ser restaurado, e o modo sombra pode ser usado novamente enquanto um novo candidato é investigado.
O que você vê em Athia#
A área de operações modelo reúne: