De un almacén a otro
En esta página
Sí, Athia se conecta directamente a tu almacén o lago de datos. Lee desde Snowflake, Databricks, BigQuery o Redshift, incluyendo tablas de tipo "lakehouse" en el catálogo de Unity de Databricks y datos externos expuestos a través de tu almacén. El administrador de tu almacén otorga acceso a un conjunto definido de tablas o vistas, y Athia las lee con la frecuencia acordada. No es necesario crear ninguna canalización, ni exportar para programar, ni acordar un formato de archivo. Cuando cambian tus modelos, cambias la vista.
Si ya modelas los pagos en tu almacén, esta suele ser la opción con menos trabajo para obtener los datos más completos. Las uniones entre intentos, liquidaciones, tarifas y disputas ya están realizadas, y el historial y la alimentación recurrente provienen de la misma autorización, por lo que no es necesario realizar una actualización separada.
Lo que configura tu administrador de almacén#
Cuatro cosas, en cada plataforma:
- Identidad dedicada para la máquina. Un usuario, una cuenta de servicio o un principal de servicio creado para Athia, nunca una cuenta de una persona, para que el acceso sobreviva a los cambios de personal y aparezca de forma limpia en tu registro de auditoría.
- Acceso de lectura, con alcance a objetos nombrados. Dos tipos, y el segundo es el que se olvida con más frecuencia: permiso para leer lasfilas, y permiso para leer, las entradas del catálogo que permiten a Athia descubrir qué tablas y columnas existen. Sin el permiso de metadatos, los esquemas no aparecen al configurar la conexión.
- Una decisión sobre cómo se detectan los cambios. metadatos,
- Una ruta de red. Cómo se conecta Athia al almacén de datos.
Para plataformas#
| Ver abajo. Esta es la que afecta a tu factura. | Cómo Athia accede al almacén. | Plataforma | Identidad |
|---|---|---|---|
| También necesita | Un usuario con un rol dedicado que se autentica mediante un par de claves o una contraseña | Permisos de uso en la base de datos y el esquema, lectura de los objetos de pago y uso de la capacidad de cómputo que ejecuta las consultas | Un usuario con un rol dedicado, autenticándose mediante una pareja de claves o contraseña |
| Uso en la base de datos y el esquema, selección de objetos de pago, y uso en el entorno de cómputo que ejecuta las lecturas | Una cuenta de servicio. | Tu política de red, lista blanca, o conectividad privada en planes que la soportan BigQuery como origen | misma región |
| que la fuente | Un token o principal de servicio en Unity Catalog. | mediado por IAM, por lo que no hay un paso de lista blanca de IP | Databricks |
| Uso del esquema en todo el catálogo para que los esquemas se resuelvan, además de la lectura de las tablas Delta | Un usuario de base de datos. | Lista blanca de las direcciones de Athia en tu espacio de trabajo | Una regla de entrada de grupo de seguridad, o conectividad privada. |
Las sentencias de permisos exactas las proporciona tu equipo de Athia según la plataforma y el alcance; difieren lo suficiente entre estas cuatro opciones como para que un script genérico no resulte útil.
Selección de vistas del catálogo del sistema, así como de las tablas de pago#
Se emiten declaraciones de permiso exactas por tu equipo de Athia para tu plataforma y alcance, y son lo suficientemente diferentes entre estos cuatro, por lo que un script genérico no es útil.
Cómo se detectan los cambios y cuánto cuesta Esta es la decisión que debes tomar antes de que se escriba la autorización, porque determina tanto la autorización como el coste de funcionamiento.
Seguimiento de cambios. El almacén registra lo que ha cambiado, y Athia solo lee los cambios. Esta es la opción más económica y rápida, y en tablas grandes, es la diferencia entre una sincronización que cuesta unos céntimos y una que cuesta dinero real.
Decide esto antes de que se escriba la autorización#
- Scope. Qué bases de datos, catálogos, conjuntos de datos y esquemas. Decide también si la autorización enumera tablas específicas o cubre futuras: enumera, y las tablas creadas después del onboarding permanecerán invisibles hasta que alguien vuelva a ejecutar la autorización.
- Seguimiento de cambios o escaneo completo. Como se mencionó anteriormente. Cambiarlo más tarde significa volver a tu administrador.
- Postura de red. Punto final público con lista blanca, o conectividad privada en planes que la soportan. Las opciones privadas pueden tener requisitos previos: un nivel de plan específico, un punto final para aprovisionar, una región para fijar.
- Ubicación de cómputo y de almacenamiento temporal. Qué almacén o clúster ejecuta las lecturas, y por lo tanto, quién paga por ello. En BigQuery, también dónde vive el conjunto de datos de trabajo, ya que debe estar co-regional con la fuente.
Qué suele salir mal#
| Lo que ves | Normalmente porque |
|---|---|
| Los esquemas no aparecen cuando se establece la conexión | No se ha concedido el acceso a la lectura de metadatos, solo a la lectura de filas |
| Las nuevas tablas nunca aparecen | La autorización enumera las tablas en lugar de cubrir futuras |
| Los costes del almacén aumentan después de la puesta en marcha | El seguimiento de cambios nunca se habilitó, por lo que cada sincronización es una escaneo completo. |
| Una tabla falla durante la sincronización, en lugar de durante el momento de la concesión. | Es un tipo de objeto que no se puede leer, tablas externas y particionadas que requieren un filtro de partición, son los culpables habituales |
| Una tabla se sincroniza lentamente o se rechaza. | No tiene una clave primaria. Las tablas sin una son leídas de forma menos eficiente y algunas plataformas limitan el tamaño en el que pueden ser |
Límites que debes conocer al definir el alcance#
- Las claves primarias son importantes. Confirma cuáles de tus tablas de pago tienen una antes de finalizar la lista.
- Tipos de objetos. Las tablas externas y las tablas de partición-requieren-filtro generalmente no son legibles. Las vistas normalmente lo son, a través de una vía más lenta que las tablas.
- que la fuente requiere Unity Catalog y tablas en formato Delta.
- Tipos de datos exóticosestructuras anidadas, intervalos, geografía, pueden convertirse o omitirse. Si tienes un campo que necesitas, indícalo durante la definición, en lugar de después de la primera carga.
Relacionado#
- Transferencia de datos fuera de línea, esta vía contra archivos, y cómo se comparan con los conectores en tiempo real.
- Integración de Athia, todas las vías de integración y cuánto historial enviar.
- Diccionario de datos de Athia, los campos que Athia analiza, y cómo se mapean los nombres al ingest.
- Archivos (SFTP o S3), la alternativa cuando no es posible otorgar una autorización directa.