Arquitectura Python - IE PDF

Preview

Summary

Es un tecto que trata de visualizacion de informacion...

Description

Arquitectura ETL Python G U Í A B A S E PAR PA R A I N T E G R A R L O S S C R I P T S P Y T H O N A L D E S A R R O L L O D E DAS HB OARD – I E – I &N

Arquitectu turra Python AS IS •Librerías (Base, Visualización – Dash & Plotly) •Ecosistema Python (Ambiente Virtualizado) •IDE (Spider, Atom, JetBrains) •Windows Task Scheduler (ETL)

TO BE •Ambiente de producción (Visualización / Repositorio Scripts) •PMC (Python Management Console) - Airflow (ETL) •Librerías complementarias (Análisis de datos, visualización, DS)

Repositorio Script ETL Los scripts de Python deben seguir la siguiente estructura:

.bat \SQL\ \PY\

Carpeta principal del proyecto Archivos ejecutor de la tarea Carpeta contenedora de los scripts SQL (Consultas) Carpeta contenedora del script python (Código)

Ejemplo: ◦ C:\PyRM\GR-Ventas-DWH\GR-Ventas-DWH.bat ◦ C:\PyRM\GR-Ventas-DWH\SQL\GR-Ventas_Historicas.sql ◦ C:\PyRM\GR-Ventas-DWH\PY\GR-Extractor_Ventas_Historia.py

Administración de Tareas La ejecución y administración de los Scripts Python se controlaran mediante el uso de la herramienta de Windows Server Windows Task Scheduler y deben considerar la siguiente nomenclatura: --- 00-XX – XXX – ABCD01234C – X00 * Cada tag de la nomenclatura se define en las tablas al final de este documento. Ejemplo: ◦ 01-GR-VTA-MQTVENTASGEN-D04 ◦ Esta tarea nos permite saber que corresponde a la unidad de negocio de Grupo Reyma, del proceso Ventas donde extrae información de las Ventas y es un proceso que se corre diariamente.

Tags Recordando que la nomenclatura se forma de la siguiente manera: --- UNIDAD_NEGOCIO

DEFINICIÓN

PROCESO

DEFINICIÓN

ID RECARGA

DEFINICIÓN

01-GR

Grupo Reyma

VTA

Ventas

H01

Carga Histórica de los datos (Única)

02-BN

Benol

PRD

Producción

A02

Carga Anual de los datos

03-MA

Magnacero

INV

Almacén Inventarios

M03

Carga Mensual de los datos

TKS

Tickets TI

D04

Carga Diaria de los datos

GTS

Gastos

CXP

Cuentas por pagar

CXC

Cuentas por cobrar...