Data engineering
Il data engineering costruisce le pipeline che rendono i dati utilizzabili: ingestione da sorgenti eterogenee, normalizzazione, controlli di qualità e modellazione, così che ogni analisi a valle parta da una base riproducibile.
Cosa comprende
Mappatura delle sorgenti
Ricognizione dei sistemi che producono dati, della loro frequenza di aggiornamento e dei vincoli di accesso.
Pipeline di ingestione
Flussi di caricamento pianificati o continui, con gestione degli errori e possibilità di rielaborare il passato senza duplicare.
Qualità del dato
Test automatici su completezza, unicità e coerenza: una pipeline che carica dati sbagliati senza segnalarlo è peggio di una pipeline ferma.
Modellazione e storicizzazione
Trasformazione dei dati grezzi in un modello leggibile e conservazione dello storico, così che un'analisi eseguita oggi resti riproducibile domani.
Il livello che tutti saltano
Le aziende arrivano al data engineering dopo aver provato l’analisi: si accorgono che due report sullo stesso indicatore danno numeri diversi, e che nessuno sa quale sia giusto. La causa è quasi sempre a monte, nel modo in cui i dati vengono raccolti e trasformati. Costruire questo livello non produce risultati visibili il primo mese, ma è la condizione perché tutto ciò che viene dopo sia affidabile.
Riproducibilità come requisito
Un’analisi ha valore se può essere rieseguita ottenendo lo stesso risultato. Questo richiede pipeline idempotenti, storicizzazione delle versioni del dato e trasformazioni descritte come codice versionato, invece che come passaggi manuali dentro un foglio di calcolo che conosce una persona sola.
Tecnologie utilizzate
- Python
- SQL
- Airflow
- dbt
- PostgreSQL
- BigQuery
- Docker
Domande frequenti
Serve per forza un data warehouse?
No. Per volumi contenuti un database relazionale ben modellato è sufficiente e molto meno costoso da gestire. Il warehouse ha senso quando le sorgenti si moltiplicano e le interrogazioni analitiche iniziano a disturbare i sistemi di produzione.
Come trattate i dati personali?
Minimizzando: nel livello analitico entrano solo i campi necessari, pseudonimizzati dove l'identità non serve, con accessi tracciati e separati da quelli operativi.
Altri servizi di Data Intelligence
Data science & ML
I progetti di data science e machine learning producono modelli predittivi calibrati sui dati dell'azienda: dalla definizione della variabile obiettivo alla validazione, fino alla messa in esercizio con…