Data Fabric contro tutti: iPaaS - Integrazione dei dati avanzata

La necessità di integrare i dati diventa sempre più impellente man mano che aumenta il numero di software all'interno di un'organizzazione. Secondo un report di Forrester, “Le grandi organizzazioni utilizzano in media 367 strumenti software diversi, creando silos di dati e interrompendo i processi tra i team”. Non c’è quindi da stupirsi se “l'80% degli intervistati afferma che la riduzione dei silos è una priorità assoluta per la propria organizzazione”.

Per abbattere questi silos, la maggior parte delle organizzazioni sta investendo in soluzioni di integrazione dei dati. Secondo Gartner, “entro il 2024, il 75% delle imprese di medie e grandi dimensioni utilizzerà almeno due diverse categorie di strumenti di integrazione per affrontare strategicamente la maggior parte delle loro esigenze di integrazione pervasiva”.

Nel corso degli anni sono stati sviluppati molti strumenti di integrazione dei dati diversi, che rispondono a problemi particolari e si concentrano su aspetti specifici. Alcuni di questi strumenti sono ormai obsoleti; per esempio, abbiamo già spiegato perché l'ESB è un approccio superato. Recentemente è emerso un nuovo paradigma, noto come Data Fabric. Poiché si tratta di un'innovazione con cui non molti hanno familiarità, abbiamo deciso di dedicare alcuni articoli per capire meglio di cosa si tratta. Lo faremo confrontando il Data Fabric con altri strumenti di integrazione dei dati più conosciuti.

In questo primo articolo, confronteremo Data Fabric con iPaaS (integration Platform-as-a-Service). Forniremo una panoramica generale di ciascuno di questi paradigmi, per poi confrontarne le principali caratteristiche e funzionalità.

Cos’è il Data Fabric

Secondo la definizione di IBM, un Data Fabric rappresenta un'architettura che facilita l'integrazione end-to-end di diverse pipeline di dati e di vari ambienti cloud mediante l'utilizzo di sistemi intelligenti e automatizzati. Gartner definisce invece il data fabric come “un progetto emergente di gestione dei dati per ottenere pipeline, servizi e semantica di integrazione dei dati flessibili, riutilizzabili e aumentati” (per la definizione completa si veda il link).

Il Data Fabric sta diventando sempre più popolare soprattutto perché è fortemente incentrato sull'automazione. Un'altra caratteristica fondamentale del Data Fabric è che è guidato dai metadati. Per approfondire le sue caratteristiche, rimandiamo a questo articolo che illustra le 5 funzionalità fondamentali di una soluzione di Data Fabric.

Cos’è un iPaaS

Gartner definisce un iPaaS (integration Platform as a Service) come “una suite di servizi cloud che consente lo sviluppo, l'esecuzione e la governance di flussi di integrazione che collegano qualsiasi combinazione di processi, servizi, applicazioni e dati on premises e cloud-based all'interno di una singola organizzazione o di più organizzazioni”. IBM, invece, lo definisce come una soluzione self-service basata sul cloud che standardizza il modo in cui le applicazioni vengono integrate.

Come si evince dal nome stesso e dalle definizioni, l’iPaaS è fortemente incentrato sull'integrazione delle applicazioni, in particolare dei loro dati. Oltre all’integrazione, le altre caratteristiche fondamentali che possiede un iPaaS sono:

• Adattatori per semplificare la connettività della configurazione;
• Un ambiente di workflow low-code per coinvolgere anche figure meno tecniche;
• Supporto per modelli di distribuzione ibridi.

Gli iPaaS presentano però anche gravi limitazioni che non consentono loro di scalare in modo efficace. Le sue prestazioni e la sua disponibilità dipendono strettamente dalle prestazioni e dalla disponibilità dei sistemi backend a cui è collegato. Se questi sistemi sono lenti o sovraccarichi, tutti i processi svolti dall’iPaaS ne risentono in termini di velocità, reattività, disponibilità e affidabilità.

Per questo motivo spesso gli iPaaS implementano strategie di caching, ridondanza, meccanismi di failover e di gestione degli errori. Tuttavia, anche se questi approcci possono attenuare il problema, non è possibile eliminarlo del tutto senza intervenire sui sistemi di backend.

Integrazione: tre casi d’uso

Quando si parla di integrazione, in genere i casi d'uso a cui ci si riferisce sono tre. Per essere considerata un iPaaS, una piattaforma deve supportare almeno uno dei seguenti casi d'uso. In questa sezione esploreremo ciascuno dei tre casi d'uso in modo più dettagliato.

Coerenza dei dati

Questo approccio mira a garantire che i dati siano sincronizzati e coerenti tra le diverse fonti. In altre parole, si vuole fare in modo che i dati relativi a determinate entità di business che si trovano in diversi database e applicazioni siano sincronizzati. Tali entità di business possono essere clienti, prodotti, fornitori, dipendenti, pazienti, cittadini, asset, ecc. Facendo un esempio concreto, l'indirizzo di un determinato cliente deve essere lo stesso nel CRM, nell’ERP, nel sistema di fatturazione e in qualunque altra applicazione in uso all’interno dell’azienda.

Gli iPaaS che si occupano di coerenza dei dati offrono due diverse funzionalità, a seconda di come viene effettuata la sincronizzazione dei dati:

• Applicazioni: quando lo scopo è quello di mantenere sincronizzate le applicazioni, l’iPaaS è in grado di rilevare le modifiche nell'applicazione di origine e di attivare i processi di integrazione per convalidare, arricchire e trasformare i dati, per poi inoltrarli alle applicazioni di destinazione.
• Dati: quando lo scopo è quello di centralizzare i dati, l’iPaaS è in grado di creare pipeline di dati da una serie di applicazioni e fonti di dati disparate verso un unico endpoint di destinazione, come un data warehouse o un data lake.

Processo a più fasi

Questo approccio mira a creare un processo unico in cui ogni fase è innescata da un evento che si verifica in un'altra applicazione. In altre parole, l’obiettivo è che applicazioni indipendenti collaborino per ottimizzare un determinato processo aziendale, sincronizzando automaticamente l'attività e scambiando i dati. Ad esempio, l'applicazione di gestione della supply chain notifica al sistema di gestione del magazzino l'arrivo di una certa quantità di un determinato prodotto. A sua volta, il sistema di gestione del magazzino aggiorna l'ERP attraverso lo scambio di dati finanziari sui prodotti appena arrivati.

I processi a più fasi possono essere suddivisi in due categorie principali:

• Interni: quando le attività e i processi automatizzati vengono eseguiti tutti all'interno dell'organizzazione. Tutte le applicazioni, i servizi e le fonti di dati sono all'interno della rete dell'organizzazione;
• Esterni: quando le attività e i processi automatizzati coinvolgono anche applicazioni, servizi o fonti di dati di partner.

Servizi compositi

Questo approccio mira a sviluppare una nuova applicazione che deve accedere ai dati di alcune applicazioni preesistenti, in particolare quelle legacy. Ad esempio, l’obiettivo è sviluppare un'applicazione mobile per il team di vendita che visualizzi e aggiorni i dati dei clienti nei sistemi ERP e CRM. Le applicazioni moderne di solito espongono delle API per supportare questo caso d'uso, ma le applicazioni legacy spesso non dispongono di questa tecnologia; perciò, la soluzione di questo caso d'uso è più difficile di quanto possa sembrare all'inizio.

A seconda del modo in cui si espongono i dati, di solito tramite API, si possono avere due tipi di servizi compositi:

• Interni: quando il servizio espone dati che possono essere consultati e utilizzati all'interno dell'organizzazione;
• Esterni: quando il servizio espone dati che possono essere accessibili a persone esterne all'organizzazione, come partner commerciali e/o clienti.

Data Fabric e iPaaS: analisi delle capacità e sinergie

Dopo aver chiarito cosa sono un Data Fabric e un iPaaS, in questa sezione mostreremo come questi due strumenti possono lavorare insieme. Mostrando le possibili sinergie tra loro, emergeranno anche le differenze.

Innanzitutto, è importante notare che alcune funzionalità sono comuni a entrambi i paradigmi. Tra queste troviamo:

• Change Data Capture (CDC)
• Elaborazione in batch;
• Architettura a microservizi;
• Esposizione semplice dei dati tramite API;
• Dati storici;
• Aggiornamento dei dati in tempo reale. Tuttavia, questa funzionalità è eseguita con approcci diversi: per l’iPaaS questa capacità è legata ai dati replicati provenienti dai sistemi backend, mentre per il Data Fabric l'aggiornamento dei dati in tempo reale viene eseguito su dati aggregati.

Oltre a queste caratteristiche comuni, iPaaS e Data Fabric presentano funzionalità diverse. Pur essendoci differenze sostanziali, alcune caratteristiche sono complementari tra loro. Ciò significa che è possibile avere un Data Fabric e un iPaaS che lavorano in sinergia, ognuno dei quali si concentra sui propri punti di forza. Ad esempio, se in una organizzazione è già in funzione un iPaaS, è possibile utilizzare un Data Fabric per ampliarne e migliorarne le funzionalità.

Vediamo in dettaglio come un Data Fabric può migliorare un sistema iPaaS e quali sono le loro differenze.

Integrazione dei dati

Il primo aspetto da considerare è l'integrazione, poiché è la più importante priorità degli strumenti. I tre diversi casi d'uso di cui parleremo sono illustrati nella sezione precedente.

Per essere un iPaaS, la piattaforma deve supportare almeno uno dei tre casi d'uso sopra menzionati (coerenza dei dati, processo a più fasi, servizi compositi). Quindi, la maggior parte degli iPaaS non fornisce tutte e tre queste funzionalità ed è necessario analizzare fornitore per fornitore ciò che effettivamente offrono. Si può avere un iPaaS che risolve il problema della coerenza dei dati, un altro focalizzato solo sui processi a più fasi e un altro ancora per i servizi compositi. Se si presentano tutti questi tre problemi, potrebbero essere necessari tre iPaaS diversi per risolverli tutti.

Il Data Fabric, invece, è un’unica soluzione in grado di supportare sia la coerenza dei dati che i servizi compositi; solo i processi a più fasi non sono sempre supportati dal Data Fabric. Una soluzione Data Fabric può però essere sfruttata per migliorare le prestazioni di un iPaaS, coprendo tutti gli scenari possibili. L'iPaaS può essere collegato al Data Fabric, il quale si occupa dell'integrazione dei dati dai sistemi backend sottostanti. Poiché il Data Fabric è basato sul cloud e altamente performante, l'iPaaS non dipenderà più dalle scarse prestazioni dei sistemi backend e sarà anch'esso più performante.

Aggregazione dei dati

Poiché gli iPaaS sono fortemente incentrati sull'integrazione, di solito non supportano l'aggregazione dei dati. In genere, si tratta di un compito che esula dall'ambito dell’iPaaS e che, se necessario, viene esternalizzato a un altro strumento dedicato, come un data warehouse o un data lake.

Al contrario, l'aggregazione dei dati è una delle funzionalità principali di Data Fabric. In un'architettura Data Fabric, ci sono diversi livelli, ognuno dei quali ha uno scopo specifico: i dati vengono prima integrati in un livello dedicato, poi un secondo livello si occupa dell'aggregazione. Una soluzione unica di Data Fabric che gestisce sia l'integrazione che l'aggregazione dei dati offre un approccio più lineare, efficiente ed economico alla gestione dell’infrastruttura di dati. Semplifica i processi di gestione dei dati, ne aumenta la coerenza e migliora le prestazioni complessive del sistema, rendendolo una scelta ideale per le organizzazioni che desiderano sfruttare appieno il potenziale dei propri dati.

Trasformazione dei dati

La trasformazione dei dati è un processo cruciale che prevede la conversione dei dati da un formato a un altro per renderli utilizzabili e preziosi. In genere, gli iPaaS non offrono soluzioni avanzate di trasformazione dei dati. La mappatura dei dati, la fase precedente alla trasformazione, viene eseguita manualmente, richiedendo un enorme impegno sia in termini di tempo che di figure professionali coinvolte.

Data Fabric, invece, grazie soprattutto alla sua capacità di sfruttare i metadati, può automatizzare questo compito, rendendo più veloce ed efficace l’intero processo di trasformazione. La trasformazione dei dati in un modello di dati predeterminato e condiviso all'interno dell'organizzazione consente inoltre di creare single view, ossia raccolte unificate di tutti i dati relativi a un'entità di business.

Dati in tempo reale

Come già detto in questo precedente articolo sulle 5 funzionalità fondamentali di una soluzione di Data Fabric, la disponibilità e l'accesso ai dati in tempo reale sono una delle caratteristiche più importanti del Data Fabric. Inoltre, il Data Fabric può aggregare i dati per produrre single view e renderle disponibili in tempo reale. Questa replica di tutti i dati può essere utilizzata dall'iPaaS come fonte per ulteriori processi. Inoltre, grazie alle single view è possibile avere una visione unificata e completa dei dati, indipendentemente dalla loro dispersione nelle diverse fonti di dati originali.

La connessione di un iPaaS a un Data Fabric è una soluzione pratica per i problemi di prestazioni associati al primo: se i dati vengono serviti in tempo reale dal Data Fabric, non ci saranno più rallentamenti o colli di bottiglia causati dalle basse prestazioni dei sistemi sottostanti.

Archiviazione efficiente dei dati

Come già detto, il Data Fabric può essere l'origine dei dati a cui è collegato l'iPaaS. Ciò è dovuto principalmente al fatto che Data Fabric è progettato per archiviare e ospitare dati, anche in modo persistente. Agendo come un repository centralizzato, da qui i dati possono essere gestiti e serviti in modo efficiente ed efficace. Un grande vantaggio è che Data Fabric può inviare notifiche di aggiornamento senza la necessità di un CDC specifico.

Avere tutti i dati in un unico punto di accesso va a vantaggio di altri servizi di dati e dell'iPaaS. La governance dei dati sarà più semplice ed efficiente e i team potranno dedicare più tempo e risorse alla creazione e alla manutenzione dei servizi, invece di selezionare i problemi dei dati e correggere gli errori della pipeline causati da dati scadenti.

D'altra parte, è anche possibile fare la cosa opposta, cioè collegare un Data Fabric a un iPaaS. In questo modo, l'iPaaS si connette direttamente ai sistemi backend e invia i dati al Data Fabric che, a sua volta, li aggrega. I dati aggregati possono poi essere utilizzati per diversi scopi.

Conclusione

Con l'aumento del numero di sistemi e software utilizzati all'interno di un'organizzazione, l'integrazione dei dati diventa sempre più importante per garantire una panoramica aziendale completa. Per integrare i dati provenienti da più fonti si possono utilizzare diversi strumenti e in questo articolo abbiamo messo a confronto l’iPaaS, una due delle soluzioni più diffuse, e il Data Fabric, un nuovo paradigma emergente.

L'iPaaS è un paradigma che si è affermato sul mercato da più tempo e quindi più diffuso, ma presenta gravi limiti di prestazioni che possono comprometterne l'efficacia. Il Data Fabric è invece un nuovo paradigma che sta guadagnando popolarità grazie al suo focus sull'automazione e sui metadati, che lo rendono molto veloce e più completo.

Esistono parziali sovrapposizioni tra iPaaS e Data Fabric. Diverse funzionalità offerte sono molto simili, ma esistono anche differenze sostanziali. Tuttavia, è importante notare che Data Fabric e iPaaS possono lavorare insieme in modo sinergico: collegando i due strumenti, è possibile sfruttare i punti di forza di uno per mitigare i limiti dell'altro.

Mia-Platform Fast Data è una soluzione Data Fabric che può essere utilizzata sia per potenziare un iPaaS esistente, espandendone le capacità, sia per eseguire l'integrazione, l'aggregazione e la trasformazione dei dati in un unico strumento. Per approfondire tutte le caratteristiche di Mia-Platform Fast Data, consulta la documentazione e prenota una demo gratuita per vederlo in azione.

Torna all'inizio