Cinque problemi comuni dei data stream

Mia-Platform Team 25 novembre 2020

Oggi riuscire a fornire agli utenti finali servizi digitali davvero utili ed efficienti dipende dalla capacità di raccogliere ed elaborare immediatamente il flusso di dati - data stream - generato dalle interazioni dei clienti con il brand, attraverso gli applicativi e i canali di contatto. Questi dati devono poi essere organizzati e resi disponibili alle applicazioni usate in ambito business o consumer in tempo reale, per poter generare risposte precise e puntuali alle esigenze dei clienti e migliorare di continuo il valore generato. 

Ogni istante, le molteplici fonti dati - applicativi, canali di contatto fisici e digitali, dispositivi IoT etc. - generano con rapidità e a flusso continuo grandi volumi di dati veloci, i Fast Data: questi, se non correttamente e immediatamente gestiti, filtrati e resi disponibili, disperdono il proprio valore. Per questa tipologia di dati, la soluzione è creare data stream.     

Per esempio, nell’ambito della GDO, che gestisce e amministra enormi volumi di dati quotidianamente, saper gestire un flusso continuo di dati per trarne informazioni è fondamentale. 

 

Cos’è un data stream

Con il termine data stream si intende un flusso di dati eterogenei, provenienti da più fonti, prodotto in tempo reale, e indirizzato a rendere immediatamente disponibili e utilizzabili le informazioni.
Uno stream di dati viene creato adottando il paradigma Fast Data e aggregando i dati in Single Customer View: realizzando un’architettura ad eventi basata su piattaforme di event streaming come Apache Kafka.

Creando le Single Customer View - viste uniche, sempre aggiornate, a 360 gradi del profilo e della storia d’acquisto e di interazione di ogni singolo cliente - un data stream rende possibile mantenere aggiornati tutti i canali di contatto e gli applicativi, interni ed esterni, e prendere decisioni di business basate su informazioni sempre precise e aggiornate, da cui estrarre il massimo valore, nel momento in cui serve. 

Mia-Platform_Data_Stream-1


Possibili problemi tecnici e di business dei data stream 

L’implementazione di un’architettura in grado di gestire data stream è un progetto complesso, perché i dati da utilizzare vengono generati di continuo da una grande varietà di fonti (sensori e dispositivi IoT, sistemi IT, siti web, reti social), che li erogano utilizzando molte, differenti tipologie di formati.

Tra i problemi tecnici che possono frenare i progetti di data streaming ve ne sono alcuni principali: 

Errori causati da duplicazioni, anomalie, inconsistenza dei dati

Ad esempio, i dati acquisiti dai sensori IoT, spesso, possono risultare ‘sporchi’, e contenere letture ‘out of range’, valori nulli o duplicati, errori di sintassi, che necessitano di pulizia.

Problemi di disomogeneità dei dati presenti in diversi sistemi 

La frammentazione dei dati su molteplici sistemi aziendali crea difficoltà di standardizzazione. Anche gli applicativi, prodotti da costruttori differenti, potrebbero operare usando schemi, strutture dati diversi, che finiscono per corrompere la pipeline di dati.

Sfide di disaster recovery

In caso di eventi catastrofici, è necessario organizzare un piano di disaster recovery per ristabilire il funzionamento dell’applicazione di data streaming, tipicamente implementata su cluster di server, che a loro volta possono essere distribuiti su molteplici data center.   

Variazioni nei workload 

I carichi di lavoro dell’applicazione di data streaming sono soggetti a fluttuazioni repentine - e anche considerevoli - di volume e frequenza dei dati da gestire, che dipendono dalle dinamiche di mercato. Ad esempio, il volume di dati relativo a un servizio di assistenza clienti può variare in alcuni periodi, mettendo sotto stress il sistema, e richiedendo un’infrastruttura ad elevate prestazioni, in grado di supportare workload differenti, e di scalare la capacità in rapporto alle esigenze, senza accusare un deterioramento delle performance. 

Efficienza di aggregazione dei dati

Elevati volumi di dati da aggregare possono dilatare enormemente i tempi di elaborazione ed organizzazione dei data stream, rischiando di disperderne il valore. 

 

Approcci architetturali per i data stream

Mia-Platform propone una soluzione Fast Data che permette di realizzare una piattaforma di data streaming capace di anticipare o risolvere i problemi tecnici appena esposti, applicando, ad esempio, meccanismi di rollback e strategie di gestione indirizzate ad assicurare che i dati risultino sempre puliti e coerenti in tutto il sistema. 

La soluzione di Mia-Platform consente di svincolare i canali di contatto dai sistemi IT, attraverso un layer digitale, composto di diversi servizi, che funge da Digital Integration Hub.

I dati confluiscono in uno stream e vengono immediatamente aggregati in file JSON contenenti le Single Customer View (SCV) da una serie di microservizi appositamente realizzati, e poi resi disponibili alle varie applicazioni e canali. 
I canali possono chiamare le API per accedere alle viste uniche, o essere notificati in modalità push per le modifiche, seguendo l’approccio architetturale CQRS (command query responsibility segregation).
Inoltre, i dati vengono salvati su un database ad alte prestazioni e bassa latenza, che li tiene sempre aggiornati e a disposizione dei canali, a prescindere dalla disponibilità dei sistemi sottostanti; tutte le operazioni sui canali che coinvolgono i sistemi IT vengono mediate ed eseguite in modalità asincrona.

 

Conclusione 

Uno stream di dati sempre aggiornati e una vista unica su tutte le informazioni dei clienti permettono di fornire risposte puntuali, precise e valide alle esigenze dei clienti. Scegli Mia-Platform Fast Data per realizzare la tua piattaforma di data streaming e sbloccare il reale valore dei tuoi dati. 

 

Leggi il Paper 

Post Correlati

Fast Data: evolvere l’UX con informazioni in tempo reale

I dati sono il cuore del business. Senza dati, non è possibile avere la piena consapevolezza dei fenomeni che interessano l’azienda e...
Mia-Platform Team 06 marzo 2020

Architettura applicativa: perché deve evolvere con il mercato

La sfida dell’IT è oggi quella di accompagnare l’evoluzione delle esigenze del mercato e dell’impresa attraverso scelte efficaci a li...
Mia-Platform Team 10 novembre 2020

Fast Data: realizzare un’architettura a eventi con Mia-Platform

L’abilità di acquisire ed elaborare dati in tempo reale per prendere decisioni efficaci e tempestive costituisce oggi l’elemento diff...
Mia-Platform Team 03 dicembre 2020