Secondo uno studio IDC del 2017, il “Worldwide Semiannual Big Data & Analytics Spending Guide”, gli investimenti sullo sviluppo in ambito Big Data sono stati di 150,8 miliardi di dollari nel 2017. Questi investimenti ogni anno aumentano almeno a doppia cifra percentuale. 

Tuttavia, già nel 2017, meno del 14% dei Proof of Concept (PoC) sono diventate soluzioni effettivamente adottate e utilizzate in produzione. In assenza di soluzioni architetturali robuste e modelli di governance efficienti, molto spesso, parlando ad esempio di uno dei componenti core di un tipico stack Big Data, i Data Lake diventano delle “paludi”, dette Data Swamps, funzionali solo per use case esplorativi, ma lontani dall’abilitare soluzioni con valore di “produzione”. 

Le aziende e organizzazioni che traggono valore dai Big Data non sono quelle che riescono a salvare terabyte di dati in storage economici, sono piuttosto quelle che si avvalgono di soluzioni che consentono il processamento e la gestione di data source fortemente eterogenei, spesso originati da tecnologie complesse e diverse tra loro. 

Seppure sfidante e complessa, occorre inevitabilmente calarsi nella realtà dei sistemi distribuiti, con infrastrutture ed architetture che abilitino le computazioni distribuite, consentano la scalabilità del Data Lake, siano integrate da soluzioni di gestione dei master data e meta data management e molto altro ancora.