A cura di Doug Cutting, il creatore di Hadoop
Data la mia collaborazione di lunga data con Apache Software Foundation mi viene spesso posta la seguente domanda: “Quali sono le prospettive per la tecnologia open source?” La mia tipica risposta solitamente varia da “non so” a “le possibilità sono infinite”.
Nel corso dell’ultimo anno abbiamo visto la tecnologia open source farsi strada in modo importante nel filone principale della tecnologia per le aziende. Chi avrebbe mai pensato che il mio lavoro di dieci anni fa, incentrato su Hadoop, avrebbe avuto un impatto in così tanti settori, dalla produzione alle telecomunicazioni fino al finance. Hanno tutti abbracciato i punti di forza dell’ecosistema open source, non solo per migliorare l’esperienza del cliente, diventare più innovativi e incrementare il fatturato, ma anche per contribuire al bene superiore della società in generale attraverso la ricerca genomica, con la medicina di precisione e programmi per bloccare il traffico di esseri umani, solo per fare qualche esempio.
Qui di seguito ho elencato cinque suggerimenti per coloro che desiderano sapere come iniziare a lavorare con l’open source e cosa aspettarsi da un ecosistema in continua evoluzione.
1. Abbracciare il cambiamento e l’evoluzione costanti dell’open source
Cambiamento costante: questa è la prima lezione da assimilare per aprirsi alla tecnologia open source e uno dei più grandi punti di differenziazione rispetto al software tradizionale. La natura dell’open source è fluida e flessibile, con nuovi progetti che nascono regolarmente per affrontare specifici casi d’uso. Questo ciclo dinamico, infatti, spinge i prodotti a migliorare più velocemente. Affinché le aziende possano sfruttare appieno i vantaggi dell’open source, penso che le imprese debbano aprirsi a questo cambiamento. Il dibattito Spark Vs MapReduce è un perfetto esempio del motivo per cui ciò sia importante.
È vero che si creano un minor numero di nuove applicazioni basate su MapReduce e che, invece, si utilizza Spark come motore di default per l’elaborazione dei dati. MapReduce, infatti, viene gradualmente sostituito come motore alla base in strumenti come Hive e Pig, ma questo non rende MapReduce una soluzione obsoleta. Continuerà a funzionare bene per le applicazioni esistenti per molti anni ancora, e, per alcuni carichi batch di grandi dimensioni, può rimanere lo strumento migliore. Questa tendenza, infine, segue la naturale evoluzione della tecnologia open source: MapReduce è stato il motore 1.0 per l’ecosistema dei dati open source, Spark è il suo successore 2.0, e un giorno ci sarà un 3.0 che renderà Spark obsoleto.
2. Quando si introduce un nuovo stack tecnologico, iniziare in piccolo e con un approccio top down
Piuttosto che progettare e distribuire soluzioni specifiche non integrate, vi è ora la disponibilità di piattaforme dati di uso generale con molti strumenti che possono essere combinati in modo flessibile per la ricerca, lo streaming, l’apprendimento automatico e altro ancora. Insieme, questi aspetti richiedono non solo un diverso insieme di competenze, ma un cambiamento culturale in termini di stile di gestione e struttura organizzativa. Per questo motivo è importante ottenere un supporto di alto livello all’interno di un’organizzazione e introdurre la tematica della gestione dei dati anche a livello di consiglio di amministrazione. Suggerisco, inoltre, anche la graduale creazione di una nuova cultura su poche nuove applicazioni, piuttosto che sostituire tutto in una volta, al fine di aiutare tutti ad ambientarsi e iniziare da uno specifico caso d’uso.
3. Evitare di legarsi a un fornitore cloud, optando per il software open source
Sempre più imprese e settori adottano il cloud: dovrebbero prendere in considerazione il software open source, che non è solo più robusto, scalabile e sicuro, ma può anche aiutarli a evitare di legarsi a un unico fornitore cloud. Creando una piattaforma open source, le aziende possono ricorrere all’arbitraggio dei fornitori di soluzioni cloud per contenere i costi e utilizzare cloud diversi in Paesi differenti, o utilizzare una combinazione di sistemi cloud e on-premise. Di fatto, le piattaforme open source hanno anche dimostrato la loro superiorità tecnica e probabilmente guadagneranno altro terreno nel 2017. È difficile per un unico fornitore competere contro un ampio numero di istituzioni che collaborano in open source. Inoltre, i sistemi di dati open source ora sono eccellenti in termini di prestazioni e flessibilità, e stanno migliorando più rapidamente.
4. Per chi cerca lavoro, focalizzarsi sull’insieme e non sui singoli componenti dell’ecosistema open source
Coloro alla ricerca di un impiego nel campo dell’IT, della programmazione e della scienza dei dati, non dovrebbero focalizzarsi sulla padronanza delle singole tecnologie, ma dovrebbero concentrarsi invece sulla comprensione del miglior uso di ciascuno dei componenti dell’ecosistema di dati open source e come questi possono essere collegati al fine di risolvere i problemi. Questa visione architettonica di alto livello è il talento più prezioso per le imprese innovative in ambito tecnologico. Perché, all’arrivo di nuove tecnologie, è fondamentale comprendere come possono adattarsi, ciò che potrebbero sostituire e quello che potrebbero rendere possibile.
5. Cercare opportunità nel divario di competenze
Il divario di competenze legato ai big data rimarrà relativamente costante nel prossimo anno, ma questo non deve scoraggiare le persone dall’adottare Hadoop e altre tecnologie open source. Come molti di noi sanno, quando si creano nuove tecnologie e si compete per gli utenti, queste sono poco conosciute. Solo quando un particolare tipo di software diventa uno standard maturo possiamo cominciare a poter contare su un numero significativo di persone esperte nel suo utilizzo, ma anche in questo caso il divario di competenze può permanere. Si estinguerà solo quando smetteremo di osservare importanti miglioramenti allo stack, e non credo sia quanto desideriamo. In breve: il divario di competenze è uno dei fattori principali a ostacolare il tasso di variazione della piattaforma, ma è anche un segno che l’innovazione è a portata di mano.
Conclusioni
L’ecosistema open source e la sua adozione in progetti significativi continuerà a espandersi nei prossimi anni. Stimolando la collaborazione, riunisce le menti più brillanti di oggi per far progredire lo sviluppo del software a un ritmo difficilmente possibile dieci anni fa. Se avete un’idea per migliorare le tecnologie esistenti o volete essere parte dell’innovazione per rompere lo status quo, questo è il posto giusto: la comunità ASF (Apache Software Foundation). Incoraggio chiunque sia interessato a mettersi in gioco e i veterani dell’open source a continuare a impegnarsi per la causa.
