Confluent, pioniere nel data streaming, e Databricks, specialista in dati e intelligenza artificiale, hanno annunciato un’importante espansione della loro partnership, unendo la piattaforma completa di Data Streaming di Confluent e la piattaforma di Data Intelligence di Databricks. In questo modo, le imprese avranno a disposizione dati in tempo reale per prendere decisioni basate sull’intelligenza artificiale. Le nuove integrazioni tra Tableflow di Confluent e Unity Catalog di Databricks consentiranno di governare i dati senza soluzione di continuità tra i sistemi operativi e analitici, permettendo alle aziende di creare applicazioni AI in modo più efficiente.
Affrontare la sfida dei dati nell’AI con Confluent e Databricks
Le aziende stanno rapidamente creando applicazioni di AI che richiedono dati affidabili e in tempo reale per migliorare le decisioni e l’esperienza dei clienti. Tuttavia, solo il 22% delle imprese è convinto che l’attuale infrastruttura IT sia in grado di supportare queste nuove applicazioni di AI. Uno dei principali ostacoli che le organizzazioni devono ancora superare è il divario tra i sistemi operazionali in cui vengono generati i dati e i sistemi analitici in cui tali dati vengono trasformati in insight. Poiché questi strumenti sono separati in silos, vengono applicati team, strumenti e processi distinti per ciascuno. Questo impedisce ai team di combinare i dati in tempo reale con altri sistemi in modo significativo, rendendo impossibile l’innovazione dell’AI su casi d’uso avanzati.
“Per massimizzare i rendimenti dei loro investimenti nell’AI, le aziende hanno bisogno di dati, AI, analisi e governance in un unico posto”, ha dichiarato Ali Ghodsi, co-fondatore e CEO di Databricks. “Aiutiamo sempre più organizzazioni a costruire la data intelligence, e i dati aziendali affidabili sono cruciali. Siamo entusiasti che Confluent abbia scelto Unity Catalog e Delta Lake come soluzioni aperte di governance e storage, e siamo ansiosi di lavorare insieme per offrire valore a lungo termine ai nostri clienti”.
“I dati in tempo reale sono il carburante dell’intelligenza artificiale”, ha dichiarato Jay Kreps, cofondatore e CEO di Confluent. “Eppure, troppo spesso le aziende sono frenate da sistemi scollegati che non riescono a fornire i dati di cui hanno bisogno, nel formato necessario, nel momento in cui ne hanno bisogno. Insieme a Databricks, stiamo facendo in modo che le aziende possano sfruttare la potenza dei dati in tempo reale per creare sofisticate applicazioni AI-driven per i loro casi d’uso più critici”.
Dati in tempo reale, pronti per l’AI
Confluent e Databricks annunciano nuove integrazioni per garantire interoperabilità in tempo reale e consentire ai team di collaborare con successo. Un’integrazione bidirezionale tra Tableflow di Confluent con Delta Lake e Unity Catalog di Databricks, una soluzione di governance unificata e aperta per i dati e l’AI, fornirà dati coerenti e in tempo reale tra i sistemi operazionali e analitici, che siano individuabili, sicuri e affidabili.
Delta Lake, un layer storage in formato aperto introdotto da Databricks, è stato originariamente sviluppato per casi di utilizzo in streaming con scritture veloci. È diventato il formato lakehouse più adottato, collaudato su ampia scala, con l’elaborazione di oltre 10 exabyte di dati al giorno. Oggi Tableflow con Delta Lake rende immediatamente disponibili i dati operativi al ricco ecosistema di Delta Lake. I clienti di Confluent e Databricks potranno utilizzare qualsiasi motore o strumento di AI come Apache Spark, Trino, Polars, DuckDB e Daft per i loro dati in Unity Catalog.
Inoltre, le integrazioni personalizzate tra Tableflow e Unity Catalog di Databricks garantiranno l’applicazione automatica dei metadati, un fattore critico per le applicazioni di intelligenza artificiale, ai dati scambiati tra le piattaforme. In questo modo, i dati transazionali e operazionali sono individuabili e fruibili per i data scientist e gli analisti che lavorano in Databricks, mentre i dati analitici sono ugualmente accessibili e utili per gli sviluppatori di applicazioni e gli ingegneri dello streaming di Confluent. Inoltre, la suite Stream Governance di Confluent fornirà governance e metadati a monte per migliorare la governance fine-grained, il lineage dei flussi end-to-end e il monitoraggio automatico della qualità dei dati in Unity Catalog.
Con queste nuove funzionalità, i dati di Confluent diventano risorse di alto livello in Databricks e i dati di Databricks sono facilmente accessibili da qualsiasi applicazione aziendale. Gli argomenti di dati in streaming utilizzati dalle applicazioni di AI e le tabelle su cui lavorano gli analisti avranno ora una visione unificata degli stessi dati in tempo reale, permettendo un processo decisionale più rapido e intelligente, guidato dall’AI, in tutta l’organizzazione. Questa perfetta integrazione tra applicazioni aziendali, analisi e governance è fondamentale per l’innovazione dell’AI su scala.
