Da Google tre nuove soluzioni di assistenza visiva

Google presenta le ultime novità durante il Google I/O 2025 e il Global Accessibility Awareness Day. In serbo tre soluzioni di assistenza visiva che promettono di migliorare nettamente il modo in cui le persone con disabilità visiva interagiscono con il mondo digitale e fisico.

Le tecnologie chiave riguardano Project Astra con il suo Visual Interpreter, Gemini Live e il nuovo TalkBack potenziato da Gemini Nano.

“Visione” sempre più “reale”

Christopher Patnoe responsabile Accessibilità Emea di Google, spiega: «Come Google, siamo impegnati da sempre a rendere l’informazione universalmente accessibile e crediamo che la tecnologia abbia il potere di migliorare la vita di tutte le persone, comprese quelle con disabilità e neuro divergenze».

L’approccio di Google parte da un dato che di certo non lascia indifferenti: nel mondo ci sono quasi 253 milioni di persone non vedenti o ipovedenti. Per loro, l’accesso alle informazioni visive è sempre stato mediato da altri o limitato dalla tecnologia disponibile. Ora l’assistenza visiva basata su AI cambia le regole del gioco.

Project Astra: l’assistente che vede per te

La prima grande novità è Project Astra, sviluppato da Google DeepMind in stretta collaborazione con la community dei disabili visivi. Al suo cuore c’è il Visual Interpreter, un sistema di assistenza visiva capace di comprendere e descrivere in tempo reale oggetti, ambienti e situazioni.

Il sistema reagisce dinamicamente ai cambiamenti nel campo visivo: quando la fotocamera del telefono si muove, Astra aggiorna continuamente la descrizione della scena circostante. Un utente può puntare il telefono in una stanza sconosciuta e ricevere informazioni come “Sei in un soggiorno: di fronte a te c’è un divano grigio, a sinistra un tavolino con sopra una tazza, a destra c’è una porta aperta che conduce in cucina”.

La grande utilità di questa tecnologia deriva dall’ integrazione con l’ecosistema Google. Il Visual Interpreter attinge a Google Maps per l’orientamento e l’identificazione dei luoghi, a Google Foto per riconoscere volti noti o oggetti già fotografati, e a Google Lens per migliorare l’accuratezza nell’identificazione degli elementi.

Google ha stretto una partnership strategica con Aira, servizio di assistenza visiva umana on-demand, per sviluppare e perfezionare Astra. Gli operatori e gli utenti di Aira hanno contribuito come beta tester e hanno assicurato che il prototipo risponda alle vere esigenze delle persone con disabilità visive.

Attualmente Project Astra è in fase di test ristretto attraverso il programma Trusted Tester, con supervisione umana professionale in tempo reale come garanzia di sicurezza. Il sistema è pensato per funzionare sia su smartphone Android sia su prototipi di occhiali smart, con memoria condivisa tra dispositivi.

Gemini Live: l’AI che dialoga con la tua fotocamera

La seconda novità arriva con Gemini Live, funzione integrata nell’app Google Gemini e resa completamente gratuita per tutti gli utenti Android e iOS. A differenza di soluzioni precedenti che richiedevano app specializzate, Gemini Live porta l’assistenza visiva direttamente nell’assistente generale di Google.

Gli utenti possono inquadrare qualsiasi cosa con lo smartphone e dialogare in tempo reale con l’assistente su ciò che vedono. Basta puntare il telefono verso un oggetto, una scena o uno schermo e fare domande vocali o testuali: l’AI analizza lo stream video istantaneamente e fornisce descrizioni, riconoscimenti e risposte.

“Gemini Live con condivisione della fotocamera e dello schermo è ora gratuito per tutti su Android e iOS, così puoi puntare il telefono su qualsiasi cosa e parlarne con l’AI che ti assiste”, ha annunciato il team di Google Labs durante il lancio.

Gemini Live è completamente gratuito e integrato nell’ecosistema Google. Entrambi i sistemi offrono velocità notevole e dialoghi fluidi, ma Gemini Live beneficia dell’integrazione con Google Lens per riconoscimenti più accurati di prodotti, testi e luoghi del mondo reale.

TalkBack migliorato

La terza innovazione riguarda TalkBack, lo screen reader integrato in Android dal 2009. Google ha completamente rivoluzionato il sistema con l’integrazione di Gemini Nano, la versione ottimizzata per dispositivi mobili del modello di assistenza visiva dell’azienda.

Prima, quando TalkBack incontrava un’immagine senza testo alternativo, poteva fornire solo descrizioni generiche come “Immagine: potrebbe essere all’aperto”. Ora, grazie a Gemini Nano, le descrizioni diventano vivide e dettagliate: “Vista panoramica notturna dell’Opera House di Sydney e del Sydney Harbour Bridge, ripresi dalla riva nord di Sydney, nel Nuovo Galles del Sud, Australia”.

L’aspetto innovativo di questa assistenza visiva è che tutto avviene direttamente sul dispositivo, senza necessità di connessione internet. Android 15 supporta nativamente modelli di IA on-device tramite AICore, con latenza bassissima e protezione della privacy.

A maggio 2025 Google ha introdotto una funzionalità se possibile ancora più interessante: gli utenti possono ora fare domande in linguaggio naturale sulle immagini o sul contenuto dello schermo. Se un amico invia la foto di una chitarra, TalkBack la descrive e l’utente può chiedere “Di che marca è? Di che colore? Cos’altro c’è nella foto?” e ricevere dettagli specifici.

Durante la navigazione in un’app di shopping, si può domandare “Di che materiale è questo vestito? Ci sono sconti indicati?” e l’AI estrae le informazioni dallo schermo. La modalità domanda-risposta trasforma l’esperienza d’uso e avvicina l’utente non vedente all’autonomia totale nella fruizione di contenuti visivi.

Bachisio Zolo