Reimmaginare il puntatore del mouse per l'era dell'AI
Il puntatore del mouse è stato un compagno costante sugli schermi dei computer, navigando attraverso ogni sito web, documento e flusso di lavoro per decenni. Nonostante le profonde trasformazioni tecnologiche che hanno ridefinito il nostro modo di interagire con la tecnologia, questo umile strumento è rimasto quasi immutato per oltre mezzo secolo. La sua funzione è sempre stata quella di indicare una posizione, un punto nello spazio digitale. Tuttavia, in un'era dominata dall'intelligenza artificiale, stiamo assistendo a una rivoluzione che promette di trascendere questa limitazione, aprendo la strada a modi di collaborare con l'AI molto più fluidi e intuitivi.
Abbiamo intrapreso un'esplorazione approfondita di nuove capacità basate sull'intelligenza artificiale, con l'obiettivo di permettere al puntatore non solo di identificare ciò che sta indicando, ma anche di comprendere perché quel particolare elemento sia significativo per l'utente. La nostra visione è chiara: affrontare una frustrazione comune e persistente. Spesso, un tipico strumento di AI risiede in una finestra separata, costringendo gli utenti a "trascinare" il loro mondo all'interno di esso, interrompendo il loro flusso di lavoro. Noi, al contrario, desideriamo che l'AI incontri gli utenti direttamente all'interno degli strumenti che già utilizzano, senza interruzioni. Immaginate, per esempio, di puntare a un'immagine di un edificio e semplicemente chiedere: "Mostrami le indicazioni". Nulla di più sarebbe necessario, poiché il sistema AI comprenderebbe già l'intero contesto.
Oggi, siamo entusiasti di delineare i principi fondamentali che guidano il nostro pensiero sulle future interfacce utente e di condividere alcune dimostrazioni sperimentali di un puntatore abilitato dall'AI, alimentato da Gemini. Queste innovazioni permettono, ad esempio, di visitare Google AI Studio per modificare un'immagine o trovare luoghi su una mappa, semplicemente puntando e parlando. Il video che illustra questo ambiente sperimentale per il nostro puntatore abilitato dall'AI mostra sequenze significativamente accorciate, per evidenziare le funzionalità chiave in modo conciso.
Abbiamo sviluppato quattro principi che, insieme, spostano il carico di lavoro della trasmissione del contesto e dell'intento dall'utente al computer. Questi principi sostituiscono i prompt testuali, spesso complessi e dettagliati, con interazioni più semplici e intuitive. Di seguito, illustreremo in dettaglio il nostro approccio e ciascuno di questi principi.
I quattro principi per un puntatore abilitato dall'AI
1. Le capacità dell'AI devono funzionare su tutte le app, senza costringere gli utenti a "deviazioni AI"
L'intelligenza artificiale dovrebbe essere uno strato onnipresente e accessibile, non una destinazione separata. Troppo spesso, le funzionalità AI costringono gli utenti a lasciare l'applicazione in cui stanno lavorando per accedere a uno strumento AI, creando "deviazioni" che frammentano l'esperienza utente. Il nostro prototipo di puntatore abilitato dall'AI è disponibile ovunque l'utente stia lavorando, garantendo un'integrazione perfetta. Immaginate di poter puntare a un PDF e richiedere un riassunto per punti da incollare direttamente in un'email; oppure, di passare il mouse su una tabella di statistiche e chiedere una versione a torta del grafico; o ancora, di evidenziare una ricetta e chiedere di raddoppiare tutte le quantità degli ingredienti. Questo approccio elimina frizioni e mantiene l'utente nel suo flusso di lavoro.
2. Catturare senza soluzione di continuità il contesto visivo e semantico
I modelli AI attuali richiedono spesso istruzioni estremamente precise e dettagliate. Per ottenere una risposta soddisfacente, l'utente deve formulare un prompt ben strutturato, un'operazione che richiede tempo e attenzione. Un puntatore abilitato dall'AI semplificherebbe drasticamente questo processo, catturando in modo fluido il contesto visivo e semantico attorno al puntatore. Questo permette al computer di "vedere" e comprendere esattamente ciò che è importante per l'utente. Nel nostro sistema sperimentale, basta puntare: l'AI sa esattamente a quale parola, paragrafo, parte di un'immagine o blocco di codice l'utente necessita aiuto, interpretando l'intento con una precisione finora ineguagliata.
3. Richieste in linguaggio naturale e scorciatoie
Nelle interazioni quotidiane tra esseri umani, raramente parliamo per paragrafi lunghi e dettagliati. Utilizziamo spesso espressioni brevi e concise come "Sistema questo", "Sposta quello qui" o "Cosa significa questo?", facendo affidamento su gesti fisici e sul contesto condiviso per colmare eventuali lacune nella comprensione. Un sistema AI che fosse in grado di comprendere questa combinazione di contesto, puntamento e linguaggio permetterebbe agli utenti di fare richieste complesse utilizzando un linguaggio naturale e scorciatoie intuitive, senza la necessità di prompt laboriosi e complessi. Si tratta di replicare la naturalezza dell'interazione umana nel mondo digitale.
4. Comprendere cosa l'utente sta puntando, non solo dove
Per decenni, i computer hanno tracciato solo la posizione fisica del nostro puntatore sullo schermo. Con l'avvento dell'AI, ora sono in grado di comprendere anche *cosa* l'utente sta puntando. Questa capacità trasforma semplici pixel in entità strutturate e significative, come luoghi, date e oggetti, con cui gli utenti possono interagire istantaneamente. Una foto di un appunto scarabocchiato può diventare una lista di cose da fare interattiva; un fotogramma in pausa in un video di viaggio può trasformarsi in un link di prenotazione per quel ristorante dall'aspetto interessante. Questa è una rivoluzione nel modo in cui percepiamo e manipoliamo l'informazione digitale.
Sviluppare una tecnologia che si adatta al comportamento umano, piuttosto che costringere gli utenti ad adattarsi ad essa, apre le porte a un futuro in cui la collaborazione con l'AI sarà veramente intuitiva, fluida e senza soluzione di continuità. Siamo entusiasti di vedere come questi concetti incentrati sull'essere umano vengano intrecciati nei prodotti che utilizziamo ogni giorno.
Stiamo integrando attivamente questi principi per reinventare il puntamento in Chrome e nella nostra nuova esperienza laptop Googlebook. A partire da oggi, invece di dover scrivere un prompt complesso, potrai usare il tuo puntatore per chiedere a Gemini in Chrome informazioni sulla parte specifica della pagina web che ti interessa. Ad esempio, potrai selezionare alcuni prodotti su una pagina e chiedere di confrontarli, o puntare a un'area del tuo salotto per visualizzare un nuovo divano. Analogamente, lanceremo presto Magic Pointer in Googlebook, consentendo agli utenti di sfruttare Gemini a portata di mano per un'esperienza ancora più intuitiva. Dato il vasto potenziale di applicazioni, continueremo a testare futuri concetti su tutte le nostre piattaforme, incluso Google Labs’ Disco, esplorando nuove frontiere dell'interazione uomo-AI.