Una delle principali sfide con gli attuali modelli linguistici multimodali (LM) è la loro incapacità di utilizzare ausili visivi nei processi di ragionamento. A differenza degli esseri umani, che disegnano e disegnano per facilitare la risoluzione dei problemi e il ragionamento, i LM si affidano esclusivamente al testo per i passaggi intermedi del ragionamento. Questa limitazione influisce notevolmente sulle loro prestazioni in compiti che richiedono comprensione spaziale e ragionamento visivo, come geometria, percezione visiva e problemi matematici complessi. Affrontare questa sfida è fondamentale per far avanzare la ricerca sull’intelligenza artificiale, perché consentirà agli organismi di imitare più da vicino il pensiero umano e di migliorarne l’applicabilità negli scenari del mondo reale.

Gli approcci attuali per migliorare le capacità di pensiero visivo dei LM includono modelli testo-immagine e vari modelli di utilizzo di strumenti multimodali. Questi metodi consentono ai LM di creare contenuti visivi da descrizioni testuali, con l'obiettivo di facilitare meglio il pensiero. Tuttavia, non sono all’altezza sotto diversi aspetti. Ad esempio, i modelli da testo a immagine non consentono l’interazione dinamica con il contenuto visivo generato, necessaria per attività che richiedono un pensiero iterativo. Inoltre, i metodi esistenti sono spesso caratterizzati da un’elevata complessità computazionale, che li rende inadatti per applicazioni in tempo reale. Inoltre non hanno la flessibilità necessaria per integrare modelli visivi specializzati durante il processo di ragionamento, il che limita la loro capacità di gestire in modo efficace compiti visivi diversi e complessi.

Un team di ricercatori dell'Università di Washington, dell'Allen Institute for Artificial Intelligence e dell'Università della Pennsylvania propone SKETCHPAD, un nuovo framework che fornisce ai LM multimodali una tela di disegno visivo e gli strumenti necessari per il disegno dinamico. Questo approccio affronta i limiti dei metodi attuali consentendo agli organismi viventi di tracciare linee, riquadri e segni, facilitando processi di pensiero più simili al disegno umano. SKETCHPAD può integrare modelli di visione specializzati, come modelli di rilevamento e segmentazione di oggetti, per migliorare ulteriormente la percezione visiva e il pensiero logico. Questo approccio innovativo consente ai LM di creare e interagire con elementi visivi mentre pensano, migliorando significativamente le loro prestazioni in vari compiti. Fornendo un'impalcatura per l'inferenza basata su grafici, SKETCHPAD rappresenta un contributo significativo a questo campo, offrendo una soluzione più efficiente e accurata rispetto ai metodi esistenti.

Il metodo proposto funziona assemblando programmi che generano grafica visiva come passaggi intermedi del ragionamento. Utilizza pacchetti Python popolari come Matplotlib e NetworkX per attività matematiche e integra modelli di visione specializzati per attività di visione artificiale. Ad esempio, nei problemi di ingegneria, SKETCHPAD LM consente di disegnare linee ausiliarie sui diagrammi per aiutare a risolvere i problemi. Nelle attività che coinvolgono funzioni matematiche, consente al LM di tracciare funzioni e analizzare visivamente le loro proprietà. Il framework non richiede alcuna messa a punto o formazione, rendendolo facilmente applicabile ai dispositivi LM multimediali esistenti. La capacità di SKETCHPAD di utilizzare modelli specializzati per compiti come il rilevamento e la segmentazione di oggetti migliora le sue capacità di ragionamento visivo.

I ricercatori presentano esperimenti approfonditi che dimostrano l’efficacia di SKETCHPAD in un’ampia gamma di compiti, tra cui geometria, algoritmi grafici e compiti complessi di ragionamento visivo. I parametri chiave delle prestazioni come precisione, precisione e richiamo sono notevolmente migliorati con SKETCHPAD. Ad esempio, nei compiti di matematica, SKETCHPAD raggiunge un guadagno medio del 12,7% e nei compiti di visione raggiunge un guadagno medio dell'8,6%. La tabella seguente del documento mostra l'efficacia di SKETCHPAD sui problemi di ingegneria, migliorando la precisione dal 37,5% al ​​45,8% sulle attività di ingegneria utilizzando GPT-4 Turbo. La tabella mette a confronto diversi approcci, incluso l'approccio proposto e le linee di base esistenti, con colonne di metriche delle prestazioni. Il miglioramento del metodo proposto è statisticamente significativo, evidenziandone la superiorità.

In conclusione, il metodo proposto presenta SKETCHPAD, un nuovo framework che migliora significativamente le capacità di ragionamento dei LM multimodali integrando strumenti di disegno visivo. La soluzione proposta supera i limiti critici dei metodi esistenti e fornisce un approccio più efficiente e accurato all'inferenza visiva. I risultati mostrano miglioramenti significativi nelle prestazioni in vari compiti, indicando il potenziale impatto di SKETCHPAD nel campo della ricerca sull’intelligenza artificiale consentendo un’intelligenza multimodale più simile a quella umana.

Controlla il carta E progetto. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre non dimenticare di seguirci Twitter.

Unisciti a noi Canale Telegram E Grammo di LinkedInoperazione.

Se ti piace il nostro lavoro, adorerai il nostro lavoro le notizie..

Non dimenticare di unirti a noi 44k+ ml SubReddit