Il lancio di uno sforzo di annotazione è sempre stato impegnativo. Un team di ricercatori ha introdotto il Portable Text Annotation Tool (Potato), un’applicazione basata sul Web approvata per l’uso nel percorso pilota EMNLP 2022. L’hub Potato Project è progettato per semplificare la replica degli sforzi di annotazione esistenti.

Potato facilita la prototipazione rapida e l’implementazione di molte attività di annotazione del testo. Questo lavoro mira a consentire a singoli o piccoli gruppi di annotare dati testuali con il minimo sforzo, partendo da zero e terminando l’annotazione con poche righe di composizione. Annotations utilizza un front-end basato sul Web per lavorare con i dati, mentre il back-end di Potato funge da server Web che può essere avviato localmente.

Un singolo file di configurazione definisce i tipi di attività e dati utilizzati da Potato. Per iniziare con Potato, gli utenti non hanno bisogno di sapere come programmare. Potato è adattivo, consentendo agli utenti di modificare l’interfaccia utente e gli elementi con cui i commentatori interagiscono senza la necessità di un ulteriore web design. Gli utenti possono recuperare rapidamente un progetto con le patate e quindi aprire il sito di annotazione.

La varietà di strumenti di annotazione supportati da Potato è impressionante.

1. Facile da configurare e adattabile a diverse esigenze: Cambiare le impostazioni di Potato è semplice come modificare un file . La creazione di un sito Web di annotazione non comporta la codifica. Come altre funzionalità, Potato offre una vasta gamma di opzioni di personalizzazione.

• Strutture e presupposti predefiniti: schemi di annotazione come radio, like, casella di controllo, casella di testo, intervallo, confronto a coppie, misura migliore e peggiore, foto/video come etichetta, ecc. sono tutti supportati da Potato.
• Molti formati di dati: Potato può mostrare qualsiasi cosa, da documenti concisi a lunghi, incluse conversazioni, confronti e altro.
• I ricercatori di elaborazione del linguaggio naturale (NLP) potrebbero dover eseguire una serie di attività correlate ma distinte (ad esempio, annotazioni multilingue). Potato ha supportato l’attività multilingue di analisi dell’intimità di Twitter, rendendo possibile la creazione di file di configurazione per tutte le attività con il minimo sforzo.

2. Aumenta l’efficienza nelle annotazioni: Per migliorare l’esperienza dei commentatori e fornire annotazioni più rapidamente, Potato è progettato con cura con diverse funzionalità.

• Scorciatoie da tastiera facili da configurare: le tastiere consentono ai commentatori di inserire le loro risposte in modo rapido e semplice.
• La potenziale relazione tra etichette e parole chiave in un documento può essere sottolineata in modo intelligente utilizzando l’evidenziazione dinamica, che può essere impostata per attività con molte etichette o documenti molto lunghi.
• Con così tante etichette, può essere difficile per i commentatori tenere traccia delle loro definizioni senza l’aiuto dei suggerimenti. Grazie ai tooltip personalizzabili delle etichette di Potato, i commentatori possono saperne di più sulle etichette passandoci sopra con il mouse.

3. Migliora la conoscenza del revisore: Potato fornisce strumenti che possono essere utilizzati per saperne di più sui revisori che hanno agito sui dati degli utenti e rilevare eventuali pregiudizi. L’interfaccia facile da usare di Potato semplifica la creazione di sondaggi pre e post-schermo, che possono fornire informazioni sulla storia professionale degli host di annotazione degli utenti. Potato include una serie di modelli di domande che semplificano l’impostazione di richieste di qualificazione standard come i dati demografici.

4. Maggiore garanzia di qualità: Potato include strumenti per identificare gli spammer e raccogliere feedback più affidabili.

• La funzione Attention Test di Potato semplifica la creazione di domande progettate per rilevare gli spammer e includerli in modo casuale in una coda di annotazione.
• Prima di procedere con l’etichettatura completa dei dati, gli utenti possono identificare rapidamente e facilmente i revisori non idonei utilizzando il test di qualificazione integrato di Potato.
• Con la scansione del tempo integrata di Potato, può facilmente monitorare quanto tempo trascorrono gli annotatori in ogni istanza e ottenere informazioni sulle loro abitudini di lavoro.

Poiché Potato è ospitato su pypi, gli utenti possono semplicemente eseguire Potato Install Explain per far funzionare il programma. Le patate possono essere facilmente pubblicate online per raccogliere annotazioni da popolari piattaforme di crowdsourcing come Prolifc.com. Gli utenti avranno bisogno di un server con porte accessibili per utilizzare Potato in un ambiente di crowdsourcing. Potato funziona perfettamente con Prolific, una piattaforma per trovare e reclutare partecipanti alle missioni.

scansiona il github E documentazione. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di iscriverti 16k+ML Sub RedditE canale discordiaE Notiziario via e-maildove condividiamo le ultime notizie sulla ricerca sull’IA, fantastici progetti di intelligenza artificiale e altro ancora.