I modelli linguistici stanno diventando più efficaci che mai e sono utili in una varietà di compiti: tradurre una lingua in un’altra, riassumere un lungo documento in un breve punto saliente o rispondere a domande di ricerca di informazioni . Tra questi, il dialogo a dominio aperto , in cui un modello deve essere in grado di conversare su qualsiasi argomento, è probabilmente uno dei più difficili, con un’ampia gamma di potenziali applicazioni e sfide aperte. Oltre a produrre risposte che gli esseri umani giudicano sensate, interessanti e specifiche per il contesto, i modelli di dialogo dovrebbero aderire alle pratiche di IA responsabile ed evitare di fare affermazioni fattuali che non sono supportate da fonti di informazione esterne.
Oggi siamo entusiasti di condividere i recenti progressi nel nostro progetto ” LaMDA: modelli linguistici per applicazioni di dialogo “. In questo post, forniremo una panoramica su come stiamo facendo progressi verso applicazioni di dialogo sicure, radicate e di alta qualità. LaMDA è costruito perfezionando una famiglia di modelli di linguaggio neurale basati su Transformer specializzati per il dialogo, con parametri del modello fino a 137B, e insegnando ai modelli a sfruttare fonti di conoscenza esterne.
Obiettivi e metriche
La definizione di obiettivi e metriche è fondamentale per guidare i modelli di dialogo di formazione. LaMDA ha tre obiettivi chiave: qualità, sicurezza e solidità, ciascuno dei quali misuriamo utilizzando metriche attentamente progettate:
Qualità : scomponiamo la qualità in tre dimensioni, sensibilità, specificità e interesse (SSI), che sono valutate da valutatori umani. La sensibilità si riferisce al fatto che il modello produca risposte sensate nel contesto del dialogo (ad esempio, nessun errore di buon senso, nessuna risposta assurda e nessuna contraddizione con le risposte precedenti). La specificità viene misurata giudicando se la risposta del sistema è specifica per il contesto del dialogo precedente e non una risposta generica che potrebbe applicarsi alla maggior parte dei contesti (ad es. “ok” o “non lo so”). Infine, l’interesse misura se il modello produce risposte che sono anche perspicaci, inaspettate o spiritose, e quindi hanno maggiori probabilità di creare un dialogo migliore.
Sicurezza: stiamo anche facendo progressi nell’affrontare importanti questioni relative allo sviluppo e all’implementazione dell’IA responsabile. La nostra metrica di sicurezza è composta da una serie illustrativa di obiettivi di sicurezza che cattura il comportamento che il modello dovrebbe mostrare in un dialogo. Questi obiettivi tentano di vincolare l’output del modello per evitare qualsiasi risultato non intenzionale che crei rischi di danno per l’utente e per evitare di rafforzare il pregiudizio ingiusto. Ad esempio, questi obiettivi addestrano il modello a evitare di produrre output che contengono contenuti violenti o cruenti, promuovono insulti o stereotipi di odio nei confronti di gruppi di persone o contengono volgarità. La nostra ricerca verso lo sviluppo di una metrica di sicurezza pratica rappresenta un lavoro molto precoce e ci sono ancora molti progressi da fare in questo settore.
Groundedness : l’attuale generazione di modelli linguistici genera spesso affermazioni che sembrano plausibili, ma in realtà contraddicono i fattistabiliti in fonti esterne note. Questo motiva il nostro studio del groundedness in LaMDA. Groundedness è definita come la percentuale di risposte con affermazioni sul mondo esterno che possono essere supportate da fonti esterne autorevoli, come quota di tutte le risposte contenenti affermazioni sul mondo esterno. Una metrica correlata, Informativeness, è definita come la percentuale di risposte con informazioni sul mondo esterno che possono essere supportate da fonti note, come quota di tutte le risposte. Pertanto, le risposte casuali che non contengono alcuna informazione del mondo reale (ad esempio, “Questa è una grande idea”), influenzano l’Informatività ma non il Fondamento. Sebbene la messa a terra delle risposte generate da LaMDA in fonti note non garantisca di per sé l’accuratezza dei fatti,
Pre-formazione LaMDA
Con gli obiettivi e le metriche definite, descriviamo la formazione in due fasi di LaMDA: pre-formazione e messa a punto. Nella fase di pre-formazione, abbiamo prima creato un set di dati di 1,56 T parole, quasi 40 volte più parole di quelle utilizzate per addestrare i modelli di dialogo precedenti, dai dati del dialogo pubblico e da altri documenti Web pubblici. Dopo aver tokenizzato il set di dati in token SentencePiece 2.81T , pre-addestriamo il modello utilizzando GSPMD per prevedere ogni token successivo in una frase, dati i token precedenti. Il modello LaMDA pre-addestrato è stato ampiamente utilizzato anche per la ricerca sull’elaborazione del linguaggio naturale su Google, inclusa la sintesi di programmi , l’apprendimento zero-shot , il trasferimento di stile,così come nell’officina BIG-bench .
LaMDA Fine-Tuning
Nella fase di fine-tuning, addestriamo LaMDA a eseguire un mix di generativoattività per generare risposte in linguaggio naturale a determinati contesti e attività di classificazione per verificare se una risposta è sicura e di alta qualità, risultando in un unico modello multi-task che può fare entrambe le cose. Il generatore LaMDA è addestrato per prevedere il token successivo su un set di dati di dialogo limitato al dialogo avanti e indietro tra due autori, mentre i classificatori LaMDA sono addestrati a prevedere le valutazioni di sicurezza e qualità (SSI) per la risposta nel contesto utilizzando dati annotati . Durante un dialogo, il generatore LaMDA genera prima diverse risposte candidate dato l’attuale contesto del dialogo multigiro e i classificatori LaMDA prevedono i punteggi SSI e Safety per ogni candidato di risposta. Le risposte dei candidati con punteggi di sicurezza bassi vengono prima filtrate. I candidati rimanenti vengono riclassificati in base ai loro punteggi SSI e il risultato più alto viene selezionato come risposta.
Fondamento fattuale
Sebbene le persone siano in grado di verificare i propri fatti utilizzando strumenti e facendo riferimento a basi di conoscenza consolidate, molti modelli linguistici traggono le proprie conoscenze solo dai parametri del modello interno. Per migliorare la fondatezza della risposta originale di LaMDA, raccogliamo un set di dati di dialoghi tra le persone e LaMDA, che sono annotati con query di recupero delle informazioni e risultati recuperati ove applicabile. Quindi perfezioniamo il generatore e il classificatore di LaMDA su questo set di dati per imparare a chiamare un sistema di recupero delle informazioni esterno durante la sua interazione con l’utente per migliorare la solidità delle sue risposte. Anche se questo è un lavoro molto precoce, stiamo vedendo risultati promettenti.
Valutazione
Per quantificare i progressi rispetto alle nostre metriche chiave, raccogliamo le risposte dal modello pre-addestrato, dal modello perfezionato e dai valutatori umani (cioè le risposte generate dall’uomo) a dialoghi a più turni con due autori, quindi chiediamo a un diversi gruppi di valutatori umani una serie di domande per valutare queste risposte rispetto alle metriche di qualità, sicurezza e solidità.
Osserviamo che LaMDA supera significativamente il modello pre-addestrato in ogni dimensione e in tutte le dimensioni del modello. Le metriche di qualità (sensibilità, specificità e interesse, nella prima colonna di seguito) generalmente migliorano con il numero di parametri del modello, con o senza messa a punto. La sicurezza non sembra trarre vantaggio dal solo ridimensionamento del modello, ma migliora con la messa a punto. La solidità migliora con l’aumentare delle dimensioni del modello, forse perché i modelli più grandi hanno una maggiore capacità di memorizzare conoscenze non comuni, ma la messa a punto consente al modello di accedere a fonti di conoscenza esterne e di spostare efficacemente parte del carico di memoria della conoscenza su una fonte di conoscenza esterna. Con la messa a punto, il divario di qualità rispetto ai livelli umani può essere ridotto, sebbene le prestazioni del modello rimangano al di sotto dei livelli umani in termini di sicurezza e solidità.
Ricerche e sfide
future Il livello di sensibilità, specificità e interesse di LaMDA apre nuove strade per comprendere i vantaggi ei rischi degli agenti di dialogo a tempo indeterminato. Presenta inoltre prove incoraggianti che le sfide chiave con i modelli del linguaggio neurale, come l’utilizzo di una metrica di sicurezza e il miglioramento della solidità, possono migliorare con modelli più grandi e la messa a punto con dati più ben etichettati. Tuttavia, questo è un lavoro molto precoce e ci sono limitazioni significative. L’esplorazione di nuovi modi per migliorare la nostra metrica di sicurezza e la solidità di LaMDA, in linea con i nostri Principi di intelligenza artificiale , continueranno a essere le nostre principali aree di interesse in futuro.
Articolo Tradotto degli Autori: Inserito da Heng-Tze Cheng, Senior Staff Software Engineer e Romal Thoppilan, Senior Software Engineer, Google Research, Brain Team
