Google Neural Machine Translation
Google Neural Machine Translation (GNMT) és un sistema de traducció automàtica neuronal (NMT) desenvolupat per Google i introduït el novembre de 2016, que utilitza una xarxa neuronal artificial per augmentar la fluïdesa i la precisió de Google Translate.[1] La xarxa neuronal consta de dos blocs principals, un codificador i un descodificador, tots dos d'arquitectura LSTM amb 8 capes d'ample de 1024 cadascuna, i un mecanisme d'atenció anticipada d'1 capa d'ample de 1024 que els connecta. El nombre total de paràmetres s'ha descrit de manera diversa com més de 160 milions, aproximadament 210 milions, 278 milions o 380 milions.[2]
GNMT millora la qualitat de la traducció aplicant un mètode de traducció automàtica basat en exemples (EBMT) en què el sistema "aprèn de milions d'exemples". L'arquitectura d'aprenentatge del sistema proposada per GNMT es va provar per primera vegada en més d'un centenar d'idiomes compatibles amb Google Translate. Amb el gran marc d'extrem a extrem, el sistema aprèn amb el temps a crear traduccions millors i més naturals. GNMT intenta traduir frases senceres alhora, en lloc de només peça per peça. La xarxa GNMT pot dur a terme una traducció automàtica interlingual codificant la semàntica de la frase, en lloc de memoritzar traduccions frase a frase.[3]
Història[modifica]
El projecte Google Brain es va establir l'any 2011 al "laboratori d'investigació secret de Google X" pel company de Google Jeff Dean, l'investigador de Google Greg Corrado i el professor d'informàtica de la Universitat de Stanford, Andrew Ng. El treball de Ng ha donat lloc a alguns dels avenços més importants a Google i Stanford.[4]
El novembre de 2016, es va introduir el sistema de traducció automàtica neuronal de Google (GNMT). Des d'aleshores, Google Translate va començar a utilitzar la traducció automàtica neuronal (NMT) amb preferència als seus mètodes estadístics anteriors (SMT) que s'havien utilitzat des de l'octubre de 2007, amb la seva propietat interna. Tecnologia SMT.
Entrenar GNMT va ser un gran esforç en aquell moment i va suposar, segons una estimació d'OpenAI de 2021, de l'ordre de 100 PFLOP/s*dia (fins a 10 22 FLOPs) de càlcul, que era 1,5 ordres de magnitud més gran que el model Seq2seq de 2014 (però aproximadament 2 vegades més petit que GPT-J-6B el 2021).[5]
El sistema NMT de Google Translate utilitza una gran xarxa neuronal artificial capaç d'aprenentatge profund. Mitjançant l'ús de milions d'exemples, GNMT millora la qualitat de la traducció, utilitzant un context més ampli per deduir la traducció més rellevant. A continuació, el resultat es reorganitza i s'adapta per apropar-se al llenguatge humà de base gramatical. L'arquitectura d'aprenentatge del sistema proposada per GNMT es va provar per primera vegada en més d'un centenar d'idiomes compatibles amb Google Translate. El GNMT no va crear la seva pròpia interlingua universal sinó que va tenir com a objectiu trobar els punts en comú entre moltes llengües utilitzant coneixements de la psicologia i la lingüística. El nou motor de traducció es va habilitar per primera vegada per a vuit idiomes: des de i cap a l'anglès i el francès, l'alemany, l'espanyol, el portuguès, el xinès, el japonès, el coreà i el turc el novembre de 2016. El març de 2017, es van habilitar tres idiomes addicionals: el rus, l'hindi i el vietnamita juntament amb el tailandès, per al qual es va afegir més tard. El mateix mes també es va afegir suport per a l'hebreu i l'àrab amb l'ajuda de la comunitat de Google Translate. A mitjans d'abril de 2017, Google Netherlands va anunciar el suport per a l'holandès i altres idiomes europeus relacionats amb l'anglès. Es va afegir més suport per a nou idiomes índies: hindi, bengalí, marathi, gujarati, panjabi, tàmil, telugu, malayalam i kannada a finals d'abril de 2017.
Referències[modifica]
- ↑ Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad «Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation». Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 01-09-2016.
- ↑ «Peeking into the neural network architecture used for Google's Neural Machine Translation» (en anglès). https://smerity.com,+17-11-2016.+[Consulta: 28 maig 2023].
- ↑ «Compression of Google Neural Machine Translation Model — NLP Architect by Intel® AI Lab 0.5.5 documentation» (en anglès). https://intellabs.github.io.+[Consulta: 28 maig 2023].
- ↑ Lewis-Kraus, Gideon «The Great A.I. Awakening» (en anglès). The New York Times, 14-12-2016. ISSN: 0362-4331.
- ↑ Schwartz, Barry. «Google Translate Drops Systran For Home Brewed Translation» (en anglès). https://searchengineland.com,+23-10-2007.+[Consulta: 28 maig 2023].