miniatura|Exemple de consulta Ngram El Google Ngram Viewer o Google Books Ngram Viewer és un motor de cerca en línia que representa les freqüències de qualsevol conjunt de cadenes de cerca utilitzant un recompte anual de n -grams que es troben en fonts impreses publicades entre 1500 i 2019 als corpus de text de Google en anglès, xinès (simplificat), alemany, hebreu, italià, rus o espanyol. També hi ha alguns corpus especialitzats en anglès, com l'anglès americà, l'anglès britànic i la ficció anglesa.
El programa pot cercar una paraula o una frase, incloses les faltes d'ortografia o un galimaties. Els n -grams coincideixen amb el text dins del corpus seleccionat, opcionalment utilitzant l'ortografia sensible a majúscules (que compara l'ús exacte de les lletres majúscules), i, si es troben en 40 llibres o més, es mostren com a gràfic. . El Google Ngram Viewer admet cerques de parts de parla i comodins. S'utilitza habitualment en recerca.
Història El programa va ser desenvolupat per Jon Orwant i Will Brockman i va ser llançat a mitjans de desembre de 2010. Es va inspirar en un prototip anomenat Bookworm creat per Jean-Baptiste Michel i Erez Aiden de l'Observatori Cultural de Harvard, Yuan Shen del MIT i Steven Pinker.
L'Ngram Viewer es va basar inicialment en l'edició de 2009 del Google Books Ngram Corpus. , el programa admet corpus de 2009, 2012 i 2019.
Funcionament i restriccions Les comes delimiten els termes de cerca introduïts per l'usuari, indicant cada paraula o frase separada a trobar. L'Ngram Viewer retorna un gràfic de línies gràfics.
Com a ajustament per haver publicat més llibres durant alguns anys, les dades es normalitzen, a nivell relatiu, pel nombre de llibres publicats en cada any.
A causa de les limitacions de la mida de la base de dades Ngram, només les coincidències que es troben en almenys 40 llibres s'indexen a la base de dades.
Corpora Els corpora utilitzats pel cercador estan compostos per total_counts, 1-grams, 2-grams, 3-grams, 4-grams, i 5-grams arxius per a cada idioma. El format de cada fitxer té el format tab-separated data. Cada línia té el següent format
total_counts file year TAB match_count TAB page_count TAB volume_count NEWLINE Versió 1 ngram file (generated in July 2009) ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE Versió 2 ngram file (generated in July 2012) ngram TAB year TAB match_count TAB volume_count NEWLINE
El Google Ngram Viewer utilitza match_count per produir el gràfic.
Per exemple, la paraula "Wikipedia" del fitxer versió 2 de N-gram en anglès està arxivada com:googlebooks-eng-all-1gram-20120701-w.gz at http://storage.googleapis.com/books/ngrams/books/datasetsv2.html ngramanymatch_countvolume_countWikipedia190411Wikipedia1912111Wikipedia192411Wikipedia1925111Wikipedia1929111Wikipedia1943111Wikipedia1946111Wikipedia1947111Wikipedia1949111Wikipedia1951111Wikipedia1953222Wikipedia1955111Wikipedia195811Wikipedia1961222Wikipedia1964222Wikipedia1965111Wikipedia1966152Wikipedia1969333Wikipedia19701294Wikipedia1971444Wikipedia1972222Wikipedia197311Wikipedia197421Wikipedia1975333Wikipedia1976111Wikipedia1977133Wikipedia1978111Wikipedia197911212Wikipedia1980134Wikipedia1982111Wikipedia198332Wikipedia1984483Wikipedia1985373Wikipedia198664Wikipedia1987132Wikipedia1988143Wikipedia1990122Wikipedia199185Wikipedia199211Wikipedia199311Wikipedia1994233Wikipedia199541Wikipedia1996233Wikipedia199761Wikipedia19983210Wikipedia19993911Wikipedia20004312Wikipedia20015914Wikipedia200210519Wikipedia200314953Wikipedia2004803285Wikipedia20052964911Wikipedia200698182655Wikipedia2007200175400Wikipedia2008337226825
El gràfic de Google Ngram Viewer basat en les dades presentades a dalt es troba aquí .
Limitacions El conjunt de dades ha estat criticat per la seva confiança en l'OCR inexacte, una sobreabundància de literatura científica i per incloure un gran nombre de textos amb data i categorització incorrecta.Google Ngrams: OCR and Metadata . ResourceShelf, 19 December 2010 A causa d'aquests errors, i perquè no es controla el biaix (com ara la creixent quantitat de literatura científica, que fa que altres termes apareguin disminuir en popularitat), és arriscat utilitzar aquest corpus per estudiar el llenguatge o provar teories. . Com que el conjunt de dades no inclou metadades, pot ser que no reflecteixi un canvi lingüístic o cultural general i només pot indicar aquest efecte.
S'han proposat directrius per fer recerca amb dades de Google Ngram que aborden molts dels problemes comentats anteriorment.
Problemes d'OCR El reconeixement òptic de caràcters, o OCR, no sempre és fiable i és possible que alguns caràcters no s'escanegin correctament. En particular, errors sistèmics com la confusió de s i f en textos anteriors al (a causa de l'ús de la s llarga, que era semblant en aparença a f) poden causar biaix sistèmic. Tot i que Google Ngram Viewer afirma que els resultats són fiables a partir de 1800, un OCR deficient i les dades insuficients fan que les freqüències donades per a idiomes com el xinès només siguin precises a partir de 1970, i les parts anteriors del corpus no mostren cap resultat per a termes comuns., i dades d'alguns anys que contenen més del 50% de soroll.Google n-grams and pre-modern Chinese. digitalsinology.org.When n-grams go bad. digitalsinology.org.
Referències
Bibliografia
Enllaços externs
Categoria:Lingüística computacional Categoria:Processament de llenguatge natural Categoria:Programari de Google Categoria:Serveis de Google