Um jogo de palavras precisa de mais do que uma lista de sequências de letras válidas. Precisa dizer o que cada uma significa, e o significado é a coisa mais difícil de armazenar.
Escrito e editado em inglês. Esta versão em português foi produzida por tradução automática; quando a precisão importa, o original em inglês é a referência. Ler o original em inglês →
O WordChess é jogado num tabuleiro de 25×25 com um dicionário inglês de 148.941 palavras 6, com verbetes de 8,6 letras em média, e o mais longo chega a 27. Essa é a parte fácil. Uma lista de palavras válidas é apenas um conjunto de sequências que o jogo aceitará. A parte interessante é dizer ao jogador o que a sequência no tabuleiro significa, e fazê-lo em vinte e dois idiomas ao mesmo tempo.
Os lexicógrafos traçam uma linha nítida entre um lema e suas formas flexionadas. O lema é a palavra-entrada que você procura no dicionário: run (“correr”), house (“casa”), be (“ser”). Em torno dele orbita um paradigma de formas de superfície: runs, ran, running. Cada uma carrega o mesmo sentido central, vestido para um papel gramatical diferente. 3 Um dicionário gasta sua prosa com o lema e deixa as sombras apontando para casa.
Quantas sombras uma palavra projeta depende do idioma. O inglês é analítico: apoia-se na ordem das palavras e em pequenas palavras auxiliares, de modo que um verbo raramente tem mais do que um punhado de formas. O finlandês é aglutinante: constrói o significado colando sufixos a um radical. Um único substantivo finlandês flexiona-se em cerca de quinze casos, no singular e no plural, antes que terminações possessivas e clíticos se empilhem por cima; na prática, o número de formas distintas chega aos milhares. 4 O húngaro condensa uma frase inteira, “na minha casa”, numa só palavra, házamban. 5
As definições vêm do Wiktionary, o dicionário livre que qualquer pessoa pode editar. Ele é enorme e multilíngue: o projeto abrange bem mais de cem edições linguísticas ativas e dezenas de milhões de verbetes, escritos colaborativamente por voluntários, e não por uma equipe editorial remunerada. 1 Para um jogo que funciona em 22 idiomas, nenhum outro léxico livre chega perto em cobertura.
Mas cobertura no papel não é cobertura que se possa ler em voz alta. O Wiktionary armazena as formas flexionadas de um jeito que poupa os editores humanos de escrever a mesma glosa dez mil vezes. Em vez de redigir uma definição, um verbete que não é lema traz um modelo “form-of”, um pequeno ponteiro que diz, na prática: “esta é uma determinada forma gramatical daquele lema”. 2 O verbete de smoulders (“arde sem chama”) não é prosa; é um modelo que se exibe como “third-person singular simple present form of smoulder” (“forma da terceira pessoa do singular do presente simples de smoulder”). 1
Esses ponteiros não são um erro de arredondamento. No Wiktionary em inglês, de cerca de 1,27 milhão de definições, umas 478.000, bem mais de um terço, são definições do tipo “forma de”, e não sentidos redigidos por extenso. 1 Os dados estão lá. Só estão dobrados.
Então o desafio que importava nunca foi “a palavra está faltando”. Era que o significado da palavra estava dentro de um modelo que um analisador ingênuo jogaria fora. As definições do WordChess foram construídas lendo os dumps brutos do Wiktionary e expandindo os modelos de flexão idioma por idioma, ensinando ao analisador o que cada ponteiro significa e reescrevendo-o como uma glosa simples. 6
Cada idioma esconde suas formas atrás de um mecanismo diferente. O espanhol guarda as formas verbais atrás de {{forma verbo}}, resolvido como “forma verbal de X”. O alemão usa {{Grundformverweis Dekl/Konj}} para formas declinadas e conjugadas. O finlandês recorre a {{taivutusmuoto}}. O russo muitas vezes não armazena modelo de forma algum: a palavra flexionada é um simples redirecionamento (собаки → собака) que precisa ser seguido para se obter uma glosa “forma de”. 6 Trate cada convenção, e a cobertura dá um salto.
| Idioma | Antes | Depois | Ganho |
|---|---|---|---|
| Alemão | 45% | 92% | +47 |
| Holandês | 58% | 90% | +32 |
| Finlandês | 54% | 74% | +20 |
| Russo | 20% | 70% | +50 |
| Grego | 15% | 57% | +42 |
Medido a partir das notas de design e construção deste projeto. As porcentagens são a parcela de verbetes do dicionário que trazem uma definição utilizável ou uma glosa “forma de” resolvida.
Os dados nunca estiveram faltando. Estavam dobrados dentro de um ponteiro, e dar a palavra a uma máquina significou aprender a desdobrá-lo.
Vale a pena ser honesto sobre o que o jogo agora contém. Quando o WordChess mostra que собаки é uma forma de собака, “cachorro”, ele não entendeu nada. Mapeou uma sequência de letras para outra, uma glosa, seguindo os mesmos ponteiros que um editor humano deixou para trás. Isso é lematização, o burro de carga do processamento de linguagem natural: reduzir uma forma de superfície à sua base para que a máquina tenha menos coisas distintas a acompanhar. 7
Esse é um tipo de conhecimento real e útil. Permite ao jogo responder “que palavra é esta?” em Atenas ou Amsterdã sem um lexicógrafo na equipe. Mas é conhecer como consulta, não conhecer como significado. A glosa é uma promessa de que uma pessoa, ao lê-la, reconhecerá a palavra. A máquina guarda a promessa; o leitor fornece o sentido.
Alguns idiomas batem num teto que nenhum analisador consegue erguer, porque os dados simplesmente não estão lá para serem desdobrados. Os verbetes húngaros muitas vezes trazem apenas uma etimologia e uma tabela de traduções, sem nenhum texto de definição, de modo que até um leitor perfeito sai de mãos vazias. Os casos mais difíceis se concentram onde a linguística é mais difícil: línguas aglutinantes como o finlandês e o húngaro, que geram paradigmas enormes, e as escritas cirílica e grega, em que a cobertura da comunidade já é menor de saída. O grego subiu de 15% para 57%; o fato de parar bem antes dos 92% do alemão diz respeito à fonte, não ao código. 6