El lenguaje escrito no ha sido ajeno a los cambios culturales y tecnológicos. Por ejemplo, la invención de la imprenta en el siglo XV, o el desarrollo de los computadores personales y los teléfonos inteligentes en las últimas décadas, fueron hitos que marcaron drásticamente su evolución. De manera paralela al desarrollo del lenguaje, la evolución de la computación y el surgimiento de algoritmos inteligentes, capaces de tomar decisiones han tenido avances impresionantes en los últimos años formando una nueva área de estudio conocida como inteligencia artificial IA, considerada por muchos como la siguiente gran revolución. La integración de las técnicas de IA con el fin de interpretar, manipular y comprender el lenguaje humano da como resultado la rama del procesamiento natural del lenguaje PNL, la cual, teniendo en cuenta los últimos avances en modelos de generación de lenguaje, se puede convertir en el próximo gran hito en cuanto al lenguaje escrito. Los primeros algoritmos de PNL estaban basados en reglas, posteriormente se empezó a utilizar esquemas de clasificación supervisada basados en modelos como la regresión logística, las máquinas de soporte vectorial, los modelos ocultos de Markov, o los árboles aleatorios condicionales, entre otros. El problema de los modelos de clasificación tradicionales es que los mismos están orientados a evaluar cada palabra, o las relaciones entre cada palabra y la palabra anterior, pero no capturan el contexto de las mismas en una frase completa.