Actuellement, la majorité des gens ont une certaine présence en ligne pour le travail, l'interaction sociale, ou les deux. L'anonymat sur Internet, qui permet d'utiliser des pseudonymes ou des photos génériques, permet aux gens de partager leurs opinions librement tout en protégeant leur vie privée. Pourtant, cet anonymat a été détourné par des personnes malveillantes qui s'en cachent pour commettre leurs crimes. Le sujet de cette thèse est l'évaluation des techniques d'attribution d'auteur et l'obscurcissement d'auteur, deux tâches opposées qui sont bien liées au concept d'anonymat. L'attribution d'auteur est la tâche qui consiste à utiliser les styles d'écriture uniques des auteurs pour identifier l'auteur le plus probable d'un texte anonyme parmi un ensemble de candidats d’auteurs de ce texte. L'obscurcissement de l'identité de l'auteur, quant à lui, consiste à manipuler un texte pour masquer le style d'écriture de l'auteur afin d'empêcher les techniques d'attribution d'identité de révéler l'identité de cet auteur. L'importance de ces deux tâches tient au fait que si l'attribution d’auteur peut être utilisée pour identifier des criminels, elle peut être également mal utilisée pour identifier des dénonciateurs ou persécuter des journalistes qui s'élèvent contre des régimes autoritaires. Pour lutter contre cette utilisation abusive, des techniques d'obscurcissement de la paternité sont proposées. Dans le but d'améliorer les performances, la plupart des travaux sur l'attribution d'auteur proposent soit de nouvelles caractéristiques de style d'écriture, soit de nouvelles techniques d'attribution. Par conséquent, moins d'attention est accordée aux tâches d'évaluation qui sont importantes pour mieux comprendre les problèmes d'attribution d'auteur et d'obfuscation. La contribution de cette thèse est un ensemble de techniques d'évaluation pour les tâches d'attribution d'auteur et d'obfusca-tion de texte. Nous pensons que l'importance des techniques d'évaluation pour ces deux problèmes bien liés est double: aider à expliquer ces techniques et leurs résultats sur des tâches en aval et orienter les efforts des chercheurs vers l'obtention de meilleures performances en utilisant les résultats des techniques d'évaluation proposées. Premièrement, j'évalue un large éventail de techniques d'attribution d'auteur conçues pour l’anglais sur des tweets en arabe. Étant donné que ces techniques utilisent des caractéristiques définies manuellement, j'adapte les caractéristiques existantes à la nouvelle langue et au nouveau domaine ainsi qu'un outil de visualisation pour les tweets en arabe afin de rendre le résultat du processus d'attribution plus interprétable. Ensuite, je propose un nouveau repère pour étudier l'effet négatif que le sujet d'un document a sur le processus d'attribution. À l'aide de ce repère et de deux nouvelles mesures d'erreur nouvellement que je propose, j'ai comparé diverses représentations de styles d'écriture et mesuré leur sensibilité aux variations du sujet. En outre, j'ai démontré l'importance de l'utilisation de caractéristiques stylométriques dans la représentation du style d'écriture. Enfin, étant donné que les techniques d'attribution d’auteur d'un texte utilisent des indices thématiques pour identifier les auteurs, j'étudie si les techniques d'obscurcissement modifient ces indices thématiques pour cacher l'identité de l'auteur dans le document obscurci. Je réévalue les outils d'obfuscation les plus récents sur l'évasion et la préservation du contenu, et je propose une nouvelle dimension, à savoir la mésattribution. Les résultats montrent que les performances des techniques d'obfuscation existantes sont largement surestimées. En particulier, ces techniques sont inférieures à une simple base de rétro-traduction qui permet d'obtenir une meilleure performance d'obscurcissement, une meilleure préservation du contenu et une plus faible mésattribution

In this day and age, the vast majority of people have some form of online presence for work, social interaction, or both. Internet anonymity, where people can use pseudonyms or generic photos, allows people to share their opinions freely while protecting their privacy. Yet, this anonymity has been misused by maleficent people who hide behind it to commit their crimes. The topic of this thesis is evaluation techniques for authorship attribution and authorship obfuscation, two contrasting tasks that are closely related to the concept of anonymity. Authorship attribution, or identification, is the task of using the unique writing style of authors to identify the most plausible author of an anonymous text from a set of candidate authors of that text. Authorship obfuscation, on the other hand, is the task of manipulating a text to hide the author's \textbf{writing style} to prevent authorship attribution techniques from revealing the identity of that author. The importance of these two tasks is that while authorship attribution can be used to identify criminals, it can also be misused to identify whistle-blowers or persecute journalists who speak against authoritarian regimes. To fight this misuse, authorship obfuscation techniques are proposed. Aiming for better performance, most of the work on authorship attribution either proposes new writing style features or new attribution techniques. As a result, less attention is given to evaluation tasks that are important to better understand the authorship attribution problem. Similarly, existing research on anonymization either ignores the potential change in the document's contents due to obfuscation or uses abstract and unintuitive measures to quantify such change. Indeed, achieving better performance is the ultimate goal. However, for tasks with critical real-life applications, we must know how the proposed techniques for such tasks work and to make sure that they work as intended. The contribution of this thesis is a set of evaluation techniques for authorship attribution and text obfuscation tasks. We believe the importance of evaluation techniques for these two closely related problems is two-fold: to help explain such techniques and their outcomes on downstream tasks and to direct researchers' efforts toward achieving higher performance using the findings of the proposed evaluation techniques. Firstly, I evaluate a large spectrum of existing English authorship attribution techniques on Arabic tweets. Given that such techniques were using hand-engineered features, I adapt existing features to the new language and domain. Moreover, I adapt a visualization tool to Arabic tweets to make the output of the attribution process more interpretable. Following that, I propose a new benchmark to investigate the negative effect that the topic of a document has on the attribution process. With this benchmark and two newly proposed error measures, I compare various writing style representations and measured their susceptibility to topic variations. Furthermore, I demonstrated the significance of using stylometric features as part of the writing style representation. Finally, given that authorship attribution techniques use topic cues to identify the authors, I investigate whether obfuscation techniques modify these topical cues to hide the author's identity in the obfuscated document. I re-evaluate state-of-the-art obfuscation tools on evasion, and content preservation, and propose a new dimension namely, misattribution. The results show that the performance of existing obfuscation techniques is highly overstated. In particular, these techniques are inferior to a simple back-translation baseline that achieves higher obfuscation performance, better content preservation, and lower misattribution

Cheung, Jackie (Supervisor2)

Fung, Benjamin (Supervisor1)