Speaker anonymization : representation, evaluation and formal guarantees
Anonymisation du locuteur : représentation, évaluation et garanties formelles
Résumé
Large-scale centralized storage of speech data poses severe privacy threats to the speakers. Indeed, the emergence and widespread usage of voice interfaces starting from telephone to mobile applications, and now digital assistants have enabled easier communication between the customers and the service providers. Massive speech data collection allows its users, for instance researchers, to develop tools for human convenience, like voice passwords for banking, personalized smart speakers, etc. However, centralized storage is vulnerable to cybersecurity threats which, when combined with advanced speech technologies like voice cloning, speaker recognition, and spoofing, may endow a malicious entity with the capability to re-identify speakers and breach their privacy by gaining access to their sensitive biometric characteristics, emotional states, personality attributes, pathological conditions, etc.Individuals and the members of civil society worldwide, and especially in Europe, are getting aware of this threat. With firm backing by the GDPR, several initiatives are being launched, including the publication of white papers and guidelines, to spread mass awareness and to regulate voice data so that the citizens' privacy is protected.This thesis is a timely effort to bolster such initiatives and propose solutions to remove the biometric identity of speakers from speech signals, thereby rendering them useless for re-identifying the speakers who spoke them.Besides the goal of protecting the speaker's identity from malicious access, this thesis aims to explore the solutions which do so without degrading the usefulness of speech.We present several anonymization schemes based on voice conversion methods to achieve this two-fold objective. The output of such schemes is a high-quality speech signal that is usable for publication and a variety of downstream tasks.All the schemes are subjected to a rigorous evaluation protocol which is one of the major contributions of this thesis.This protocol led to the finding that the previous approaches do not effectively protect the privacy and thereby directly inspired the VoicePrivacy initiative which is an effort to gather individuals, industry, and the scientific community to participate in building a robust anonymization scheme.We introduce a range of anonymization schemes under the purview of the VoicePrivacy initiative and empirically prove their superiority in terms of privacy protection and utility.Finally, we endeavor to remove the residual speaker identity from the anonymized speech signal using the techniques inspired by differential privacy. Such techniques provide provable analytical guarantees to the proposed anonymization schemes and open up promising perspectives for future research.In practice, the tools developed in this thesis are an essential component to build trust in any software ecosystem where voice data is stored, transmitted, processed, or published. They aim to help the organizations to comply with the rules mandated by civil governments and give a choice to individuals who wish to exercise their right to privacy.
L'émergence et la généralisation des interfaces vocales présentesdans les téléphones, les applications mobiles et les assistantsnumériques ont permis de faciliter la communication entre les citoyens,utilisateurs d'un service, et les prestataires de services. Citons àtitre d'exemple l'utilisation de mots de passe vocaux pour lesopérations bancaires, des haut-parleurs intelligents personnalisés, etc.Pour réaliser ces innovations, la collecte massive de données vocalesest essentielle aux entreprises comme aux chercheurs. Mais le stockagecentralisé à grande échelle des données vocales pose de graves menaces àla vie privée des locuteurs. En effet, le stockage centralisé estvulnérable aux menaces de cybersécurité qui, lorsqu'elles sont combinéesavec des technologies vocales avancées telles que le clonage vocal, lareconnaissance du locuteur et l'usurpation d'identité peuvent conférer àune entité malveillante la capacité de ré-identifier les locuteurs et devioler leur vie privée en accédant à leurs caractéristiques biométriquessensibles, leurs états émotionnels, leurs attributs de personnalité,leurs conditions pathologiques, etc.Les individus et les membres de la société civile du monde entier, etparticulièrement en Europe, prennent conscience de cette menace. Avecl'entrée en vigueur du règlement général sur la protection des données(RGPD), plusieurs initiatives sont lancées, notamment la publication delivres blancs et de lignes directrices, pour sensibiliser les masses etréguler les données vocales afin que la vie privée des citoyens soitprotégée.Cette thèse constitue un effort pour soutenir de telles initiatives etpropose des solutions pour supprimer l'identité biométrique deslocuteurs des signaux de parole, les rendant ainsi inutiles pourré-identifier les locuteurs qui les ont prononcés.Outre l'objectif de protéger l'identité du locuteur contre les accèsmalveillants, cette thèse vise à explorer les solutions qui le font sansdégrader l'utilité de la parole.Nous présentons plusieurs schémas d'anonymisation basés sur des méthodesde conversion vocale pour atteindre ce double objectif. La sortie detels schémas est un signal vocal de haute qualité qui est utilisablepour la publication et pour un ensemble de tâches en aval.Tous les schémas sont soumis à un protocole d'évaluation rigoureux quiest l'un des apports majeurs de cette thèse.Ce protocole a conduit à la découverte que les approches existantes neprotègent pas efficacement la vie privée et a ainsi directement inspirél'initiative VoicePrivacy qui rassemble les individus, l'industrie et lacommunauté scientifique pour participer à la construction d'un schémad'anonymisation robuste.Nous introduisons une gamme de schémas d'anonymisation dans le cadre del'initiative VoicePrivacy et prouvons empiriquement leur supériorité entermes de protection de la vie privée et d'utilité.Enfin, nous nous efforçons de supprimer l'identité résiduelle dulocuteur du signal de parole anonymisé en utilisant les techniquesinspirées de la confidentialité différentielle. De telles techniquesfournissent des garanties analytiques démontrables aux schémasd'anonymisation proposés et ouvrent des portes pour de futures recherches.En pratique, les outils développés dans cette thèse sont un élémentessentiel pour établir la confiance dans tout écosystème logiciel où lesdonnées vocales sont stockées, transmises, traitées ou publiées. Ilsvisent à aider les organisations à se conformer aux règles mandatées parles gouvernements et à donner le choix aux individus qui souhaitentexercer leur droit à la vie privée.
| Origine | Version validée par le jury (STAR) |
|---|