Secure distributed workflows for biomedical data analytics
Flux de travail distribués sécurisés pour l’analyse des données biomédicales
Résumé
In recent years, the amount of biomedical data collected and stored has grown significantly. Analyzing these extensive amounts of data can no longer be done by individuals or single organizations. Thus, the scientific community is creating global collaborative efforts to study these data. However, biomedical data is subject to several legal and socioeconomic restrictions hindering the possibilities for research collaboration. In this thesis, we first investigate and show that researchers require new tools and techniques to address the restrictions and needs of global scientific collaborations over geo-distributed biomedical data. In particular, we identify three kinds of constraints related to global collaborations, namely, technical, legal,and socioeconomic constraints. We also investigate the state of the art of current tools for distributed global biomedical analyses, including tools using machine learning techniques, and show their limitations. From these findings, we propose Fully Distributed Collaborations (FDC), which are research endeavors that harness means to exploit and analyze massive biomedical information collaboratively while respecting legal and socioeconomic restrictions. Here, we investigate the concept, properties, and features of FDCs, as well as the architectural requirements and security and privacy needs. As a first example of the design of FDC-basedtools, we propose a fully distributed machine learning strategy. The strategy considers a random forest training algorithm where multiple geo-distributed sites, with their own private data, compute a global model collaboratively without sharing private information. The proposed algorithm, called MuSiForest, improves over other existing multi-site forest approaches by ameliorating computation time and reducing the amount of shared data while having a training precision close to that of centralized random forest techniques. Finally, we investigate how workflow systems have been widely used to specify biomedical data analyses, and we show the current limitations of those tools. We show how they offer limited means to define, deploy, and execute multi-site studies in today’s distributed infrastructure while respecting data ownership and privacy restrictions. We then propose FeDeRa, a language to specify, deploy, and execute FDC-compliant multi-site scientific workflows. The language is enriched with abstractions to deploy analysis in geo-distributed cloud infrastructures and with abstractions to define complex workflow patterns across multi-site boundaries. FeDeRa supports dataflow programming and declarative concurrency natively. We also present the implementation of a runtime engine supporting the execution of FeDeRa workflows and experiments deployed on cloud infrastructure.
En los últimos años, la cantidadde datos biomédicos recopilados y almacenados ha crecido significativamente. El análisis de estas grandes cantidades de datos ya no puede ser realizado por individuos u organizaciones individuales. Por lo tanto, la comunidad científica está creando esfuerzos de colaboración global para analizar estos datos. Sin embargo, los datos biomédicos están sujetosa varias restricciones legales y socioeconómicas que dificultan las posibilidades de colaboración en investigación. En esta tesis, primero investigamos y mostramos que los investigadores requieren nuevas herramientas y técnicas para abordar las restricciones y necesidades de las colaboraciones científicas globales sobre datos biomédicos geo distribuidos. En particular, identificamos tres tipos de restricciones relacionadas con las colaboraciones globales, a saber, restricciones técnicas, legales y socioeconómicas. También investigamos el estado del artede las herramientas actuales para análisis biomédicos globales distribuidos, incluidas herramientas que utilizan técnicas de aprendizaje automático, y mostramos sus limitaciones. A partir de estos hallazgos, proponemos colaboraciones totalmente distribuidas FDC (definido en inglés como Fully Distributed Collaborations), como esfuerzos de investigación que aprovechan los medios para explotar yanalizar información biomédica de forma masiva y colaborativa respetando las restricciones legales y socioeconómicas. Nosotros investigamos el concepto, las propiedades y las características de los sistemas FDC, así como los requisitos de arquitectura y las necesidades de seguridad y privacidad. Como primer ejemplo del diseño de herramientas basadas en FDC, proponemos una estrategia de aprendizaje automático completamente distribuida. La estrategia considera un algoritmo de entrenamiento de bosque aleatorio donde varios sitios distribuidos geográficamente, mantienen sus propios datos privados, entrenanun modelo global en colaboración sin compartir información privada. El algoritmo propuesto, llamado MuSiForest, mejora con respectoa otros enfoques existentes de bosques multisitio al mejorar el tiempo de cómputo y reducir la cantidad de datos compartidos mientrastiene una precisión de entrenamiento cercanaa la de las técnicas centralizadas de bosques aleatorios. Finalmente, investigamos cómo los sistemas de flujo de trabajo se han utilizado ampliamente para especificar análisis de datos biomédicos y mostramos las limitaciones actuales de esas herramientas. Mostramos cómo ofrecen medios limitados para definir, implementar y ejecutar estudios de sitios múltiples en la infraestructura distribuida actual, respetando la propiedad de los datos y las restricciones de privacidad. A continuación, proponemos FeDeRa, un lenguaje para especificar, implementar y ejecutar flujos de trabajo científicos multi sitio compatibles con FDC. El lenguaje está enriquecido con abstracciones para implementar análisis en infraestructuras de nube distribuidas geográficamente y con abstracciones para definir patrones de flujo de trabajo complejos a través de límites de múltiples sitios. FeDeRa admite la programación de flujo de datos y la concurrencia declarativa de forma nativa. También presentamos la implementación de un motor de tiempo de ejecución que admite la ejecución de flujos de trabajo y experimentos de FeDeRa implementados en la infraestructura de la nube.
Ces dernières années, la quantité de données biomédicales collectées et stockées a considérablement augmenté. L’analyse de ces grandes quantités de données ne peut plus être effectuée par des individus ou des organisations uniques. Ainsi, la communauté scientifique crée des efforts de collaboration mondiaux pour étudier ces données. Cependant, les données biomédicales sont soumises à plusieurs restrictions légales et socio-économiques entravant les possibilités de collaboration en recherche. Dans cette thèse, nous étudions et montrons d’abord que les chercheurs ont besoin de nouveaux outils et techniques pour répondre aux restrictions et aux besoins des collaborations scientifiques mondiales sur les données biomédicales géo-distribuées. En particulier, nous identifions trois types de contraintes liées aux collaborations mondiales, à savoir les contraintes techniques,juridiques et socio-économiques. Nous étudions également l’état de l’art des outils actuels d’analyses biomédicales globales distribuées, y compris les outils utilisant des techniques d’apprentissage automatique, et montrons leurs limites. À partir de ces résultats, nous proposons des collaborations entièrement distribuées (FDC), qui sont des efforts de recherche qui exploitent des moyens pour exploiter et analyser de manière collaborative des informations biomédicales massives tout en respectant les restrictions légales et socio-économiques. Ici, nous étudions le concept, les propriétés et les fonctionnalités des FDC, ainsi que les exigences architecturales et les besoins en matière de sécurité et de confidentialité. Comme premier exemple de conception d’outils basés sur FDC, nous proposons une stratégie d’apprentissage automatique entièrement distribuée. La stratégie considère un algorithme de formation de forêt aléatoire où plusieurs sites géo-distribués, avec leurs propres données privées, calculent un modèle global en collaboration sans partager d’informations privées. L’algorithme proposé, appelé MuSiForest, s’améliore par rapport aux autres approches forestières multi-sites existantes en améliorant le temps de calcul et en réduisant la quantité de données partagées tout en ayant une précision d’apprentissage proche de celle des techniques forestières aléatoires centralisées. Enfin, nous étudions comment les systèmes de workflow ont été largement utilisés pour spécifier les analyses de données biomédicales, et nous montrons les limites actuelles de ces outils. Nous montrons comment ils offrent des moyens limités pour définir, déployer et exécuter des études multi-sites dans l’infrastructure distribuée d’aujourd’hui tout en respectant la propriété des données et les restrictions de confidentialité. Nous proposons ensuite FeDeRa, un langage pour spécifier, déployer et exécuter des workflows scientifiques multi-sites conformes à la FDC. Le langage est enrichi d’abstractions pour déployer l’analyse dans des infrastructures cloud géo-distribuées et d’abstractions pour définir des modèles de flux de travail complexes à travers les frontières multi-sites. FeDeRa prend en charge la programmation par flux de données et la concurrence déclarative de manière native. Nous présentons également l’implémentation d’un moteur d’exécution supportant l’exécution des workflows FeDeRa et des expérimentations déployées sur une infrastructure cloud.
Mots clés
Distributed biomedical analyses
Fully distributed collaborations
Workflow specification language
Multi-site analyses
Distributed workflow analyses
| Origine | Version validée par le jury (STAR) |
|---|