▼ 

La détection d'anomalies est une tâche critique de l'administration des réseaux. L'apparition continue de nouvelles anomalies et la nature changeante du trafic réseau compliquent de fait la détection d'anomalies. Les méthodes existantes de détection d'anomalies s'appuient sur une connaissance préalable du trafic : soit via des signatures créées à partir d'anomalies connues, soit via un profil de normalité. Ces deux approches sont limitées : la première ne peut détecter les nouvelles anomalies et la seconde requiert une constante mise à jour de son profil de normalité. Ces deux aspects limitent de façon importante l'efficacité des méthodes de détection existantes.Nous présentons une approche non-supervisée qui permet de détecter et caractériser les anomalies réseaux de façon autonome. Notre approche utilise des techniques de partitionnement afin d'identifier les flux anormaux. Nous proposons également plusieurs techniques qui permettent de traiter les anomalies extraites pour faciliter la tâche des opérateurs. Nous évaluons les performances de notre système sur des traces de trafic réel issues de la base de trace MAWI. Les résultats obtenus mettent en évidence la possibilité de mettre en place des systèmes de détection d'anomalies autonomes et fonctionnant sans connaissance préalable

Anomaly detection has become a vital component of any network in today’s Internet. Ranging from non-malicious unexpected events such as flash-crowds and failures, to network attacks such as denials-of-service and network scans, network traffic anomalies can have serious detrimental effects on the performance and integrity of the network. The continuous arising of new anomalies and attacks create a continuous challenge to cope with events that put the network integrity at risk. Moreover, the inner polymorphic nature of traffic caused, among other things, by a highly changing protocol landscape, complicates anomaly detection system's task. In fact, most network anomaly detection systems proposed so far employ knowledge-dependent techniques, using either misuse detection signature-based detection methods or anomaly detection relying on supervised-learning techniques. However, both approaches present major limitations: the former fails to detect and characterize unknown anomalies (letting the network unprotected for long periods) and the latter requires training over labeled normal traffic, which is a difficult and expensive stage that need to be updated on a regular basis to follow network traffic evolution. Such limitations impose a serious bottleneck to the previously presented problem.We introduce an unsupervised approach to detect and characterize network anomalies, without relying on signatures, statistical training, or labeled traffic, which represents a significant step towards the autonomy of networks. Unsupervised detection is accomplished by means of robust data-clustering techniques, combining Sub-Space clustering with Evidence Accumulation or Inter-Clustering Results Association, to blindly identify anomalies in traffic flows.…

Advisors/Committee Members: Owezarski, Philippe (thesis director), Labit, Yann (thesis director).

▼ Ce mémoire introduit MADE, un nouveau modèle génératif spécifiquement développé pour l’estimation de distribution de probabilité pour données binaires. Ce modèle se base sur le simple autoencodeur et le modifie de telle sorte que sa sortie puisse être considérée comme des probabilités conditionnelles. Il a été testé sur une multitude d’ensembles de données et atteint des performances comparables à l’état de l’art, tout en étant plus rapide. Pour faciliter la description de ce modèle, plusieurs concepts de base de l’apprentissage automatique seront décrits ainsi que d’autres modèles d’estimation de distribution. Comme son nom l’indique, l’estimation de distribution est simplement la tâche d’estimer une distribution statistique à l’aide d’exemples tirés de cette dernière. Bien que certains considèrent ce problème comme étant le Saint Graal de l’apprentissage automatique, il a longtemps été négligé par le domaine puisqu’il était considéré trop difficile. Une raison pour laquelle cette tâche est tenue en si haute estime est qu’une fois la distribution des données connue, elle peut être utilisée pour réaliser la plupart des autres tâches de l’apprentissage automatique, de la classification en passant par la régression jusqu’à la génération. L’information est divisée en trois chapitres principaux. Le premier donne un survol des connaissances requises pour comprendre le nouveau modèle. Le deuxième présente les précurseurs qui ont tenu le titre de l’état de l’art et finalement le troisième explique en détail le modèle proposé. Advisors/Committee Members: Larochelle, Hugo.

▼ Ce mémoire introduit MADE, un nouveau modèle génératif spécifiquement développé pour l’estimation de distribution de probabilité pour données binaires. Ce modèle se base sur le simple autoencodeur et le modifie de telle sorte que sa sortie puisse être considérée comme des probabilités conditionnelles. Il a été testé sur une multitude d’ensembles de données et atteint des performances comparables à l’état de l’art, tout en étant plus rapide. Pour faciliter la description de ce modèle, plusieurs concepts de base de l’apprentissage automatique seront décrits ainsi que d’autres modèles d’estimation de distribution. Comme son nom l’indique, l’estimation de distribution est simplement la tâche d’estimer une distribution statistique à l’aide d’exemples tirés de cette dernière. Bien que certains considèrent ce problème comme étant le Saint Graal de l’apprentissage automatique, il a longtemps été négligé par le domaine puisqu’il était considéré trop difficile. Une raison pour laquelle cette tâche est tenue en si haute estime est qu’une fois la distribution des données connue, elle peut être utilisée pour réaliser la plupart des autres tâches de l’apprentissage automatique, de la classification en passant par la régression jusqu’à la génération. L’information est divisée en trois chapitres principaux. Le premier donne un survol des connaissances requises pour comprendre le nouveau modèle. Le deuxième présente les précurseurs qui ont tenu le titre de l’état de l’art et finalement le troisième explique en détail le modèle proposé. Advisors/Committee Members: Larochelle, Hugo (advisor).

▼ 

Afin de pouvoir évoluer de manière autonome et sûre dans leur environnement, les robots doivent être capables d'en construire un modèle fiable et pertinent. Pour des tâches variées dans des environnements complexes, il est difficile de prévoir de manière exhaustive les capacités nécessaires au robot. Il est alors intéressant de doter les robots de mécanismes d'apprentissage leur donnant la possibilité de construire eux-mêmes des représentations adaptées à leur environnement. Se posent alors deux questions : quelle doit être la nature des représentations utilisées et par quels mécanismes peuvent-elles être apprises ? Nous proposons pour cela l'utilisation de l'hypothèse des sous-variétés afin de développer des architectures permettant de faire émerger une représentation symbolique de flux sensorimoteurs bruts. Nous montrons que le paradigme de l'apprentissage profond fournit des mécanismes appropriés à l'apprentissage autonome de telles représentations. Nous démontrons que l'exploitation de la nature multimodale des flux sensorimoteurs permet d'en obtenir une représentation symbolique pertinente. Dans un second temps, nous étudions le problème de l'évolution temporelle des stimuli. Nous discutons les défauts de la plupart des approches aujourd'hui utilisées et nous esquissons une approche à partir de laquelle nous approfondissons deux sous-problèmes. Dans une troisième partie, nous proposons des pistes de recherche pour permettre le passage des expériences de laboratoire à des environnements naturels. Nous explorons plus particulièrement la problématique de la curiosité artificielle dans des réseaux de neurones non supervisés.

This thesis studies the use of deep neural networks to learn high level representations from raw inputs on robots, based on the "manifold hypothesis".

Advisors/Committee Members: Sigaud, Olivier (thesis director).

▼ 

La popularité des médias sociaux en ligne (Online Social Media - OSM) est fortement liée à la qualité du contenu généré par l'utilisateur (User Generated Content - UGC) et la protection de la vie privée des utilisateurs. En se basant sur la définition de la qualité de l'information, comme son aptitude à être exploitée, la facilité d'utilisation des OSM soulève de nombreux problèmes en termes de la qualité de l'information ce qui impacte les performances des applications exploitant ces OSM. Ces problèmes sont causés par des individus mal intentionnés (nommés spammeurs) qui utilisent les OSM pour disséminer des fausses informations et/ou des informations indésirables telles que les contenus commerciaux illégaux. La propagation et la diffusion de telle information, dit spam, entraînent d'énormes problèmes affectant la qualité de services proposés par les OSM. La majorité des OSM (comme Facebook, Twitter, etc.) sont quotidiennement attaquées par un énorme nombre d'utilisateurs mal intentionnés. Cependant, les techniques de filtrage adoptées par les OSM se sont avérées inefficaces dans le traitement de ce type d'information bruitée, nécessitant plusieurs semaines ou voir plusieurs mois pour filtrer l'information spam. En effet, plusieurs défis doivent être surmontées pour réaliser une méthode de filtrage de l'information bruitée . Les défis majeurs sous-jacents à cette problématique peuvent être résumés par : (i) données de masse ; (ii) vie privée et sécurité ; (iii) hétérogénéité des structures dans les réseaux sociaux ; (iv) diversité des formats du UGC ; (v) subjectivité et objectivité. Notre travail s'inscrit dans le cadre de l'amélioration de la qualité des contenus en termes de messages partagés (contenu spam) et de profils des utilisateurs (spammeurs) sur les OSM en abordant en détail les défis susmentionnés. Comme le spam social est le problème le plus récurant qui apparaît sur les OSM, nous proposons deux approches génériques pour détecter et filtrer le contenu spam : i) La première approche consiste à détecter le contenu spam (par exemple, les tweets spam) dans un flux en temps réel. ii) La seconde approche est dédiée au traitement d'un grand volume des données relatives aux profils utilisateurs des spammeurs (par exemple, les comptes Twitter).

The popularity of OSM is mainly conditioned by the integrity and the quality of UGC as well as the protection of users' privacy. Based on the definition of information quality as fitness for use, the high usability and accessibility of OSM have exposed many information quality (IQ) problems which consequently decrease the performance of OSM dependent applications. Such problems are caused by ill-intentioned individuals who misuse OSM services to spread different kinds of noisy information, including fake information, illegal commercial content, drug sales, mal- ware downloads, and phishing links. The propagation and spreading of noisy information cause enormous drawbacks related to resources consumptions, decreasing quality of service of OSM-based applications, and…

Advisors/Committee Members: Sèdes, Florence (thesis director).

▼ 

Le problème des bandits manchots est un cadre théorique permettant d'étudier le compromis entre exploration et exploitation lorsque l'information observée est partielle. Dans celui-ci, un joueur dispose d'un ensemble de K bras (ou actions), chacun associé à une distribution de récompenses D(µk) de moyenne µk Є [0, 1] et de support [0, 1]. A chaque tour t Є [1, T], il choisit un bras kt et observe la récompense y kt tirée depuis D (µkt). La difficulté du problème vient du fait que le joueur observe uniquement la récompense associée au bras joué; il ne connaît pas celle qui aurait pu être obtenue en jouant un autre bras. À chaque choix, il est ainsi confronté au dilemme entre l'exploration et l'exploitation; explorer lui permet d'affiner sa connaissance des distributions associées aux bras explorés tandis qu'exploiter lui permet d'accumuler davantage de récompenses en jouant le meilleur bras empirique (sous réserve que le meilleur bras empirique soit effectivement le meilleur bras). Dans la première partie de la thèse nous aborderons le problème des bandits manchots lorsque les distributions générant les récompenses sont non-stationnaires. Nous étudierons dans un premier temps le cas où même si les distributions varient au cours du temps, le meilleur bras ne change pas. Nous étudierons ensuite le cas où le meilleur bras peut aussi changer au cours du temps. La seconde partie est consacrée aux algorithmes de bandits contextuels où les récompenses dépendent de l'état de l'environnement. Nous étudierons l'utilisation des réseaux de neurones et des forêts d'arbres dans le cas des bandits contextuels puis les différentes approches à base de méta-bandits permettant de sélectionner en ligne l'expert le plus performant durant son apprentissage.

The multi-armed bandit is a framework allowing the study of the trade-off between exploration and exploitation under partial feedback. At each turn t Є [1,T] of the game, a player has to choose an arm kt in a set of K and receives a reward ykt drawn from a reward distribution D(µkt) of mean µkt and support [0,1]. This is a challeging problem as the player only knows the reward associated with the played arm and does not know what would be the reward if she had played another arm. Before each play, she is confronted to the dilemma between exploration and exploitation; exploring allows to increase the confidence of the reward estimators and exploiting allows to increase the cumulative reward by playing the empirical best arm (under the assumption that the empirical best arm is indeed the actual best arm).In the first part of the thesis, we will tackle the multi-armed bandit problem when reward distributions are non-stationary. Firstly, we will study the case where, even if reward distributions change during the game, the best arm stays the same. Secondly, we will study the case where the best arm changes during the game. The second part of the thesis tacles the contextual bandit problem where means of reward distributions are now dependent of the environment's current state. We will…

Advisors/Committee Members: Sebag, Michèle (thesis director).

▼ 

L’exercice des pratiques non conventionnelles est confronté, à présent, à différentes difficultés dans la recherche de légitimité, notamment celle professionnelle. En particulier, les praticiens exerçant dans ce domaine créent une activité d'indépendant sur des savoirs peu légitimes du point de vue des standards. Cette population de praticiens étudiés recouvre plusieurs segments : médecins en soins de santé non-conventionnels, thérapeutes sans diplômes de médecine et chamans. L'étude est faite en comparant ces trois segments en France et en Tunisie et en montrant l’importance de l'apprentissage et la construction de l'expertise sur un marché faiblement régulé dans des contextes sociétaux différents. Dans ce cadre, ce premier courant théorique est complété par le courant théorique s’intéressant, en sciences de gestion, au mode d’apprentissage et de construction de l’expertise en entrepreneuriat. Cette construction de l’expertise suppose un apprentissage des connaissances déclaratives et procédurales, celles-ci combinées à travers l’apprentissage par l’expérience, viennent agrandir et modifier les connaissances issues de la formation académique, par la théorisation de la pratique. Ainsi, grâce à une démarche qualitative menée en France et en Tunisie, la compréhension de la dynamique de construction de l’expertise chez différents praticiens, dont le parcours se construit diversement en fonction de leur appartenance et attributs professionnels, nous a permis de déterminer les types de légitimités acquises.

The exercise of non-conventional practices is now confronted with various difficulties in the search of legitimacy, particularly the professional one.The practitioners, practicing in this field, create an independent activity on a slight illegitimate knowledge, from a standard perspective. This studied population of practitioners cover many segments: non-conventional doctors, therapists without medical qualifications, and shamans. This research study is done by comparing above mentioned three segments in France and Tunisia, also by showing the importance of learning and constructing the expertise in a low- regulated market in different societal contexts.In this context, this first theoretical insight is completed which interest, in the science of management, in the mode of learning and construction of expertise in entrepreneurship.The construction of expertise supposes a learning of the declarative and procedural knowledge. This procedural knowledge, combined through the learning by the experience, enlarge and modify the knowledge resulting from the academic formation, by the theorization of the practice.Thus, through a qualitative research conducted in France and Tunisia, understanding dynamics of construction of expertise of different practitioners, whose course is constructed differently according to their attributes and professional affiliations, allowed us to determine the types of legitimacy acquired.

Advisors/Committee Members: Mendez, Ariel (thesis director), Gadille, Martine (thesis director).

▼ 

Le domaine de l'apprentissage de dictionnaire est le sujet d'attentions croissantes durant cette dernière décennie. L'apprentissage de dictionnaire est une approche adaptative de la représentation parcimonieuse de données. Les méthodes qui constituent l'état de l'art en DL donnent d'excellentes performances en approximation et débruitage. Cependant, la complexité calculatoire associée à ces méthodes restreint leur utilisation à de toutes petites images ou "patchs". Par conséquent, il n'est pas possible d'utiliser l'apprentissage de dictionnaire pour des applications impliquant de grandes images, telles que des images de télédétection. Dans cette thèse, nous proposons et étudions un modèle original d'apprentissage de dictionnaire, combinant une méthode de décomposition des images par convolution et des structures d'arbres de convolution pour les dictionnaires. Ce modèle a pour but de fournir des algorithmes efficaces pour traiter de grandes images, sans les décomposer en patchs. Dans la première partie, nous étudions comment optimiser une composition de convolutions de noyaux parcimonieux, un problème de factorisation matricielle non convexe. Ce modèle est alors utilisé pour construire des atomes de dictionnaire. Dans la seconde partie, nous proposons une structure de dictionnaire basée sur des arbres de convolution, ainsi qu'un algorithme de mise à jour de dictionnaire adapté à cette structure. Enfin, une étape de décomposition parcimonieuse est ajoutée à cet algorithme dans la dernière partie. À chaque étape de développement de la méthode, des expériences numériques donnent un aperçu de ses capacités d'approximation.

The dictionary learning problem has received increasing attention for the last ten years. DL is an adaptive approach for sparse data representation. Many state-of-the-art DL methods provide good performances for problems such as approximation, denoising and inverse problems. However, their numerical complexity restricts their use to small image patches. Thus, dictionary learning does not capture large features and is not a viable option for many applications handling large images, such as those encountered in remote sensing. In this thesis, we propose and study a new model for dictionary learning, combining convolutional sparse coding and dictionaries defined by convolutional tree structures. The aim of this model is to provide efficient algorithms for large images, avoiding the decomposition of these images into patches. In the first part, we study the optimization of a composition of convolutions with sparse kernels, to reach a target atom (such as a cosine, wavelet or curvelet). This is a non-convex matrix factorization problem. We propose a resolution method based on a Gaus-Seidel scheme, which produces good approximations of target atoms and whose complexity is linear with respect to the image size. Moreover, numerical experiments show that it is possible to find a global minimum. In the second part, we introduce a dictionary structure based on convolutional trees. We propose a dictionary update…

Advisors/Committee Members: Tourneret, Jean-Yves (thesis director), Malgouyres, François (thesis director).

▼ L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation… Advisors/Committee Members: Chaib-draa, Brahim, Giguère, Philippe.

▼ 

Cette thèse traite de la problématique de l'unification de différents flux d'informations modales qui peuvent provenir des senseurs d'un agent. Cette unification, inspirée des expériences psychologiques comme l'effet ventriloque, s'appuie sur la détection de corrélations, définies comme des motifs spatiauxqui apparaissent régulièrement dans les flux d'entrée. L'apprentissage de l'espace des corrélations du flux d'entrée échantillonne cet espace et généralise les échantillons appris. Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architectureconnexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes.L'échantillonnage et la généralisation des corrélations reposent sur une auto-organisation contrainte des cartes. Ce modèle est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles : les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissagede certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques.

This thesis focuses on unifying multiple modal data flows that may be provided by sensors of an agent. This unification, inspired by psychological experiments like the ventriloquist effect, is based on detecting correlations which are defined as temporally recurrent spatial patterns that appear in the input flows. Learning of the input flow correlations space consists on sampling this space and generalizing theselearned samples. This thesis proposed some functional paradigms for multimodal data processing, leading to the connectionist, generic, modular and cortically inspired architecture SOMMA (Self-Organizing Maps for Multimodal Association). In this model, each modal stimulus is processed in a cortical map. Interconnectionof these maps provides an unifying multimodal data processing. Sampling and generalization of correlations are based on the constrained self-organization of each map. The model is characterised by a gradual emergence of these functional properties : monomodal properties lead to the emergence of multimodal ones and learning of correlations in each map precedes self-organization of these maps.Furthermore, the use of a connectionist architecture and of on-line and unsupervised learning provides plasticity and robustness properties to the data processing in SOMMA. Classical artificial intelligence models usually miss such properties.

Advisors/Committee Members: Girau, Bernard (thesis director).

▼ Representations aim to capture significant, high-level information from raw data, most commonly as low dimensional vectors. When considered as input features for a downstream classification task, they reduce classifier complexity, and help in transfer learning and domain adaptation. An interpretable representation captures underlying meaningful factors, and can be used for understanding data, or to solve tasks that need access to these factors. In natural language processing (NLP), representations such as word or sentence embeddings have recently become important components of most natural language understanding models. They are trained without supervision on very large, unannotated corpora, allowing powerful models that capture semantic relations important in many NLP tasks. In speech processing, deep network-based representations such as bottlenecks and x-vectors have had some success, but are limited to supervised or partly supervised settings where annotations are available and are not optimized to separate underlying factors. An unsupervised representation for speech, i.e. one that could be trained directly with large amounts of unlabelled speech recordings, would have a major impact on many speech processing tasks. Annotating speech data requires expensive manual transcription and is often a limiting factor, especially for low-resource languages. Disentangling speaker and phonetic variability in the representation would eliminate major nuisance factors for downstream tasks in speech or speaker recognition. But despite this potential, unsupervised representation has received less attention than its supervised counterpart. In this thesis, we propose a non-supervised generative model that can learn interpretable speech representations. More specifically, we propose several extensions to the variational autoencoder (VAE) model, a unified probabilistic framework which combines generative modelling and deep neural networks. To induce the model to capture and disentangle meaningful underlying factors, we impose biases inspired by articulatory and acoustic theories of speech production. We first propose time filtering as a bias to induce representations at a different time scale for each latent variable. It allows the model to separate several latent variables along a continuous range of time scale properties, as opposed to binary oppositions or hierarchical factorization that have been previously proposed. We also show how to impose a multimodal prior to induce discrete latent variables, and present two new tractable VAE loss functions that apply to discrete variables, using expectation-maximization reestimation with matched divergence, and divergence sampling. In addition, we propose self-attention to add sequence modelling capacity to the VAE model, to our knowledge the first time self-attention is used for learning in an unsupervised speech task. We use simulated data to confirm that the proposed model can accurately recover phonetic and speaker underlying factors. We find that, given only a…

▼ 

De nombreuses initiatives ont été mises en places pour caractériser d'un point de vue moléculaire de grandes cohortes de cancers à partir de diverses sources biologiques dans l'espoir de comprendre les altérations majeures impliquées durant la tumorogénèse. Les données mesurées incluent l'expression des gènes, les mutations et variations de copy-number, ainsi que des signaux épigénétiques tel que la méthylation de l'ADN. De grands consortium tels que “The Cancer Genome Atlas” (TCGA) ont déjà permis de rassembler plusieurs milliers d'échantillons cancéreux mis à la disposition du public. Nous contribuons dans cette thèse à analyser d'un point de vue mathématique les relations existant entre les différentes sources biologiques, valider et/ou généraliser des phénomènes biologiques à grande échelle par une analyse intégrative de données épigénétiques et génétiques.En effet, nous avons montré dans un premier temps que la méthylation de l'ADN était un marqueur substitutif intéressant pour jauger du caractère clonal entre deux cellules et permettait ainsi de mettre en place un outil clinique des récurrences de cancer du sein plus précis et plus stable que les outils actuels, afin de permettre une meilleure prise en charge des patients.D'autre part, nous avons dans un second temps permis de quantifier d'un point de vue statistique l'impact de la méthylation sur la transcription. Nous montrons l'importance d'incorporer des hypothèses biologiques afin de pallier au faible nombre d'échantillons par rapport aux nombre de variables.Enfin, nous montrons l'existence d'un phénomène biologique lié à l'apparition d'un phénotype d'hyperméthylation dans plusieurs cancers. Pour cela, nous adaptons des méthodes de régression en utilisant la similarité entre les différentes tâches de prédictions afin d'obtenir des signatures génétiques communes prédictives du phénotypes plus précises.En conclusion, nous montrons l'importance d'une collaboration biologique et statistique afin d'établir des méthodes adaptées aux problématiques actuelles en bioinformatique.

Several initiatives have been launched recently to investigate the molecular characterisation of large cohorts of human cancers with various high-throughput technologies in order to understanding the major biological alterations related to tumorogenesis. The information measured include gene expression, mutations, copy-number variations, as well as epigenetic signals such as DNA methylation. Large consortiums such as “The Cancer Genome Atlas” (TCGA) have already gathered publicly thousands of cancerous and non-cancerous samples. We contribute in this thesis in the statistical analysis of the relationship between the different biological sources, the validation and/or large scale generalisation of biological phenomenon using an integrative analysis of genetic and epigenetic data.Firstly, we show the role of DNA methylation as a surrogate biomarker of clonality between cells which would allow for a powerful clinical tool for to elaborate appropriate treatments for specific patients with…

Advisors/Committee Members: Vert, Jean-Philippe (thesis director), Reyal, Fabien (thesis director).

▼ 

Ce travail de thèse porte sur l'étude et le développement de stratégies innovantes pour la résolution, basée sur l'utilisation de la simulation et de la théorie de l'apprentissage statistique, de problèmes inverses dans le domaine contrôle non destructif (CND) par méthodes électromagnétiques. L’approche générale adoptée consiste à estimer un ensemble des paramètres inconnus, constituant un sous-ensemble des paramètres décrivant le scénario de contrôle étudié. Dans les cas de CND, les trois applications classiquement visées sont la détection, la localisation et la caractérisation de défauts localisés dans le matériau inspecté. Ce travail concerne d’une part la localisation et la caractérisation des fissures et d’autre part l'estimation de certains paramètres de sonde difficiles à maîtriser ou inconnus. Dans la littérature, de nombreuses méthodes permettant de remonter aux paramètres inconnus ont été étudiées. Les approches d'optimisation standard sont basées sur la minimisation d'une fonction de coût, décrivant l'écart entre les mesures et les données simulées avec un solveur numérique. Les algorithmes les plus répandus se fondent sur des approches itératives déterministes ou stochastiques. Cette thèse considère le problème de l'estimation de paramètres inconnus dans une perspective d'apprentissage statistique/automatique. L’approche supervisée adoptée est connue sous le nom de d’apprentissage par l'exemple (LBE en anglais). Elle se compose d’une première phase, dite hors ligne, pendant laquelle un « modèle inverse » est construit sur la base de la connaissance d’un ensemble de couples entrée/sortie connu, appelé ensemble d’entraînement. Une fois la phase d’apprentissage terminée et le modèle généré, le modèle est utilisé dans une phase dite en ligne pour prédire des sorties inconnues (les paramètres d'intérêt) en fonction de nouvelles entrées (signaux CND mesurés appartenant à un second ensemble dit de test) en temps quasi-réel. Lorsqu’on considère des situations pratiques d'inspection, en raison du grand nombre de variables impliquées, la création d'un modèle précis et robuste n’est pas une tâche triviale (problème connu comme la malédiction de la dimensionnalité). Grâce à une étude approfondie et systématique, l’approche développée dans cette thèse a conduit à la mise en place de différentes solutions capables d’atteindre une bonne précision dans l’estimation des paramètres inversés tout en conservant de très bonnes performances en temps de calcul. Le schéma LBE proposé dans cette thèse a été testé avec succès sur un ensemble des cas réels, en utilisant à la fois des données synthétiques bruitées et des mesures expérimentales.

The research activity of the PhD thesis focuses on the study and development of innovative strategies for the solution of inverse problems arising in the field of Non-Destructive Testing and Evaluation (NDT-NDE), based on the use of statistical learning theory. Generally speaking, the objective of the optimization stage is the retrieval of the unknown parameters within the studied…

Advisors/Committee Members: Massa, Andrea (thesis director).

▼ Unsupervised learning methods are difficult to design, and often lead to challenging optimization problems, due to the lack of prior knowledge. In particular, clustering algorithms have been studied extensively in machine learning, as a tool to analyze data through extracting similar patterns, in an unsupervised manner. More recently, research on fair clustering algorithms have emerged to avoid data-inherent biases in the decisions made by traditional clustering methods, for instance, with respect to some specific groups or sensitive attributes (e.g. gender). Also, few-shot learning problems have recently attracted substantial research efforts: The purpose is to transfer the knowledge from models supervised on large amounts of annotated data to target few-shot tasks, with new (unseen) classes and a few annotated samples per new class. In this thesis, we investigate bound-optimization based clustering methods, which integrate various constraints and regularizers, e.g., fairness constraints or Laplacian regularization, and can deal efficiently with large-scale problems. Specifically, we propose flexible models, which optimize multi-term functionals, each integrating clustering objectives with some constraints or regularizers. We further derive tight upper bounds (auxiliary functions) of the functionals to provide scalable (parallel-update) solutions, with convergence guarantee and competitive performances. We propose: (1) Joint graph clustering and prototype density-mode estimation for large-scale problems (Scalable Laplacian K-modes); (2) A general and flexible variational paradigm for fair clustering, which enables to control the trade-off levels between the clustering and fairness terms (Variational Fair Clustering); (3) A fast Laplacian-regularized few-shot inference, which can be viewed as a constrained graph clustering, and outperforms state-of-theart few-shot methods by significant margins (Laplacian Regularized Few-Shot Learning). As a first contribution, we advocate the Laplacian K modes model for a joint graph clustering and density mode estimation method. We propose a concave-convex relaxation of the problem, which yields a parallel algorithm that scales up to large datasets and high dimensions. We optimize a tight bound (auxiliary function) of our relaxation, which, at each iteration, amounts to computing an independent update for each cluster assignment variable, with guaranteed convergence. Therefore, our bound optimizer can be trivially distributed for large-scale data sets. Furthermore, we show that the density modes can be obtained as byproducts of the assignment variables via simple maximum-value operations whose additional computational cost is linear in the number of data points. Our formulation does not need storing a full affinity matrix and computing its eigenvalue decomposition, neither does it perform expensive projection steps and Lagrangian-dual inner iterates for the simplex constraints of each point. Furthermore, unlike mean-shift, our density-mode estimation does not require…

▼ 

Les premières contributions de cette thèse (Chapter 2 et Chapitre 3) sont des modèles appelés Deforming Autoencoder (DAE) et Lifting Autoencoder (LAE), utilisés pour l'apprentissage non-supervisé de l'alignement 2-D dense d'images d'une classe donnée, et à partir de cela, pour apprendre un modèle tridimensionnel de l'objet. Ces modèles sont capable d'identifer des espaces canoniques pour représenter de différent caractéristiques de l'objet, à savoir, l'apparence des objets dans l'espace canonique, la déformation dense associée permettant de retrouver l'image réelle à partir de cette apparence, et pour le cas des visages humains, le modèle 3-D propre au visage de la personne considérée, son expression faciale, et l'angle de vue de la caméra. De plus, nous illustrons l'application de DAE à d'autres domaines, à savoir, l'alignement d'IRM de poumons et d'images satellites. Dans le Chapitre 4, nous nous concentrons sur une problématique lié au cancer du sang-diagnostique d'hyperlymphocytosis. Nous proposons un modèle convolutif pour encoder les images appartenant à un patient, suivi par la concaténation de l'information contenue dans toutes les images. Nos résultats montrent que les modèles proposés sont de performances comparables à celles des biologistes, et peuvent dont les aider dans l'élaboration de leur diagnostique.

The first two contributions of this thesis (Chapter 2 and 3) are models for unsupervised 2D alignment and learning 3D object surfaces, called Deforming Autoencoders (DAE) and Lifting Autoencoders (LAE). These models are capable of identifying canonical space in order to represent different object properties, for example, appearance in a canonical space, deformation associated with this appearance that maps it to the image space, and for human faces, a 3D model for a face, its facial expression, and the angle of the camera. We further illustrate applications of models to other domains_ alignment of lung MRI images in medical image analysis, and alignment of satellite images for remote sensing imagery. In Chapter 4, we concentrate on a problem in medical image analysis_ diagnosis of lymphocytosis. We propose a convolutional network to encode images of blood smears obtained from a patient, followed by an aggregation operation to gather information from all images in order to represent them in one feature vector which is used to determine the diagnosis. Our results show that the performance of the proposed models is at-par with biologists and can therefore augment their diagnosis.

Advisors/Committee Members: Paragios, Nikos (thesis director).

▼ 

Dans cette thèse, nous développons certaines techniques avancées d'apprentissage automatique dans le cadre de l'apprentissage en ligne et de l'apprentissage par renforcement (« reinforcement learning » en anglais  – RL). L'épine dorsale de nos approches est la programmation DC (Difference of Convex functions) et DCA (DC Algorithm), et leur version en ligne, qui sont reconnues comme de outils puissants d'optimisation non convexe, non différentiable. Cette thèse se compose de deux parties : la première partie étudie certaines techniques d'apprentissage automatique en mode en ligne et la deuxième partie concerne le RL en mode batch et mode en ligne. La première partie comprend deux chapitres correspondant à la classification en ligne (chapitre 2) et la prédiction avec des conseils d'experts (chapitre 3). Ces deux chapitres mentionnent une approche unifiée d'approximation DC pour différents problèmes d'optimisation en ligne dont les fonctions objectives sont des fonctions de perte 0-1. Nous étudions comment développer des algorithmes DCA en ligne efficaces en termes d'aspects théoriques et computationnels. La deuxième partie se compose de quatre chapitres (chapitres 4, 5, 6, 7). Après une brève introduction du RL et ses travaux connexes au chapitre 4, le chapitre 5 vise à fournir des techniques efficaces du RL en mode batch basées sur la programmation DC et DCA. Nous considérons quatre différentes formulations d'optimisation DC en RL pour lesquelles des algorithmes correspondants basés sur DCA sont développés. Nous traitons les problèmes clés de DCA et montrons l'efficacité de ces algorithmes au moyen de diverses expériences. En poursuivant cette étude, au chapitre 6, nous développons les techniques du RL basées sur DCA en mode en ligne et proposons leurs versions alternatives. Comme application, nous abordons le problème du plus court chemin stochastique (« stochastic shortest path » en anglais  – SSP) au chapitre 7. Nous étudions une classe particulière de problèmes de SSP qui peut être reformulée comme une formulation de minimisation de cardinalité et une formulation du RL. La première formulation implique la norme zéro et les variables binaires. Nous proposons un algorithme basé sur DCA en exploitant une approche d'approximation DC de la norme zéro et une technique de pénalité exacte pour les variables binaires. Pour la deuxième formulation, nous utilisons un algorithme batch RL basé sur DCA. Tous les algorithmes proposés sont testés sur des réseaux routiers artificiels

In this dissertation, we develop some advanced machine learning techniques in the framework of online learning and reinforcement learning (RL). The backbones of our approaches are DC (Difference of Convex functions) programming and DCA (DC Algorithm), and their online version that are best known as powerful nonsmooth, nonconvex optimization tools. This dissertation is composed of two parts: the first part studies some online machine learning techniques and the second part concerns RL in both batch and online modes. The first part includes two…

Advisors/Committee Members: Lê Thi, Hoai An (thesis director), Zidna, Ahmed (thesis director).

▼ 

L’Intelligence Artificielle (IA) et les Interfaces Homme-Machine (IHM) sont deux champs de recherche avec relativement peu de travaux communs. Les spécialistes en IHM conçoivent habituellement les interfaces utilisateurs directement à partir d’observations et de mesures sur les interactions humaines, optimisant manuellement l’interface pour qu’elle corresponde au mieux aux attentes des utilisateurs. Ce processus est difficile à optimiser : l’ergonomie, l’intuitivité et la facilité d’utilisation sont autant de propriétés clé d’une interface utilisateur (IU) trop complexes pour être simplement modélisées à partir de données d’interaction. Ce constat restreint drastiquement les utilisations potentielles de l’apprentissage automatique dans ce processus de conception. A l’heure actuelle, l’apprentissage automatique dans les IHMs se cantonne majoritairement à la reconnaissance de gestes et à l’automatisation d’affichage, par exemple à des fins publicitaires ou pour suggérer une sélection. L’apprentissage automatique peut également être utilisé pour optimiser une interface utilisateur existante, mais il ne participe pour l’instant pas à concevoir de nouvelles façons d’intéragir. Notre objectif avec cette thèse est de proposer grâce à l’apprentissage automatique de nouvelles stratégies pour améliorer le processus de conception et les propriétés des IUs. Notre but est de définir de nouvelles IUs intelligentes – comprendre précises, intuitives et adaptatives – requérant un minimum d’interventions manuelles. Nous proposons une nouvelle approche à la conception d’IU : plutôt que l’utilisateur s’adapte à l’interface, nous cherchons à ce que l’utilisateur et l’interface s’adaptent mutuellement l’un à l’autre. Le but est d’une part de réduire le biais humain dans la conception de protocoles d’interactions, et d’autre part de construire des interfaces co-adaptatives capables de correspondre d’avantage aux préférences individuelles des utilisateurs. Pour ce faire, nous allons mettre à contribution les différents outils disponibles en apprentissage automatique afin d’apprendre automatiquement des comportements, des représentations et des prises de décision. Nous expérimenterons sur les interfaces tactiles pour deux raisons majeures : celles-ci sont largement utilisées et fournissent des problèmes facilement interprétables. La première partie de notre travail se focalisera sur le traitement des données tactiles et l’utilisation d’apprentissage supervisé pour la construction de classifieurs précis de gestes tactiles. La seconde partie détaillera comment l’apprentissage par renforcement peut être utilisé pour modéliser et apprendre des protocoles d’interaction en utilisant des gestes utilisateur. Enfin, nous combinerons ces modèles d’apprentissage par renforcement avec de l’apprentissage non supervisé pour définir une méthode de conception de nouveaux protocoles d’interaction ne nécessitant pas de données d’utilisation réelles.

Artificial Intelligence (AI) and Human-Computer Interactions (HCIs) are two research fields with relatively…

Advisors/Committee Members: Wolf, Christian (thesis director), Canu, Stéphane (thesis director).

▼ 

Ce travail est à la jonction de deux domaines de recherche que sont la turbulence et le traitement d'image. L'objectif principal est de proposer de nouvelles méthodologies pour reconstruire les petites échelles de la turbulence à partir de mesures grande échelle. Une des contributions de ce travail est de revisiter des méthodes conventionnelles et de proposer de nouveaux modèles basés sur les travaux récents en traitement d’image pour les adapter à une problématique de turbulence. Le premier problème consiste à trouver une fonction de correspondance empirique entre les grandes et les petites échelles, une approche classique pour les modèles de type regression. Nous introduisons également une nouvelle méthode appelée “apprentissage de dictionnaire” pour laquelle une représentation couplée des grandes et des petites échelles est déduite par apprentissage statistique. Le deuxième problème est de reconstruire les informations à petites échelles par fusion de plusieurs mesures complémentaires. Le modèle de type “propagation de la moyenne non-locale” exploite la similarité des structures de l'écoulement alors que les modèles bayesiens de fusion proposent d'estimer le champ le plus probable en fonction d'informations données, on parle d’estimateur maximum a posteriori. Toutes les méthodes sont comparées et validées sur des bases de données numériques pour lesquelles les informations sont disponibles à toutes les échelles. Les performances des différentes approches sont analysées pour chacune des configurations. Ces résultats peuvent être utilisés dans une approche de type co-conception où il s’agit d'imaginer différents dispositifs expérimentaux définis conjointement avec les traitements numériques prévus pour extraire l’information utile. Les résultats de nos analyses peuvent être utilisés pour définir de nouvelles expériences qui maximisent la qualité des informations obtenues après traitement.

This work lies in between the research domains of turbulence and image processing. The main objectives are to propose new methodologies to reconstruct small-scale turbulence from measurements at large-scale only. One contribution of this work is a review of existing methods. We also propose new models inspired from recent works in image processing to adapt them to the context of turbulence. We address two different problems. The first problem is to find an empirical mapping function between large and small scales for which regression models are a common approach. We also introduce the use of “dictionary learning” to this problem of turbulence. The idea is to train coupled representations of large and small scales for reconstruction. The second problem is to reconstruct small-scale information via fusion of complementary measurements. The non-local means propagation model exploits the similarity of structures in the flow, while the Bayesian fusion model estimates the most probable fields given the measurements thanks to a maximum a posteriori estimate. All methods are validated and compared using numerical databases where fully…

Advisors/Committee Members: Laval, Jean-Philippe (thesis director), Chainais, Pierre (thesis director).

▼ Dans le cadre de cette recherche de nature exploratoire, nous nous sommes intéressée à la pratique en reconnaissance des acquis et des compétences (RAC) de spécialistes de contenu, qui sont également enseignants au collégial au secteur technique, sous l'angle de leur perception d'un apprentissage extrascolaire. Afin de circonscrire notre travail d'exploration, nous avons identifié trois dimensions de la pratique du spécialiste de contenu en reconnaissance des acquis: 1) l'ouverture à l'altérité que nous retrouvons dans la posture de partenariat, 2) le changement de logique du développement de la compétence à sa mobilisation et, finalement, 3) leur compréhension du mécanisme d'apprentissage expérientiel. Nous avons procédé à une étude de cas multiples auprès de trois participants, tous enseignants au collégial dans le secteur technique, mais également spécialistes de contenu en RAC. Notre collecte de données a consisté à recueillir des documents secondaires liés au travail des participants et à mener des entretiens semi-dirigés auprès de ces derniers. Nous avons ensuite recouru à la méthode d'analyse inductive générale. Nous avons réussi à raffiner notre connaissance des trois dimensions explorées et à dégager de nouvelles pistes de compréhension. Des manifestations d'une ouverture à l'altérité se sont traduites par la valorisation de l'expérience et du point de vue d'autrui et par l'existence d'une relation égalitaire avec les candidats à la RAC. Le changement de logique a été mieux cerné grâce à trois caractéristiques : une vision opératoire de la profession, l'intégration du concept de cœur de compétence et le deuil pédagogique, ainsi que la perception des pratiques évaluatives en RAC comme étant plus près de l'approche par compétences. Par ailleurs, nous avons constaté une faible compréhension du processus d'apprentissage expérientiel, ce qui aurait un impact sur le travail d'évaluation. Nous avons également découvert que les participants s'attribuaient un rôle de traducteur entre le monde professionnel et le monde scolaire lorsqu'ils œuvrent en RAC. Leur pratique en RAC a également une influence qualifiée de positive sur leur pratique enseignante et, finalement, ils attribuent une forte valeur au service de RAC. _____________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Reconnaissance des acquis et des compétences, spécialistes de contenu, enseignant au collégial, apprentissage extrascolaire, apprentissage expérientiel

▼ 

Au vu des changements globaux actuels engendrés en grande partie par l'être humain, il devient nécessaire de comprendre les moteurs de la stabilité des communautés d'êtres vivants. La synchronie des séries temporelles d'abondances fait partie des mécanismes les plus importants. Cette thèse propose trois angles différents permettant de répondre à différentes questions en lien avec la synchronie interspécifique ou spatiale. Les travaux présentés trouvent des applications en dehors du cadre écologique. Un premier chapitre est consacré à l'estimation du rang effectif de matrices à valeurs dans ℝ ou ℂ. Nous apportons ainsi des outils permettant de mesurer le taux de synchronisation d'une matrice d'observations. Dans le deuxième chapitre, nous nous basons sur les travaux existants sur le problème de détection de ruptures sur les chaînes afin de proposer plusieurs algorithmes permettant d'adapter ce problème au cas des arbres. Les méthodes présentées peuvent être utilisées sur la plupart des données nécessitant d'être représentées sous la forme d'un arbre. Afin d'étudier les liens entre la synchronie interspécifique et les tendances à long termes ou les traits d'espèces de papillons, nous proposons dans le dernier chapitre d'adapter des méthodes de clustering et d'apprentissage supervisé comme les Random Forest ou les Réseaux de Neurones artificiels à des données écologiques.

In the view of actual global changes widely caused by human activities, it becomes urgent to understand the drivers of communities' stability. Synchrony between time series of abundances is one of the most important mechanisms. This thesis offers three different angles in order to answer different questions linked to interspecific and spatial synchrony. The works presented find applications beyond the ecological frame. A first chapter is dedicated to the estimation of effective rank of matrices in ℝ or ℂ. We offer tools allowing to measure the synchronisation rate of observations matrices. In the second chapter, we base on the existing work on change-points detection problem on chains in order to offer algorithms which detects change-points on trees. The methods can be used with most data that have to be represented as a tree. In order to study the link between interspecific synchrony and long term tendencies or traits of butterflies species, we offer in the last chapter adaptation of clustering and supervised machine learning methods, such as Random Forest or Artificial Neural Networks to ecological data.

Advisors/Committee Members: Giraud, Christophe (thesis director).

▼ Les systèmes de reconnaissance de la parole sont fondamentalement dérivés des domaines du traitement et de la modélisation statistique des signaux. Depuis quelques années, d'importantes innovations de domaines connexes comme le traitement d'image et les neurosciences computationnelles tardent toutefois à améliorer la performance des systèmes actuels de reconnaissance de parole. La revue de la littérature a suggéré qu'un système de reconnaissance vocale intégrant les aspects de hiérarchie, parcimonie et grandes dimensions joindrait les avantages de chacun. L'objectif général est de comprendre comment l'intégration de tous ces aspects permettrait d'améliorer la robustesse aux bruits additifs d'un système de reconnaissance de la parole. La base de données TI46 (mots isolés, faible-vocabulaire) est utilisée pour effectuer l'apprentissage non-supervisé et les tests de classification. Les différents bruits additifs proviennent de la base de données NOISEX-92, et permettent d'évaluer la robustesse en conditions de bruit réalistes. L'extraction de caractéristiques dans le système proposé est effectuée par des projections linéaires successives sur des bases, permettant de couvrir de plus en plus de contexte temporel et spectral. Diverses méthodes de seuillage permettent de produire une représentation multi-échelle, binaire et parcimonieuse de la parole. Au niveau du dictionnaire de bases, l'apprentissage non-supervisé permet sous certaines conditions l'obtention de bases qui reflètent des caractéristiques phonétiques et syllabiques de la parole, donc visant une représentation par objets d'un signal. L'algorithme d'analyse en composantes indépendantes (ICA) s'est démontré mieux adapté à extraire de telles bases, principalement à cause du critère de réduction de redondance. Les analyses théoriques et expérimentales ont montré comment la parcimonie peut contourner les problèmes de discrimination des distances et d'estimation des densités de probabilité dans des espaces à grandes dimensions. Il est observé qu'un espace de caractéristiques parcimonieux à grandes dimensions peut définir un espace de paramètres (p.ex. modèle statistique) de mêmes propriétés. Ceci réduit la disparité entre les représentations de l'étage d'extraction des caractéristiques et celles de l'étage de classification. De plus, l'étage d'extraction des caractéristiques peut favoriser une réduction de la complexité de l'étage de classification. Un simple classificateur linéaire peut venir compléter un modèle de Markov caché (HMM), joignant une capacité de discrimination accrue à la polyvalence d'une segmentation en états d'un signal. Les résultats montrent que l'architecture développée offr de meilleurs taux de reconnaissance en conditions propres et bruités comparativement à une architecture conventionnelle utilisant les coefficients cepstraux (MFCC) et une machine à vecteurs de support (SVM) comme classificateur discriminant. Contrairement aux techniques de codage de la parole où la transformation doit être inversible, la reconstruction n'est pas importante… Advisors/Committee Members: Rouat, Jean (advisor).

▼ 

Cette thèse présente plusieurs algorithmes développés dans le cadre du projet ANR COCLICO et contient deux axes principaux :Le premier axe concerne l'introduction d'un algorithme applicable aux images satellite à très haute résolution, qui est basé sur les champs aléatoires de Markov et qui apporte des notions sémantiques sur les clusters découverts. Cet algorithme est inspiré de l'algorithme Iterated conditional modes (ICM) et permet de faire un clustering sur des segments d'images pré-traitées. La méthode que nous proposons permet de gérer des voisinages irréguliers entre segments et d'obtenir des informations sémantiques de bas niveau sur les clusters de l'image traitée.Le second axe porte sur le développement de méthodes de clustering collaboratif applicables à autant d'algorithmes que possible, ce qui inclut les algorithmes du premier axe. La caractéristique principale des méthodes proposées dans cette thèse est leur applicabilité aux deux cas suivants : 1) plusieurs algorithmes travaillant sur les mêmes objets dans des espaces de représentation différents, 2) plusieurs algorithmes travaillant sur des données différentes ayant des distributions similaires. Les méthodes que nous proposons peuvent s'appliquer à de nombreux algorithmes comme l'ICM, les K-Moyennes, l'algorithme EM, ou les cartes topographiques (SOM et GTM). Contrairement aux méthodes précédemment proposées, notre modèle permet à des algorithmes très différents de collaborer ensemble, n'impose pas de contrainte sur le nombre de clusters recherchés et a une base mathématique solide.

This thesis presents several algorithms developed in the context of the ANR COCLICO project and contains two main axis: The first axis is concerned with introducing Markov Random Fields (MRF) based models to provide a semantic rich and suited algorithm applicable to images that are already segmented. This method is based on the Iterated Conditional Modes Algorithm (ICM algorithm) and can be applied to the segments of very high resolution (VHR) satellite pictures. Our proposed method can cope with highly irregular neighborhood dependencies and provides some low level semantic information on the clusters and their relationship within the image. The second axis deals with collaborative clustering methods developed with the goal of being applicable to as many clustering algorithms as possible, including the algorithms used in the first axis of this work. A key feature of the methods proposed in this thesis is that they can deal with either of the following two cases: 1) several clustering algorithms working together on the same data represented in different feature spaces, 2) several clustering algorithms looking for similar clusters in different data sets having similar distributions. Clustering algorithms to which these methods are applicable include the ICM algorithm, the K-Means algorithm, density based algorithms such as DB-scan, all Expectation-Maximization (EM) based algorithms such as the Self-Organizing Maps (SOM) and the Generative Topographic Mapping (GTM)…

Advisors/Committee Members: Cornuéjols, Antoine (thesis director), Bennani, Younès (thesis director).

▼ The Canadian company Croesus offers a virtual dashboard for financial advisors. Their flagship product, a software called Croesus Advisor, brings together financial portfolio management and customer relationship management (CRM) functionalities. Croesus is leading a Research & Development (R&D) project whose aim is to automate the generation of reports about the performance of financial portfolios over a given period. The generated reports will have to measure and explain variations of portfolio performances with respect to benchmark market(s) using natural language. Such a project is in the domain of Natural Language Generation (NLG). This R&D project involves more than one research problem. First, the time series describing the different assets in a given portfolio must be analyzed in order to identify significant events. Then, the publications describing these events must be identified and retrieved. Finally, the sequence of publications describing significant events should be summarized in a coherent and informative narrative of controllable length. This work focused on a particular aspect of the R&D project, that is, the unsupervised training of automatic abstractive summarization models with the capacity to control their output’s length. Experiments were performed using Recurrent Neural Network and Transformers trained with and without supervision. A Transformer-based model trained without supervision yielded ROUGE-1, ROUGE-2 and ROUGE-L F1 scores of 21.29, 6.4 and 19.41, respectively. Furthermore, a similar model trained in a supervised fashion achieved ROUGE-1, ROUGE-2 and ROUGE-L F1 scores of 40.27, 18.46 and 37.59. To the best of this author’s knowledge, the model trained under supervision constitutes the current state-of-the-art in abstractive summarization of controllable length. These results, alongside research conducted in parallel to this work, mitigated the risk with respect to the automatic summarization aspect of the R&D project to a tolerable level. Work on the remaining research problems of the project is set to start soon.

▼ 

De nos jours, le Big Data est devenu essentiel et omniprésent dans tous les domaines. Par conséquence, il est nécessaire de développer des techniques innovantes et efficaces pour traiter la croissance rapide du volume des masses de données. Nous considérons les problèmes suivants dans le contexte de Big Data : la sélection de groupes de variables pour la régression logistique multi-classes, la réduction de dimension par t-SNE (« t-distributed Stochastic Neighbor Embedding « en anglais) et l'apprentissage en profondeur pour la classification non-supervisée (« Deep Clustering « en anglais). Nous développons des algorithmes DC (Difference of Convex functions) avancés pour ces problèmes, qui sont basés sur la programmation DC et DCA (DC Algorithm)  – des outils puissants pour les problèmes d'optimisation non-convexes non-différentiables. Dans la première partie, nous étudions le problème de la sélection de groupes de variables pour la régression logistique multi-classes. Nous résolvons ce problème en utilisant des DCAs avancés – Stochastic DCA et DCA-Like. Plus précisément, Stochastic DCA se spécialise dans le problème de la minimisation de la grande somme des fonctions DC, et ne nécessite qu'un sous-ensemble de fonctions DC à chaque itération. DCA-Like relaxe la condition de convexité de la deuxième composante DC en assurant la convergence. Accelerated DCA-Like intègre la technique d'accélération de Nesterov dans DCA-Like pour améliorer sa performance. Les expériences numériques sur plusieurs jeux de données benchmark de grande taille montrent l'efficacité de tous les algorithmes proposés en termes de temps d'exécution et de qualité de la solution. La deuxième partie concerne t-SNE, une technique efficace de réduction de dimension non linéaire. t-SNE est modélisé sous forme d'un problème d'optimisation non-convexe. Motivés par le caractère novateur de DCA-Like et Accelerated DCA-Like, nous développons ces deux algorithmes pour résoudre le problème t-SNE. La supériorité de nos algorithmes, appliqués à la visualisation de données, par rapport aux méthodes existantes est illustrée via des expériences numériques réalisées sur les jeux de données de très grande taille. La troisième partie est consacrée à la classification non-supervisée par l'apprentissage en profondeur. Dans la première application, nous proposons deux algorithmes basés sur DCA pour combiner t-SNE avec MSSC (Minimum Sum-of-Squares Clustering) par ces deux approches : « tandem analysis » et joint-clustering. La deuxième application considère le clustering en utilisant l'auto-encodeur. Nous avons proposé une extension d'une classe d'algorithmes de joint-clustering pour résoudre le problème de mise à l'échelle de données (« scaling problem » en anglais), et appliqué pour un cas spécifique de joint-clustering avec MSSC. Les résultats numériques sur plusieurs jeux de données benchmark montre l'efficacité de notre algorithme comparé aux méthodes existantes.

Big Data has become gradually essential and ubiquitous in all aspects nowadays. Therefore, there is an…

Advisors/Committee Members: Lê Thi, Hoai An (thesis director).

▼ 

Chez les humains et les animaux, l’exposition répétée à une séquence de stimulus conduit à la création de représentations mentales isomorphes aux régularités statistiques de cette séquence. Cette thèse étudie la dynamique avec laquelle les unités et sous-unités sont extraites, s’influencent et s’organisent lors de l’apprentissage séquentiel chez l’humain et le primate non-humain (babouin Papio papio). Nos résultats montrent que lors de l’apprentissage d’une séquence régulière ABC, la sous-unité finale BC est apprise plus rapidement que la sous-unité initiale AB chez les humains comme les primates non- humains. Avec une séquence plus longue ABCD, cet effet ne s’étend pas au-delà des deux termes précédents celui à prédire lors des 2000 essais d’apprentissage. Une seconde étude montre que les humains sont capables d’utiliser la prédictibilité des éléments à différents niveaux de complexité, alors que les singes sont limités aux dépendances locales. Enfin notre dernière étude montre que les humains comme les singes ne bénéficient pas d’un contexte d’homogénéité de longueurs des unités par rapport à un contexte d’hétérogénéité de longueurs des unités. Ensemble, ces études montrent des continuités et discontinuités entre les primates humains et non-humains dans l’extraction, l’influence et l’organisation des unités de différents niveaux. Elles donnent des informations d’une finesse nécessaires pour contraindre les différents modèles computationnels qui ont été proposés pour décrire l’apprentissage de régularités.

In humans and animals, the repeated exposure to a sequence of stimulus creates mental representations which have the same statistical regularities as that sequence. This thesis investigates the dynamics, influence and organization of units and sub-units during sequence learning, in humans and non-human primates (Guinea baboons, Papio papio).Our results show an advantage of the final sub- unit BC over the initial sub-unit AB during learning of sequences with the form ABC in both humans and baboons. We interpret this effect as resulting from the richer contextual information AB predicting C compared to the single term A predicting B. This effect is limited to the 2 previous terms before the one term to be predicted, across 2000 learning trials. A second finding shows that in learning sequences of 3 units (i.e. ABC, DEF, HGI), humans are able to use the predictability of elements at both local (within units) and global (within sequence) levels, whereas monkeys are limited to local dependencies. A third section investigates the extraction of regularities in homogeneous (i.e., units of the same length) and heterogeneous contexts (units of different lengths). Results in humans and monkeys showed no advantage for either of these contexts.Considered together, our studies show continuities and discontinuities between human and non-human primates in the extraction, influence and organization of units of different levels. This fine-grained level of information is necessary to constrain the computational models proposed to…

Advisors/Committee Members: Rey, Arnaud (thesis director), Fagot, Joël (thesis director).

▼ 

Dans ce mémoire, on s’inspire des sciences cognitives pour aborder la question de la modélisation logique du raisonnement et de l’apprentissage. Notre principale conviction est qu’il faudrait, pour traiter ce problème, prendre modèle sur la manière dont les agents naturels (c’est à dire les humains et les animaux) procèdent lorsqu’ils raisonnent ou apprennent. Considérant que le raisonnement fait appel à un grand nombre de facultés cognitives distinctes, et qu’il ne serait donc pas raisonnable d’espérer modéliser d’un seul coup l’ensemble du raisonnement humain, on se concentre ici sur un type d’inférences très simples dont on soutient qu’elles constituent le coeur du raisonnement chez tous les animaux à cerveau. On identifie un processus sous-jacent plausible pour ces inférences, d’abord au niveau mental de description, puis au niveau neuronal, et on développe une famille de modèles logiques permettant de le simuler. On s’attache ensuite à produire un ensemble de règles d’inférence caractérisant les relations d’inférence induites par ces modèles. Ces règles résultent du processus suggéré, et doivent donc être vues comme des règles qui, d’après le modèle, émergent fonctionnement des cerveaux. Enfin, on analyse les processus d’apprentissage attachés aux inférences considérées, et on montre comment le formalisme proposé permet de les modéliser. Pour conclure on évoque brièvement les possibles développements futurs du modèle, et notamment on donne quelques indications quant à la manière dont la modélisation d’un certain nombre de facultés additionnelles pourrait être envisagée.

In this dissertation, we take inspiration in cognitive sciences to address the issue of the logical modelling of reasoning and learning. Our main thrust is that to address these issues one should take inspiration in the way natural agents (i.e., humans and animals) actually proceed when they draw inferences and learn. Considering that reasoning incorporates a wide range of cognitive abilities, and that it would thus be unreasonable to hope to model the whole of human’s reasoning all at once, we focus here on a very basic kind of inferences that, we argue, can be considered as the primary core of reasoning in all brained animals. We identify a plausible underlying process for these inferences, first at the mental level of description and then at the neural level, and we develop a family of logical models that allow to simulate it. Then we tackle the issue of providing sets of rules to characterise the inference relations induced by these models. These rules are a by-product of the posited process, and should thus be seen as rules that, according to the model, result from the very functioning of brains. Finally we examine the learning processes attached to the considered inferences, and we show how to they can be modelled within our framework. To conclude we briefly discuss possible further developments of the framework, and in particular we give indications about how the modelling of some other…

Advisors/Committee Members: Rahman, Shahid (thesis director).

▼ 

Dans cette thèse, nous avons présenté les aspects de la technologie d'imagerie hyperspectrale en concentrant sur le problème de démélange non-linéaire. Pour cette tâche, nous avons proposé trois solutions. La première consiste à intégrer les avantages de l'apprentissage de variétés dans les méthodes de démélange classique pour concevoir leurs versions non-linéaires. Les résultats avec les données générées sur une variété bien connue - le "Swissroll"- donne des résultats prometteurs. Les méthodes fonctionnent beaucoup mieux avec l'augmentation de la non-linéarité. Cependant, l'absence de contrainte de non-négativité dans ces méthodes reste une question ouverte pour des améliorations à trouver. La deuxième proposition vise à utiliser la méthode de pré-image pour estimer une transformation inverse de l'espace de données entrées des pixels vers l'espace des abondances. L'ajout des informations spatiales sous forme "variation totale" est également introduit pour rendre l'algorithme plus robuste au bruit. Néanmoins, le problème d'obtention des données de réalité terrain nécessaires pour l'étape d'apprentissage limite l'application de ce type d'algorithmes.

In this thesis , we present several aspects of hyperspectral imaging technology , while focusing on the problem of non- linear unmixing . We have proposed three solutions for this task. The first one is integrating the advantages of manifold learning in classical unmixing methods to design their nonlinear versions . Results with data generated on a well-known manifold- the " Swissroll " - seem promising. The methods work much better with the increase in non- linearity compared with their linear version. However, the absence of constraint of non- negativity in these methods remains an open question for improvements . The second proposal is using the pre-image method for estimating an inverse transformation of the data form pixel space to abundance of space . The adoption of spatial information as " total variation " is also introduced to make the algorithm more robust to noise . However, the problem of obtaining ground truth data required for learning step limits the application of such algorithms.

Advisors/Committee Members: Richard, Cédric (thesis director), Theys, Céline (thesis director).

▼ 

De nombreuses études s’intéressent aux comportements décisionnels et d’apprentissage ainsiqu’aux structures qui les sous-tendent. Il a été montré que le Cortex Préfrontal (CPF) ainsiqu’un réseau de structures sous-corticales, les Ganglions de la Base (GB), étaient impliquésdans ces processus. Néanmoins, le rôle respectif de chacun n’est pas définit. Deux hypothèsessont émises. La première stipule que les deux structures fonctionnent indépendamment. LesGB seraient impliqués dans les comportements habituatifs tandis que le CPF se chargerait descomportements planifiés. La seconde hypothèse considère que les deux structures collaborent: les GB contrôleraient un processus d'apprentissage à cinétique lente dans le CPF et sedésengageraient progressivement au fur et à mesure de l’apprentissage. Ceci reviendrait d'unecertaine façon à inverser les rôles : les GB seraient nécessaires aux processus de décision tantque le CPF n'aurait pas fini son apprentissage. Celui-ci fonctionnerait ensuite sur un modeautomatique. Le principal obstacle à l’étude respectif du rôle des GB et du CPF dans cesprocessus intervient dans les paradigmes expérimentaux qui ne dissocient pas la prise dedécision per se des processus d’apprentissage. Notre premier objectif a donc été d’élaborerune tâche expérimentale qui permette de différencier les phases d’apprentissage des phases deprise de décision. Nous avons ensuite supprimé l'influence des GB sur le cortex, en inhibantleur structure de sortie, le Globus Pallidus interne (GPi) par des injections intracérébrales demuscimol chez le primate non-humain effectuant une tâche comportementale : le "two armedbandit task". Nous montrons que les animaux sont toujours capables de prendre des décisionsaprès inhibition du GPi mais qu’ils sont incapables d’apprendre la valeur de nouvelles cibles.Ces résultats confirment que, chez le primate en tous les cas, les GB et le CPF sont bienimpliqués dans un processus collaboratif : l'intégrité de l'ensemble du circuit est nécessairepour l'apprentissage alors que le cortex seul peut suffire une fois que le choix se situe dans uncontexte habituel.

Many studies are interested in decision making and learning processes and in brainareas which are engaged in. Among them, the implication Prefrontal Cortex (PFC) and a subcortical structures’ network, the Basal Ganglia (BG) has been shown. Nevertheless, theprecise role of each structure has not yet been defined. There are two main hypotheses. Thefirst one holds that GB and PFC function independently. BG would support habitualbehaviors and PFC planned behaviors. The second hypothesis proposes that both structuresare collaborating: the basal ganglia drive a low kinetic learning process in the prefrontalcortex and become less and less engaged as the task is learned. It means reversing the roles:BG would be necessary for decision making processes as soon as PFC finishes its learning.This latter would then function as an automatic mode. The main problem which avoids us todisentangle the role of each structure is the experimental…

Advisors/Committee Members: Boraud, Thomas (thesis director).

▼ Les applications futures de la robotique, en particulier pour des robots de service à la personne, exigeront des capacités d’adaptation continue à l'environnement, et notamment la capacité à reconnaître des nouveaux objets et apprendre des nouveaux mots via l'interaction avec les humains. Bien qu'ayant fait d'énormes progrès en utilisant l'apprentissage automatique, les méthodes actuelles de vision par ordinateur pour la détection et la représentation des objets reposent fortement sur de très bonnes bases de données d’entrainement et des supervisions d'apprentissage idéales. En revanche, les enfants de deux ans ont une capacité impressionnante à apprendre à reconnaître des nouveaux objets et en même temps d'apprendre les noms des objets lors de l'interaction avec les adultes et sans supervision précise. Par conséquent, suivant l'approche de le robotique développementale, nous développons dans la thèse des approches d'apprentissage pour les objets, en associant leurs noms et leurs caractéristiques correspondantes, inspirées par les capacités des enfants, en particulier l'interaction ambiguë avec l’homme en s’inspirant de l'interaction qui a lieu entre les enfants et les parents.L'idée générale est d’utiliser l'apprentissage cross-situationnel (cherchant les points communs entre différentes présentations d’un objet ou d’une caractéristique) et la découverte de concepts multi-modaux basée sur deux approches de découverte de thèmes latents: la Factorisation en Natrices Non-Négatives (NMF) et l'Allocation de Dirichlet latente (LDA). Sur la base de descripteurs de vision et des entrées audio / vocale, les approches proposées vont découvrir les régularités sous-jacentes dans le flux de données brutes afin de parvenir à produire des ensembles de mots et leur signification visuelle associée (p.ex le nom d’un objet et sa forme, ou un adjectif de couleur et sa correspondance dans les images). Nous avons développé une approche complète basée sur ces algorithmes et comparé leur comportements face à deux sources d'incertitudes: ambiguïtés de références, dans des situations où plusieurs mots sont donnés qui décrivent des caractéristiques d'objets multiples; et les ambiguïtés linguistiques, dans des situations où les mots-clés que nous avons l'intention d'apprendre sont intégrés dans des phrases complètes. Cette thèse souligne les solutions algorithmiques requises pour pouvoir effectuer un apprentissage efficace de ces associations de mot-référent à partir de données acquises dans une configuration d'acquisition simplifiée mais réaliste qui a permis d'effectuer des simulations étendues et des expériences préliminaires dans des vraies interactions homme-robot. Nous avons également apporté des solutions pour l'estimation automatique du nombre de thèmes pour les NMF et LDA.Nous avons finalement proposé deux stratégies d'apprentissage actives: la Sélection par l'Erreur de Reconstruction Maximale (MRES) et l'Exploration Basée sur la Confiance (CBE), afin d'améliorer la qualité et la vitesse de l'apprentissage incrémental en laissant les… Advisors/Committee Members: Filliat, David (thesis director).

▼ 

La segmentation et regroupement en locuteurs (SRL) de collection cherche à répondre à la question « qui parle quand ? » dans une collection de documents multimédia. C’est un prérequis indispensable à l’indexation des contenus audiovisuels. La tâche de SRL consiste d’abord à segmenter chaque document en locuteurs, avant de les regrouper à l'échelle de la collection. Le but est de positionner des labels anonymes identifiant les locuteurs, y compris ceux apparaissant dans plusieurs documents, sans connaître à l'avance ni leur identité ni leur nombre. La difficulté posée par le regroupement en locuteurs à l'échelle d'une collection est le problème de la variabilité intra-locuteur/inter-document : selon les documents, un locuteur peut parler dans des environnements acoustiques variés (en studio, dans la rue...). Cette thèse propose deux méthodes pour pallier le problème. D'une part, une nouvelle méthode de compensation neuronale de variabilité est proposée, utilisant le paradigme de triplet-loss pour son apprentissage. D’autre part, un procédé itératif d'adaptation non supervisée au domaine est présenté, exploitant l'information, même imparfaite, que le système acquiert en traitant des données, pour améliorer ses performances sur le domaine acoustique cible. De plus, de nouvelles méthodes d'analyse en locuteurs des résultats de SRL sont étudiées, pour comprendre le fonctionnement réel des systèmes, au-delà du classique taux d'erreur de SRL (Diarization Error Rate ou DER). Les systèmes et méthodes sont évalués sur deux émissions télévisées d'une quarantaine d'épisodes, pour les architectures de SRL globale ou incrémentale, à l'aide de la modélisation locuteur à l'état de l'art.

The task of speaker diarization and linking aims at answering the question "who speaks and when?" in a collection of multimedia recordings. It is an essential step to index audiovisual contents. The task of speaker diarization and linking firstly consists in segmenting each recording in terms of speakers, before linking them across the collection. Aim is, to identify each speaker with a unique anonymous label, even for speakers appearing in multiple recordings, without any knowledge of their identity or number. The challenge of the cross-recording linking is the modeling of the within-speaker/across-recording variability: depending on the recording, a same speaker can appear in multiple acoustic conditions (in a studio, in the street...). The thesis proposes two methods to overcome this issue. Firstly, a novel neural variability compensation method is proposed, using the triplet-loss paradigm for training. Secondly, an iterative unsupervised domain adaptation process is presented, in which the system exploits the information (even inaccurate) about the data it processes, to enhance its performances on the target acoustic domain. Moreover, novel ways of analyzing the results in terms of speaker are explored, to understand the actual performance of a diarization and linking system, beyond the well-known Diarization Error Rate (DER). Systems and…

Advisors/Committee Members: Meignier, Sylvain (thesis director), Larcher, Anthony (thesis director), Charlet, Delphine (thesis director).