Existe-t-il une méthode simple et universelle pour trouver des représentations (numériques) d’objets complexes comme des images, des sons, des vidéos, des textes que l’on pourrait utiliser dans n’importe quel problème d’apprentissage ?
Des expériences récentes suggèrent qu’on obtient de bons résultats lorsque l’on cherche à maximiser le contenu informationnel de ces représentations, une idée que l’on peut formaliser avec les concepts classiques de la théorie de l’information comme l’information mutuelle.
Pourtant, lorsqu’on y regarde de plus près mathématiquement, on s’aperçoit qu’il n’existe pas véritablement de bonnes raisons pour que ce principe fonctionne en pratique. Pourtant, force est de le constater, il fonctionne ! Mais alors quelle est l’origine de l’efficacité de cette méthode ? C’est le sujet de ce séminaire.