L’exigence de reproductibilité d’une expérience est indissociable de la méthode scientifique. Une expérience doit en effet pouvoir être reproduite pour être vérifiée et, le cas échéant, invalidée (critère de falsifiabilité). Cette règle s’applique naturellement aux expériences numériques menées dans le cadre de la recherche en machine learning.
L’effervescence des développements récents dans cette discipline et la pression à publier dans chaque nouvel article un modèle qui soit en mesure de dépasser l’état de l’art (SOTA = State Of The Art) ont hélas conduit beaucoup d’équipes de chercheurs à négliger, plus ou moins consciemment, cette exigence fondamentale. Au point de rendre la comparaison entre différentes modèles impossible et de générer beaucoup de confusion.
Ce séminaire présente un article qui propose une méthode d’évaluation rigoureuse pour un type de modèles qui nous intéresse particulièrement chez TALia : les modèles de réseaux de neurones sur graphe. Ces modèles, rappelons-le, permettent par exemple de classer des documents qui se référencent mutuellement ou d’identifier des catégories d’individus dans un réseau social. Ils permettent aussi de classer des molécules selon leur structure etc…