Chaque data scientist sait qu’on ne peut se contenter d’un algorithme dont les prédictions sont majoritairement correctes. Pour garantir sa robustesse et sa fiabilité une fois mis en production, encore faut-il s’assurer qu’il le fasse pour de bonnes raisons ! C’est le problème bien connu des « data leaks » qui désignent des situations dans lesquelles un algorithme parvient à faire des prédictions correctes en exploitant des signaux subsidiaires sans relation avec le problème pour lequel il a été conçu.
L’exemple classique est la classification correcte d’un animal sur un cliché obtenue en exploitant des informations contenues dans l’arrière-plan de l’image. L’enjeu est particulièrement important en NLP pour les gros modèles de langue auxquelles on prête un peu hâtivement des compétences logiques avancées. Mais qu’en est-il vraiment ? Est-on bien sûr qu’un modèle BERT raisonne ?
C’est la question abordée dans ce séminaire.
L’un des travaux présentés, auquel se réfère le titre, démontre qu’en fait certains modèles comme BERT parviennent à leurs fins en exploitant 3 heuristiques syntaxiques sans relation, avec d’authentiques capacités de raisonnement.