Réflexions aléatoires sur la complexité, les données et les modèles

La science des données et l’apprentissage profond ont beaucoup progressé pendant cette dernière décennie. Nous défendons l’idée que, tout en continuant à valoriser cet intéressant champ d’étude, il faudrait résister à la tentation de croire que la prédiction scientifique peut être réduite à l’analyse brute des données. Car la modélisation impose de maitriser l’art de sélectionner les variables pertinentes, comme nous l’illustrons ci-dessous.

Plus particulièrement, nous explorons la relation subtile qui existe entre données et modèles, en analysant notamment le rôle joué par la complexité algorithmique. Celle- ci contribua à rendre mathématiquement rigoureuse l’idée selon laquelle comprendre 

un phénomène empirique équivaut à énoncer des règles pour générer les données qui soient plus simples que les données elles-mêmes.

Un point clef pour évaluer le lien entre complexité algorithmique et apprentissage algorithmique est la clarification des concepts de compressibilité, déterminisme et prédictibilité, concepts qui sont liés mais distincts. À ce propos nous montrons que la loi d’évolution d’un système chaotique est compressible, mais qu’une condition initiale typique pour ce système ne l’est pas, ce qui rend les séries temporelles générées par des systèmes chaotiques incompressibles en général. La connaissance des règles qui gouvernent un phénomène empirique n’est donc pas suffisante pour prédire ses issues. Ce qui implique que la compréhension d’un phénomène nécessite plus que l’apprentissage de ses règles à travers des données. La compréhension n’est entière que lorsque l’on est capables de faire une “bonne modélisation”.

Il est clair que l’idée de base de la complexité algorithmique s’appuie sur l’analyse du calcul faite par Turing. Ceci motive nos remarques sur cet exemple très parlant de modélisation abstraite basée sur l’analogie, qui est néanmoins fortement informée par les faits empiriques.