L’art et la science des réglages des modèles du climat

Par Judith Curry. Traduction par Scaletrans

Source

Nous examinons la logique et la diversité des méthodes d’ajustement, aspect fondamental de la modélisation du climat qui devrait être documenté plus systématiquement et pris en compte dans une analyse multi-modèles. – Hourdin et al.

Il y a deux ans, j’ai fait un article sur le Tuning des Modèles du Climat, extraits :

Il ne fait pas de doute que l’aspect le moins documenté des modèles du climat est la façon dont ils sont calibrés, ou ‘ajustés’. J’ai soulevé un certain nombre de préoccupations dans mon article Uncertainty Monster, ainsi que dans des blogs antérieurs.

L’existence de cet article révèle l’incapacité des groupes de modélisation à documenter correctement leur réglage/calibration et à convenablement faire face aux problèmes liés à l’introduction de biais subjectifs dans les modèles lors du processus de tuning.

Réfléchissons-y une minute. Tout modèle du climat s’arrange pour reproduire avec exactitude le réchauffement global du 20ième siècle, en dépit du fait que la sensibilité climatique au CO2 de ces modèles varie d’un facteur deux. Comment cela est-il fait ? Le tuning des modèles a-t-il quelque chose à y voir ?

Hé bien, en 2014 le World Climate Research Programme Working Group on Coupled Modelling a organisé un atelier sur le tuning du modèle climatique. L’article qui suit provient de cet atelier.

Hourdin, F., T. Mauritsen, A. Gettelman, J. Golaz, V. Balaji, Q. Duan, D. Folini, D. Ji, D. Klocke, Y. Qian, F. Rauser, C. Rio, L. Tomassini, M. Watanabe, and D. Williamson, 2016: The art and science of climate model tuning. Bull. Amer. Meteor. Soc. doi:10.1175/BAMS-D-15-00135.1, in press. [ link to full manuscript].

Résumé. Nous examinons la logique et la diversité des méthodes de tuning, aspect fondamental de la modélisation du climat qui devrait être documenté plus systématiquement et pris en compte dans une analyse multi-modèles. Le processus d’estimation des paramètres visant un ensemble choisi d’observations est un aspect essentiel de la modélisation numérique. Dans le milieu de la modélisation numérique on appelle généralement ce processus réglage’ (tuning). Dans les modèles du climat, la variété et la complexité des processus physiques mis en jeu, et leurs interactions à travers une large gamme d’échelles spatiales et temporelles, doivent être synthétisées dans une série de sous-modèles approximatifs. La plupart de ces sous-modèles dépendent de paramètres incertains. Le tuning consiste à ajuster les valeurs de ces paramètres pour amener la solution dans son ensemble à s’aligner avec les aspects du climat observé. Le tuning est un aspect essentiel de la modélisation climatique avec ses propres problèmes scientifiques, ce qui n’est probablement pas assez connu en dehors de la communauté des développeurs de modèles.

L’optimisation des modèles du climat soulève d’importantes questions sur la mesure dans laquelle les méthodes de tuning à priori contraignent les résultats des modèles dans des directions imprévues affectant notre confiance dans les prévisions climatiques. Nous présentons ici la définition et la logique sous-tendant le tuning des modèles, analysons les aspects méthodologiques spécifiques, et examinons la diversité des approches de tuning utilisées dans les modèles de climat actuels. Nous discutons également des défis et opportunités de l’application de méthodes dites ‘objectives’ dans la mise au point du modèle climatique. Nous discutons de la mesure dans laquelle les méthodologies de tuning peuvent affecter les résultats fondamentaux des modèles du climat, comme la sensibilité climatique. L’article se conclut par une série de recommandations afin de rendre le processus de mise au point de la modélisation du climat plus transparent.

Si dans votre vie vous ne deviez lire qu’un seul article sur la modélisation du climat, c’est celui-ci. Tout en étant un article vraiment important, il est très bien écrit et lisible par un lecteur non spécialiste.

J’hésite à commencer à citer des extraits [de l’article] car tout l’ensemble est pertinent. Voici quelques aperçus sélectionnés :

La mise au point des modèles climatiques est un processus complexe qui présente des analogies avec la recherche de l’harmonie en musique. Produire une bonne symphonie ou un concert de rock nécessite d’abord une bonne composition et de bons musiciens qui travaillent individuellement leur partition. Puis, en jouant ensemble, les instruments doivent être accordés, ce qui est un réglage bien défini des fréquences que l’on peut effectuer avec l’aide de systèmes électroniques. Mais on atteint l’harmonie de l’orchestre en adoptant un tempo commun de même que par des combinaisons subjectives d’instruments, de niveaux de volume ou d’interprétations de musiciens, ce qui dépendra des intentions du chef d’orchestre ou des musiciens.

En réunissant différents éléments d’un modèle pour simuler le climat global, il y a aussi beaucoup de problèmes scientifiques et techniques, et on peut définir le tuning lui-même comme un processus objectif d’estimation de paramètres pour s’adapter à un jeu prédéfini d’observations, prenant en compte une certaine incertitude, processus qu’on peut concevoir. Cependant, en raison de la complexité du système climatique et des choix et approximations faits dans chaque sous-modèle, et à cause des priorités spécifiées dans chaque pôle climatique, on trouve aussi de la subjectivité dans le tuning des modèles climatiques (Tebaldi and Knutti 2007) de même qu’un savoir faire substantiel d’un nombre limité de personnes possédant une vaste expérience d’un modèle particulier.

Pourquoi un tel manque de transparence? Peut-être parce que le tuning est souvent vu comme une partie inévitable mais grossière de la modélisation climatique [considéré] plus comme conception que comme science et comme un bricolage qui ne mérite pas de faire l’objet d’un enregistrement dans la littérature scientifique. Il y a peut-être aussi quelque préoccupation car expliquer que les modèles sont tunés peut renforcer les arguments de ceux qui revendiquent de questionner la validité des projections du changement climatique. Le tuning peut être considéré comme une façon grossière de compenser les erreurs des modèles.

Bien que le tuning permette de réduire efficacement l’écart entre le modèle et les observations sélectionnées, il risque également de masquer des problèmes fondamentaux et le besoin d’amélioration du dit modèle. Il est clair que nombre d’erreurs sont intrinsèques aux modèles et proviennent des approximations de paramètres clés et de leurs interactions.

De plus, l’introduction d’une nouvelle paramétrisation ou amélioration diminue souvent la compétence du modèle sur certaines mesures. La version préexistante d’un modèle est généralement optimisée à la fois par le tuning de paramètres incertains et la sélection de combinaisons de modèles donnant des résultats acceptables, induisant probablement des erreurs de compensation (over-tuning). Améliorer une partie du modèle peut alors empirer le soin apporté aux observations, même s’il est mieux formulé. Plus le tuning précédent a été poussé, plus il sera difficile de démontrer un impact positif de l’amélioration du modèle et d’obtenir un nouveau réglage acceptable. Dans ce sens, le tuning (en cas d’over-tuning) peux même ralentir le processus d’amélioration du modèle en empêchant l’incorporation d’idées neuves et originales.

L’augmentation d’à peu près un degré Kelvin de la température globale moyenne depuis le début de l’ère industrielle, désormais réchauffement du 20 ième siècle, est une mise à l’épreuve de facto pour les modèles climatiques. Cependant, comme test de qualité du modèle il n’est pas sans défaut car le résultat désiré est connu de ceux qui le développent et devient par conséquent un objectif du développement.

Il existe un large éventail de méthodes pour améliorer la ressemblance du modèle avec le réchauffement du 20 ième siècle, allant de choisir simplement de ne plus modifier la valeur d’un paramètre sensible lorsque la représentativité est déjà bonne pour un modèle donné, ou de sélectionner des paramétrisations physiques qui améliorent la représentativité, jusqu’à clairement ajuster le forçage ou la rétroaction, tous deux incertains et dépendant de façon critique de paramètres ajustables. La sélection de modèle peut, par exemple, consister à choisir d’inclure ou d’exclure des processus nouveaux comme l’interaction entre nuages et aérosols pour mieux représenter le réchauffement historique, ou choisir de travailler ou remplacer une paramétrisation suspectée de causer un forçage irréaliste (trop haut ou trop bas) de la sensibilité climatique.

La question de savoir si le réchauffement du 20ième siècle doit être considéré comme un objectif de développement de modèle ou une propriété émergente polarise la communauté de la modélisation du climat, avec 35 pour cent des modélisateurs déclarant que le réchauffement du 20 ième siècle devait être considéré comme de très important à décisif, alors que 30 pour cent ne le prennent pas du tout en compte lors du développement. Certains voient les données de température comme des données d’évaluation indépendantes à ne pas utiliser, alors que d’autres les voient comme une observation pertinente contraignant le développement du modèle. De même les opinions divergent sur la question de savoir quelles mesures, du forçage et de l’ECS (Sensibilité Climatique à l’Équilibre), sont légitimes pour améliorer la correspondance du modèle avec le réchauffement observé. La question du développement en vue du réchauffement du 20 ième siècle est par conséquent le sujet de vigoureux débats au sein de la communauté.

Le tuning affectant le comportement d’un modèle du climat, et la confiance que l’on peut accorder à l’utilisation particulière de ce modèle, il est important de documenter la part de tuning dans le processus de développement du modèle. Nous recommandons que pour le prochain exercice CMIP6, les groupes de modélisation fournissent un document spécifique sur leur stratégie et objectifs de tuning, qui serait référencé lors de l’accès données. Nous recommandons de distinguer trois niveaux dans le processus de tuning : tuning de paramétrisation individuelle, tuning de composant et tuning de système climatique. Au niveau du composant, l’accent doit être mis sur le poids relatif donné aux indicateurs de performance climatique par rapport à ceux inhérents au processus, et sur les conflits possibles avec le niveau de tuning de paramétrisation.

Pour le tuning du système climatique, on doit insister particulièrement sur la façon dont l’équilibre énergétique a été obtenu dans le système complet : a-t-il été fait par ajustement indépendant des divers composants, ou un réglage final a-t-il été nécessaire ? On doit aussi décrire la mesure dans laquelle on a ou non utilisé la tendance du 20 ième siècle pour l’ajustement. Les comparaisons avec les observations, l’ajustement du processus de forçage ou de rétroaction devraient être notés. A chaque étape, on doit mettre en lumière toute occasion où une équipe a du se battre avec un paramètre ou le pousser aux limites pour résoudre une déficience particulière du modèle. Cette information peut être valable scientifiquement comme une trace de l’incertitude d’une formulation de modèle.

L’utilisation systématique de méthodes objectives au niveau du processus de façon à estimer la plage de valeurs paramétriques acceptable pour le tuning au niveau supérieur est probablement une stratégie à encourager et peut aider à rendre le processus de tuning du modèle plus transparent et traçable. Il est légitime de se demander si le tuning doit être effectué de préférence au niveau du processus, et l’équilibre radiatif global et autres métriques climatiques utilisées pour une évaluation à postériori de la performance du modèle. Il serait bon d’évaluer notre degré actuel de compréhension du système climatique et d’estimer le niveau d’incertitude de l’ECS. Restreindre l’ajustement au niveau du processus peut être également une bonne façon d’éviter les erreurs structurelles de compensation du modèle dans la procédure de tuning.

Cependant, en raison de la nature multi-applications des modèles climatiques, des problèmes de cohérence au sein du modèle et de ses composants, des limitations des procédures d’études métriques (problèmes d’échantillonnage, manque de contraintes énergétiques), et aussi tout simplement parce que le système climatique lui-même n’est pas observé avec suffisamment de fidélité pour contraindre pleinement le modèle, un réglage à postériori restera probablement nécessaire pour quelque temps. Ceci est spécialement important pour les contraintes de l’énergie globale qui sont un aspect fort et fondamental des modèles du climat global.

La formalisation de la question du tuning répond à un souci important : il est essentiel d’explorer l’incertitude provenant à la fois d’erreurs structurelles du modèle, en favorisant l’existence de dizaines de modèles, et d’incertitudes de paramétrisation en n’abusant pas du tuning. La réduction du nombre de modèles ou de l’abus du tuning, particulièrement si un consensus implicite ou explicite se fait jour dans la communauté sur une combinaison particulière de métriques, réduirait artificiellement la dispersion des simulations climatiques. Cela ne réduirait pas l’incertitude, mais la masquerait seulement.

Réflexions de JC

C’est l’article que j’attendais depuis que j’ai écrit Uncertainty Monster

Rappelez-vous mes premiers posts demandant que les modèles soient vérifiés et validés :

Les recommandations de Hourin, Mauritsen et al. pour que le CMIP6 documente les décisions et méthodes environnant le tuning de modèles sont un élément essentiel de la validation des modèles climatiques.

Depuis trop longtemps, le travail des modélisateurs du climat semble consister à s’assurer que leur modèle peut reproduire le réchauffement du 20 ième siècle, dans le but de conclure avec un haut niveau de confiance à propos du ‘dangereux changement climatique anthropique’, doxa de l’UNFCCC/IPCC.

Le ‘monstre d’incertitude caché’ derrière la sur-compensation des modèles climatiques, sans parler du manque de vérification formelle du modèle climatique, n’inspire pas confiance envers l’entreprise de modélisation du climat. Bravo aux auteurs de cet article pour leur tentative de redéfinir le travail des modélisateurs du climat afin d’inclure :

  • La documentation des méthodes et choix faits dans le tuning des modèles climatiques
  • Des méthodes plus objectives de tuning de modèle
  • Des explorations de l’incertitude structurelle des modèles

Mais plus profondément, après avoir lu cet article concernant la dissimulation du monstre d’incertitude qui se poursuit à propos des modèles climatiques, sans parler de leurs incertitudes structurelles, comment est-il possible de parler de conclusions hautement probables à propos du réchauffement du 20ième siècle, de valeur d’ECS élevées et de projections alarmistes du réchauffement du 20ième siècle ?

Les problèmes soulevés par Hourdin, Mauritsen et al. sont sérieux et importants. Voici de quoi espérer assister à un changement culturel dans la communauté de la modélisation du climat, changement propre à accroître la documentation et la transparence entourant le tuning de modèle climatique et à entreprendre l’exploration des incertitudes structurelles des modèles climatiques.

Ne manquez par de lire l’article.

22 Comments     Poster votre commentaire »

1.  Nicias | 20/09/2016 @ 23:18 Répondre à ce commentaire

Voila, il y en a pour tous les gouts chez Skyfall. Merci à Scaletrans pour cette traduction dont j’ai abandonné la relecture en cours de route tant je ne trouvais rien à redire à son travail., et je suis vraiment claqué.

2.  scaletrans | 21/09/2016 @ 10:53 Répondre à ce commentaire

Je ne sais plus qui disait il y a quelques années que les modèles climatiques reflétaient l’opinion de leurs auteurs. Garbage in – garbage out ?

3.  tsih | 21/09/2016 @ 11:27 Répondre à ce commentaire

Excellent article en effet.

Juste une remarque pour scaletrans:

Mais plus généralement, après avoir lu cet article concernant ‘le monstre d’incertitude caché’ qui s’approche des modèles climatiques,

Cette phrase n’est pas claire.
Pour l’original:

But most profoundly, after reading this paper regarding the ‘uncertainty monster hiding’ that is going on regarding climate models,

ce serait plutôt quelque chose comme

Mais plus profondément, après avoir lu cet article concernant la dissimulation du monstre d’incertitude qui se poursuit à propos des modèles climatiques,…

4.  Christial | 21/09/2016 @ 12:35 Répondre à ce commentaire

Au delà du travail nécessaire de documentation des modèles, on peut quand même s’interroger sur la logique réchauffiste :
1/ Il y a RCA car nos modèles le prédise – 2/ Nos modèles sont justes car ils sont capables de reproduire précisément le passé.

Pour reprendre Henri Masson qui aime citer John von Neumann, « donnez-moi quatre paramètres, et je vous dessine un éléphant. Donnez m’en cinq et il remuera la trompe ». ..
Combien de paramètres dans les modèles climatiques ? De quoi dessiner un troupeau d’éléphants, probablement.

5.  amike | 21/09/2016 @ 14:34 Répondre à ce commentaire

Tunning: Je vois que la traduction penche entre 2 synonymes : Réglage ou ajustement. Le premier influe sur les données en entrées, tandis que le second influe sur le résultat.

Avec un réglage, il s’agit de pouvoir exploiter des données incomplètes, plus ou moins fiable, … Le résultat final d’un réglage est imprédictible mais il suffit de répéter suffisamment le modèle pour « tomber » sur le résultat désiré.
Avec un ajustement, il s’agit de corriger les imprécisions d’un calcul par les données réelles constatées. Même s’il est facile de choisir la « bonne » réalité, au moins il est plus facile de se rendre compte de leur fiabilité.

AMHA, il vaudrait mieux que les données soient déjà « réglées » avant d’entrer dans le modèle. Au moins, les ajustements sont des béquilles visibles.

6.  pastilleverte | 21/09/2016 @ 18:58 Répondre à ce commentaire

Et si on « obligeait » Jouzel et al; à lire cet article ?
Comment ? j’ai dit une grosse bêtise ???

7.  Christial | 21/09/2016 @ 19:06 Répondre à ce commentaire

pastilleverte (#6),

Le tuning c’est pour rendre plus joli un objet, quand bien même ce serait une épave.

8.  lemiere jacques | 21/09/2016 @ 19:31 Répondre à ce commentaire

je suis partagé, on peut le voir comme un article intéressant mais on ne peut pas vraiment dire non plus qu’il apporte un éclairage significatif sur la question, d’une certaine façon on est surtout content d’entendre parler de points qui sont à l’origine du scepticisme sur les modèles.
Ce qui est frappant c’est le mépris auquel se sont heurtée les personnes qui ont posé des questions qui semblent aller de soi sur les modèles…
ce qui m’intéresserait serait de savoir pourquoi ces questions et ses problèmes ont été « ignorés »..

9.  scaletrans | 21/09/2016 @ 20:27 Répondre à ce commentaire

tsih (#3),

D’accord avec votre suggestion. Je préfère demander à NCIAS de faire la correction.

10.  Roby W | 22/09/2016 @ 12:56 Répondre à ce commentaire

pastilleverte (#6), Quand je regarde les affiliations des uns et des autres, je constate que l’auteur principal, Jean Z, les géophysiciens (Courtillot et al.), et aussi certains extrémistes du Muséum sont voisins. J’imagine les silences glacials en attendant le métro à la station Jussieu.
😉

Plus sérieusement, reconnaissons le courage et l’honnêteté des auteurs de ce papier. Ce problème de la sur-paramétrisation des modèles est « bien connu », et depuis longtemps, dans toutes les disciplines ; il existe toute une littérature sur ce sujet.

Ce qui est nouveau, c’est que le problème est mis sur la table par un des modélisateurs français du « système Terre ». On ne pourra donc plus déclarer que remettre en cause les modèles du GIEC, c’est remettre en cause les lois de la physique. Laissons ce genre de raisonnement aux Cock, Mann, Hansen et autres Stéphane, Sylvestre et autres Nucitelli. .

Mais la modélisation « intégrée » du climat n’est qu’un des aspects de la thèse du GIEC. Nous avons un tas informe de modèles, dont des modèles économiques, et d’autres dont on peut légitimement douter des bases scientifiques (théoriques ou empiriques).

L’auteur le dit bien, l’art et la science, un savoir-faire. Tout cela ressemble à l’art du médecin ou à celui de l’ingénieur. Sauf que, le travail du médecin comme celui de l’ingénieur sont validés ou sanctionnés par le réel : l’épidémiologie fournit des chiffres, et l’ouvrage d’art résiste (ou pas) à une tempête.

Quelle est la validation de ce système de systèmes dès modèles du GIEC ?Certains diront que ce bazar est validé par l’ensemble des états représentés à l’ONU. C’est de la politique, plus de la science.

Ce papier est donc le bienvenu et je salue encore une fois l’honnêteté et le courage des auteurs.

11.  scaletrans | 22/09/2016 @ 16:25 Répondre à ce commentaire

Roby W (#10),

Certains diront que ce bazar est validé par l’ensemble des états représentés à l’ONU

Ça ne fait aucun doute, puisque le « résumé pour décideurs » (Summary for Policymakers) est concocté par une assemblée de représentants de divers gouvernements. En fait, on a jamais été dans la science.

12.  lemiere jacques | 22/09/2016 @ 18:43 Répondre à ce commentaire

Roby W (#10), oui…mais rien de nouveau sinon..que c’est dit, écrit, on peut dire que c’est remarquable, je ne trouve pas que c’est cela qui est remarquable ou étonnant tout le monde sait ça! , c’est l’espèce de silence ou d’acceptation molle à cette religion numérique qui m’a toujours étonné.
Mettez ça en regard des propos lus dans l’article de l’afis… où on nous dit que si un modèle climatique reproduit les données il est validé…

13.  Roby Walrus | 23/09/2016 @ 10:22 Répondre à ce commentaire

lemiere jacques (#12),

oui…mais rien de nouveau sinon..que c’est dit, écrit, […] tout le monde sait ça !

Là-dessus, nous sommes d’accord. Mais je ne suis pas d’accord sur votre appréciation : c’est un net progrès.

’espèce de silence ou d’acceptation molle à cette religion numérique

14.  Monmon | 11/10/2016 @ 11:10 Répondre à ce commentaire

L’examen des courbes de températures et de teneur en CO2 de puis 1958 à Hawaï suffit à mon avis à falsifier au sens de Popper la théorie de l’effet radiatif du CO2.
Cela tend à confirmer le 2ème principe de la thermo.: On ne peut réchauffer un corps par l’irradiation d’un corps plus froid que lui.
Les mesures de températures à partir des glaces enregistrent en réalité les isotopes de l’oxygène traduisant la saisonnalité de la précipitation neigeuse. Rien à voir avec une quelconque température moyenne de la planète.
Poubelle +poubelle =……..

15.  Christial | 11/10/2016 @ 11:41 Répondre à ce commentaire

Des modèles incapables de reproduire le passé sans « réglages » ( tout est dans le choix des mots ! ) , dont les prévisions ne correspondent pas aux observations, j’ai vu mieux en matière de preuve.

16.  the fritz le testut | 11/10/2016 @ 13:10 Répondre à ce commentaire

Monmon (#14),
Si vous en venez là, c’est pas la peine de remonter jusqu’en 1958 à Hawaï; tous les hivers , la température baisse et le taux de CO2 monte CQFD

17.  scaletrans | 11/10/2016 @ 16:59 Répondre à ce commentaire

the fritz le testut (#16),

Oui, mais on vous répondra avec raison qu’il y a une variable= l’ensoleillement.

18.  Araucan | 10/11/2016 @ 0:19 Répondre à ce commentaire

Bon, on vient de vivre le fait que le réglage des modèles ne fonctionne pas : les sondages reposant sur des modèles (du vote en fonction de la situation sociale ) se sont plantés dans les grandes largeurs ! La reproduction du passé ne permet pas de prévoir l’avenir ! 😃

19.  Nicias | 10/11/2016 @ 7:28 Répondre à ce commentaire

Araucan (#18),

Personnellement, j’aime bien les modèles. Mais ils ont des biais dont il faut tenir compte, genre vote honteux pour Lepen. Je n’ai pas été surpris !

20.  the fritz le testut | 10/11/2016 @ 9:41 Répondre à ce commentaire

Nicias (#19),

j’aime bien les modèles

Moi aussi , surtout les top modèles
https://www.google.fr/search?q=top+modele&biw=1600&bih=754&tbm=isch&tbo=u&source=univ&sa=X&ved=0ahUKEwjIwrib5Z3QAhUJORoKHeYYD2wQ7AkITw

21.  Araucan | 10/11/2016 @ 22:29 Répondre à ce commentaire

Nicias (#19), Moi aussi, mais encore faut-il qu’ils tiennent la route !

22.  Christial | 11/11/2016 @ 7:56 Répondre à ce commentaire

the fritz le testut (#20),
Moi aussi, surtout celles aux courbes naturelles, sans tuning.
C’est mon côté écolo.