ChatGPT et les sciences historiques à l’Université : analyse et potentiel didactique

Par Émile Caron, candidat à la maîtrise en Études classiques (M.A.) au Centre d’Études classiques de l’Université de Montréal* et Béatrice Couture, candidate à la maîtrise en histoire au Département d’Histoire et au Centre d’Études médiévales de l’Université de Montréal**

ChatGPT : une discussion avec la communauté historienne

Lorsque nous avons demandé directement à ChatGPT comment il peut contribuer aux travaux des chercheur.se.s et des professeur.e.s en histoire, l’outil a énuméré nombre d’idées intéressantes à la fois pour l’enseignement et la recherche. Sa réponse permet d’aborder plusieurs enjeux d’actualité qui touchent à la fois les pratiques des historien.ne.s à notre époque et les enjeux plus larges de la recherche en milieu académique. Cette réponse indique d’ailleurs la volonté des concepteur.rice.s à faciliter le travail des chercheur.se.s et que, loin de nuire à ceux-ci et aux pédagogues, ChatGPT offre une multitude de nouvelles possibilités. En premier lieu, (1) ChatGPT semble pouvoir nous venir en aide en fournissant des informations générales et des définitions concernant des évènements historiques, des personnages et des lieux. En second lieu, (2) ChatGPT énonce être capable de répondre à des questions spécifiques sur des évènements historiques, notamment par rapport aux causes, aux conséquences et aux personnages historiques clés. En troisième lieu, (3) ChatGPT offre des suggestions de lecture et des ressources sur des sujets particuliers. En quatrième lieu, (4) ChatGPT se dit capable de fournir des chronologies historiques et des résumés pour aider des étudiant.e.s à mieux comprendre des événements historiques complexes. En dernier lieu, (5) ChatGPT indique qu’il peut aider à rédiger des dissertations historiques en proposant une organisation des idées. Dans cette même réponse, ChatGPT indique toutefois que l’information doit toujours être vérifiée à partir de sources externes et fiables.

L’information qui nous est donnée ici ne peut être à proprement dire référencée selon les usages académiques et les capacités que ChatGPT promet ne peuvent être vérifiées que de manière manuelle. Nous sommes donc devant un outil qui offre des possibilités, mais qui a encore à faire ses preuves. De plus, le contenu créé par cet outil n’est pas régi par les droits d’auteur.rice.s, ce qui représente également un défi pour les universitaires qui accordent beaucoup d’importance aux questions de propriété et de responsabilité intellectuelles¹.

Rapidement, les options qu’offre ChatGPT pour accomplir le travail historique peuvent paraître quelque peu réductrices. Nous sommes tout de même intéressé.e.s à présenter cet outil de manière critique afin d’évaluer les réelles retombées qu’il peut produire, et ce, sur les plans de la didactique et de la recherche. Toutefois, avant d’entreprendre cette analyse, il nous apparaît primordial de saisir le fonctionnement de ChatGPT en tant que large language model (LLM). Soulignons également que cette réflexion fut produite au moment où l’activité médiatique et scientifique concernant les intelligences artificielles (IA) était à son comble, en réaction à l’annonce du 7 février 2023 de la décision de Microsoft d’intégrer ChatGPT à son moteur de recherche Bing, rendant par le fait même l’utilisation de ce type de technologie davantage inévitable².

Derrière ChatGPT et les larges languages models (LLM)

ChatGPT représente la dernière innovation publique en matière de machine learning, et, plus spécifiquement, en matière de deep learning. Construit à partir de systèmes neuronaux Transformer, ChatGPT est une nette amélioration au GPT2 qui jusque alors était le LLM le plus puissant. Bien qu’extrêmement performante, ce genre de technologie présente des problèmes importants au niveau des coûts et des enjeux environnementaux. En fait, les serveurs nécessaires pour stocker les données pour leur entraînement et pour la génération de réponse, demandent des ressources immenses, ce qui explique pourquoi la compagnie derrière ChatGPT, OpenAI, a déjà annoncé que la prochaine version serait sans doute payante³.

Il est toutefois normal qu’une telle quantité de ressources soient nécessaires pour que ChatGPT fonctionne : en plus de stocker plusieurs téraoctets de données parmi lesquels le modèle crée un processus langagier, il parvient à un raisonnement « intellectuel » en utilisant des prédictions statistiques. Les études les plus récentes sur ChatGPT⁴ tendent à démontrer que les réponses fournies par l’outil constituent une preuve non seulement d’une analyse critique des faits, mais véritablement d’une conceptualisation réelle sous forme d’articulation soutenue. De plus, l’utilisation d’un modèle conversationnel « d’apprentissage renforcé par l’humain (RLHF) » a permis la modulation et l’automodération des réponses par l’AI⁵. Pour cette raison, des membres de la communauté scientifique ont été nombreux à exprimer leurs inquiétudes quant à la portée et l’utilisation de ChatGPT dans le milieu universitaire, notamment en ce qui concerne la réalisation d’évaluations en dehors de la salle de classe⁶.

Bien que nous partagions certaines de ces préoccupations, nous croyons que l’évaluation de la qualité de ChatGPT ne peut se faire que sur les seules réponses produites, mais davantage sur le jeu de données qui a permis l’entraînement de ce modèle. Toutefois, ici nous n’avons que très peu d’informations : OpenAI, la compagne derrière ChatGPT n’a pas rendu publiques ses données et affirme tout simplement que celles-ci sont composées de plusieurs téraoctets contenant des milliards de mots issus de textes produits avant 2021 et provenant d’Internet, mais également de livres et d’articles scientifiques. Cela représente un problème de taille pour l’évaluation des performances puisque nous ne pouvons d’aucune manière nous assurer de la qualité des jeux de données. De plus, les réponses de ChatGPT ne pourront prendre en compte ni des recherches produites depuis 2021 — et qui pourtant foisonnent dans tous les domaines, notamment au niveau des études queers ou marginales — ni celles qui se cachent derrière des murs payants (paywall)⁷. Cet élément est sans doute le plus important pour saisir l’applicabilité de ChatGPT dans la recherche universitaire, puisque les diverses publications scientifiques ne sont que trop rarement en OpenAccess et que les recherches les plus à jour ne sont donc pas seulement difficiles d’accès pour le public, mais également à des outils numériques qui modifieront certainement notre approche à la recherche en contexte universitaire. Afin de maximiser la rigueur scientifique et digitale, nous en appelons à une plus grande transparence face aux jeux de données pour les LLM, mais également à un décloisonnement de la recherche souvent cachée derrière ces fameux murs payants (paywall).

Pour en revenir au fonctionnement de ChatGPT, il faut également saisir qu’il s’agit de modèles probabilistes, c’est-à-dire qu’ils utilisent leurs réseaux neuronaux entraînés sur des données textes pour assigner des séquences possibles de mots inclus dans leurs jeux de données. Les réponses données par ChatGPT sont donc basées sur des analyses statistiques de probabilité en même temps que sur l’architecture de leurs réseaux neuronaux et leur training process qui sont, quant à eux, davantage influencés par les interactions entre l’humain et l’intelligence artificielle. Nous sommes donc, encore une fois ici, confrontés à la question des biais derrière le développement de la connaissance, connaissance qui peut d’emblée paraître neutre.

Analyser une réponse de ChatGPT

Comme nous l’avons affirmé, nous serions plus qu’intéressé.e à avoir accès aux jeux de données, à l’architecture et aux training process de ChatGPT, et de ses successeurs, pour évaluer les biais qu’il présente ainsi que ses faiblesses. Toutefois, à défaut de disposer de telles informations, nous souhaitons analyser quelques réponses produites par ChatGPT. En démontrant une pensée critique à l’intérieur de ses réponses et en nous appuyant sur des faits dans une excellente structure langagière, nous sommes forcés d’admettre que l’intelligence artificielle offre des réponses presque parfaites sur des sujets généraux⁸. Toutefois, lorsque nous nous intéressons à des questions plus précises, des erreurs commencent à être discernables.

Le meilleur exemple de ce phénomène est dans la troisième capacité dont se targue ChatGPT : la production de listes de références sur un sujet. En fait, en réalisant plusieurs tests, nous avons réalisé que le LLM invente des auteur.rice.s, des articles et même des livres. Ainsi, lorsque ChatGPT ne sait quoi répondre, il crée une référence bibliographique en se basant sur des analyses probabilistes. Toutefois, lorsque nous le confrontons sur les informations fournies, ChatGPT remet en doute ses propres réponses. La même question, mais cette fois-ci sur un sujet beaucoup plus large, ne suscitera pas ce genre de problèmes puisque le jeu de données offre ici des informations pertinentes, mais qui datent d’avant 2021 et qui sont en OpenAccess. Cet élément est donc un rappel que les LLM ne fonctionnent pas comme des moteurs de recherche en se basant seulement sur des occurrences, mais qu’ils cherchent à composer des réponses dans les limites de leur entraînement et de leur architecture. Il s’agit encore d’un élément démontrant la pertinence de l’esprit critique du chercheur.se dans le processus de recherche.

Les potentiels de ChatGPT dans l’enseignement supérieur

Potentiel didactique

Comme nous venons de le démontrer, ChatGPT présente certaines limites concernant la qualité de l’information fournie lorsque nous nous intéressons à des sujets trop précis ou lorsque nous cherchons à avoir accès aux travaux les plus récents. Toutefois, cela ne limite en rien l’utilisation didactique potentielle qu’offre ChatGPT. Un guide de neuf pages produit par Andrew Herft présente différentes manières dont ChatGPT pourrait contribuer à l’enseignement⁹. Au cœur de son guide, un apprentissage autonome et critique où les élèves et les étudiant.e.s seraient amenés à discuter avec l’outil. D’autres approches sont proposées par plusieurs pédagogues qui voient l’utilisation de ChatGPT comme un moyen nouveau d’interroger les capacités des étudiant.es et de développer la pensée critique, telle qu’elle est théorisée par Francois Audigier¹⁰. Les critiques formulées actuellement à l’égard de l’IA par des professeur.e.s et des enseignant.e.s témoignent, à notre sens, souvent de la difficulté d’imaginer toutes les utilisations potentielles de ce qui après tout reste un outil. Nous sommes d’ailleurs convaincu.e.s que ChatGpt pourrait entre autres servir à renforcer l’esprit critique, à évaluer de l’information et à défendre des points de vue différents sous forme d’argumentation. Une chose demeure, malgré la réticence de certain.e.s professeur.e.s et enseignant.e.s, ChatGPT et ses successeurs ne disparaîtront pas de sitôt du milieu scolaire.

Ainsi, si en tant que discipline historique nous souhaitons former une génération qui maîtrise à la fois des éléments factuels (autrement accessibles par des encyclopédies en ligne et même mieux des livres) et l’art de critiquer les récits historiographiques, ChatGPT offre probablement un des outils les plus facilement utilisables en classe pour soumettre à la critiquer les récits prédominants et des biais, à défaut de pouvoir accéder aux informations (souvent très récentes) protégées par des murs payants (paywall). La critique des sources primaires et secondaires, qui représente l’opération la plus importante dans la formation historienne, n’est donc, à ce jour, que très limitée en termes de qualité par ChatGPT. Évaluer une réponse fournie par ChatGPT devient donc une manière d’exercer nos esprits, et ce, autant en tant qu’étudiant.e que professeur.e.

Bien sûr de nombreuses autres possibilités d’apprentissage à l’aide de ChatGPT sont offertes et, au lieu de considérer cet outil comme une menace, mieux vaut saisir son plein potentiel et faire preuve d’imagination¹¹. Après tout, il y a à peine 15 ans, l’utilisation de Wikipedia était fortement décriée par les pédagogues et aujourd’hui, à l’intérieur de plusieurs séminaires, les étudiant.e.s sont encouragés à participer à la rédaction d’articles pour l’encyclopédie libre. Finalement, il va sans dire que l’interdiction de ressources telles que ChatGPT ne produira qu’un effet de contrepoids où les étudiant.e.s seront amenés à l’utiliser de manière clandestine et nous passerons collectivement à côté d’une occasion d’imagination pédagogique.

Potentiel pour les chercheur.se.s

Si ChatGPT offre un potentiel important à des fins pédagogiques, il offre également un potentiel tout aussi important pour les chercheur.s.e.s. L’une des manières dont ChatGPT peut favoriser ce travail est en rédigeant de courts textes tels que des courriels ou — selon ce qui est annoncé par Microsoft — en remplissant des formulaires PDF. ChatGPT pourrait alors servir comme un assistant personnel, réduisant considérablement le temps d’investissement administratif des chercheur.se.s, leur permettant ainsi de se concentrer sur les tâches qui nous importent davantage : la recherche et l’enseignement.

Dans un autre ordre d’idées, ChatGPT peut également servir de miroir réflectif. Pour plusieurs chercheur.se.s, notamment aux cycles supérieurs, il peut parfois être difficile de croiser des concepts ou de développer une pensée réflexive affinée dès un premier essai lorsque l’on développe un nouveau projet de recherche. ChatGPT offre alors un outil de discussion où l’intelligence artificielle peut offrir des réflexions qui n’auraient pu paraître si évidentes pour celleux qui se lancent dans un sujet de recherche aux études supérieures.

En tant que respectivement classiciste et médiéviste, nous sommes d’avis que l’apport de ChatGPT le plus important pour nos disciplines est d’offrir des traductions d’une qualité impressionnante pour diverses langues modernes et anciennes. Sans affirmer que la connaissance de celles-ci n’est pas nécessaire pour une compréhension aigüe d’un texte, cette fonctionnalité permet d’avoir un accès rapide à des textes souvent sans traduction pour des étudiant.e.s et des chercheur.se.s. Ainsi, grâce à des outils comme ChatGPT, des pans historiographiques pourraient être mieux appréhendés par des non-locuteur.rice.s. Dans une dynamique où de plus en plus d’établissements universitaires retirent l’apprentissage des langues anciennes et modernes des programmes d’études spécialisés (Études classiques, Études anciennes, Études médiévales, Études allemandes, Études hispaniques, etc.), ChatGPT assure un dynamisme dans les traductions. De plus, l’IA permet de garder vivant le réflexe de douter des traductions canoniques, sans pour autant qu’une connaissance approfondie de la langue soit nécessaire. Au risque de nous répéter, ce comportement ne peut qu’être rendu possible que si la future génération de chercheur.se.s est sensibilisée à l’utilisation des IA. Or, la meilleure sensibilisation se réalise souvent par une pratique raisonnée et encadrée de l’objet.

Conclusion

Pour la politicologue et philosophe allemande Hannah Arendt, il est primordial que l’éducation soit éloignée du maximum d’influences possible. ChatGPT, représente donc une menace ; celle d’une nouvelle autorité non conforme et échappant à tout contrôle d’un point de vue didactique¹². Cela dit, nous pensons — pour le moment, en considérant la forme actuelle de ChatGPT — que d’autres menaces pesant sur l’Université sont plus importantes. Évoquons entre autres l’intervention de plus en plus importante de l’État au sein des établissements universitaires, comme en témoigne la lettre envoyée par la nouvelle ministre de l’Enseignement supérieur Pascale Déry en matière de liberté universitaire¹³. En vertu de ce que nous avons énoncé ci-haut, nous pensons que la meilleure façon de gérer l’arrivée des IA dans le monde universitaire est de débuter le plus rapidement possible l’enseignement — à la communauté étudiante comme aux membres du personnel — de l’utilisation éthique et responsable de ce genre d’outil à travers une pratique encadrée et non tout simplement un interdit. Par ces actions, nous assurerons la pérennité de la qualité de la recherche pour les générations futures en plus de réduire les tentations liées à une utilisation malsaine de ChatGPT et de toutes les autres IA qui verront le jour dans les prochaines années.

* Émile Caron est candidat à la maîtrise en Études classiques (M.A.) au Centre d’Études classiques de l’Université de Montréalen plus d’effectuer des études supérieures et de la recherche à la Chaire de Recherche du Canada en Écritures numériques. En préparation d’un doctorat sur l’utilisation des sources primaires dans l’enseignement de l’Antiquité au niveau secondaire, Émile Caron travaille au laboratoire de recherche en didactique de l’Histoire du Dr Marc-André Éthier à la Faculté des Sciences de l’Éducation de l’Université de Montréal.

**Béatrice Couture est candidate à la maîtrise en histoire au Département d’Histoire et au Centre d’Études médiévales de l’Université de Montréal. Ses intérêts de recherche portent sur la notion de communauté au Moyen-Âge. Béatrice Couture accumule de l’expérience en recherche sur la création de modèles HTR (Handwritten text recognition) propre à une utilisation en contexte d’analyse de sources paléographiques.

---

Arendt, Hannah. La crise de la culture: huit exercices de pensée politique. Folio/essais 113. Paris: Gallimard, 2013.

Audigier, François. « L’esprit critique et l’enseignement de l’histoire : quelles pratiques pour quelles fins ? » In Pensée critique, enseignement de l’histoire et de la citoyenneté, 27-40. Perspectives en éducation et formation. Louvain-la-Neuve: De Boeck Supérieur, 2018. https://doi.org/10.3917/dbu.ethie.2018.01.0027.

Déry, Pascale. « Lettre envoyée au dirigeant d’établissement universitaires du Québec. » Tweet. Twitter, 17 janvier 2023. https://twitter.com/PascaleDery/status/1615414884862423041.

Fortier, Marco. « Intelligence artificielle, malaise réel dans les cégeps ». Le Devoir. 8 février 2023. https://www.ledevoir.com/societe/education/780893/enseignement-collegial-intelligence-artificielle-malaise-reel-dans-les-cegeps.

Herf, Andrew. « A Teacher’s Prompt Guide to ChatGPT aligned with “What Works Best” », 2023. https://drive.google.com/file/d/15qAxnUzOwAPwHzoaKBJd8FAgiOZYcIxq/view?usp=share_link&usp=embed_facebook.

Langlais, Pierre-Carl. « ChatGPT?: comment ça marche?? ». Sciences communes, 7 février 2023. https://scoms.hypotheses.org/1059.

Mehdi, Yusuf. « Reinventing Search with a New AI-Powered Microsoft Bing and Edge, Your Copilot for the Web ». 7 février 2023. https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/.

Metz, Cade. « OpenAI to Offer New Version of ChatGPT for a $20 Monthly Fee ». The New York Times, 1 février 2023. https://www.nytimes.com/2023/02/01/technology/openai-chatgpt-plus-subscription.html.

Mitchell, Elise A. « Serie de Tweet au sujet de “Paywall” et de l’impact sur la relation entre ChatGPT et les études sur les minorités ». Twitter, 31 janvier 2023. https://twitter.com/byeliseam/status/1620442990706843650.

Southworth, James. « Rédaction universitaire?: repenser les pratiques pédagogiques à l’ère de ChatGPT ». Affaires universitaires, 3 février 2023. https://www.affairesuniversitaires.ca/opinion/a-mon-avis/redaction-universitaire-repenser-les-pratiques-pedagogiques-a-lere-de-chatgpt/.

Stokel-Walker, Chris. « ChatGPT Listed as Author on Research Papers: Many Scientists Disapprove ». Nature 613, n^o 7945 (18 janvier 2023): 620-21. https://doi.org/10.1038/d41586-023-00107-z.

---

1 Chris Stokel-Walker, « ChatGPT Listed as Author on Research Papers: Many Scientists Disapprove », Nature 613, n^o 7945 (18 janvier 2023): 620 21, https://doi.org/10.1038/d41586-023-00107-z.

2 Yusuf Mehdi, « Reinventing Search with a New AI-Powered Microsoft Bing and Edge, Your Copilot for the Web », 7 février 2023, https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/.

3 Cade Metz, « OpenAI to Offer New Version of ChatGPT for a $20 Monthly Fee », The New York Times, 1 février 2023, https://www.nytimes.com/2023/02/01/technology/openai-chatgpt-plus-subscription.html.

4 Teo Susnjak, « ChatGPT: The End of Online Exam Integrity? » (arXiv, 19 décembre 2022), http://arxiv.org/abs/2212.09292.

5 Pierre-Carl Langlais, « ChatGPT?: comment ça marche?? », Billet, Sciences communes (blog), 7 février 2023, https://scoms.hypotheses.org/1059.

6 Teo Susnjak, « ChatGPT: The End of Online Exam Integrity? » (arXiv, 19 décembre 2022), http://arxiv.org/abs/2212.09292.

7 Elise A. Mitchell, « Serie de Tweet au sujet de “Paywall” et de l’impact sur la relation entre ChatGPT et les études sur les minorités. », Tweet, Twitter, 31 janvier 2023, https://twitter.com/byeliseam/status/1620442990706843650.

8 Teo Susnjak, « ChatGPT: The End of Online Exam Integrity? » (arXiv, 19 décembre 2022), http://arxiv.org/abs/2212.09292.

9 Andrew Herf, « A Teacher’s Prompt Guide to ChatGPT aligned with “What Works Best” », 2023, https://drive.google.com/file/d/15qAxnUzOwAPwHzoaKBJd8FAgiOZYcIxq/view?usp=share_link&usp=embed_facebook.

10 François Audigier, « L’esprit critique et l’enseignement de l’histoire : quelles pratiques pour quelles fins ? », in Pensée critique, enseignement de l’histoire et de la citoyenneté, (Louvain-la-Neuve: De Boeck Supérieur, 2018), 27 40, https://doi.org/10.3917/dbu.ethie.2018.01.0027.

11 Marco Fortier, « Intelligence artificielle, malaise réel dans les cégeps », Le Devoir, 8 février 2023, https://www.ledevoir.com/societe/education/780893/enseignement-collegial-intelligence-artificielle-malaise-reel-dans-les-cegeps.

12 Hannah Arendt, La crise de la culture : huit exercices de pensée politique, Folio/essais 113 (Paris: Gallimard, 2013).

13 Pascale Déry, « Lettre envoyée au dirigeant d’établissement universitaires du Québec. », Tweet, Twitter, 17 janvier 2023, https://twitter.com/PascaleDery/status/1615414884862423041.