IFT 1410 - IA Générative appliquée
Rapport de projet
par Benoît Larivière (Matricule 20190694)
Résumé
Ce projet consiste à configurer un modèle GPT personnalisé en s'appuyant sur un Mood board représentant une personne précise. Ce modèle a pour objectif d’assister cette personne dans la rédaction d’articles de blog, en adoptant une approche créative et alignée avec sa personnalité. Pour renforcer cette dimension humaine et inspirée, des techniques de génération d’idées sont mises en œuvre afin de simuler une créativité authentique et personnalisée.
Chacun des trois articles générés est comparé à une autre version générée avec les mêmes prompts mais sans Mood board afin d'évaluer les performances de cette approche.
Trois types de mesures qualitatives ont montré que l'utilisation du Mood board permet une plus grande originalité, une meilleure personnalisation et une artificialité réduite.
Artéfacts AVEC Mood board:
📖 Articles générés par le GPT "Rédaction créative et personnalisée" (Série A)
Note: cette couleur d'arrière-plan bleu pâle est utilisée pour identifier les éléments d'information qui s'appliquent à la génération d'article AVEC Mood board.
Artéfacts SANS Mood board (pour fins de comparaison):
📖 Articles générés par le GPT "Rédaction générique" (Série B)
Note: cette couleur d'arrière-plan orange pâle est utilisée pour identifier les éléments d'information qui s'appliquent à la génération d'article SANS Mood board.
La genèse de ce projet repose sur mon désir de valoriser mon expertise en ergonomie cognitive et à la faire connaître auprès du public et de potentiels employeurs. Bien que l’expérience utilisateur (UX) suscite un intérêt croissant, elle est souvent abordée sans réelle compréhension des fondements scientifiques issus de la psychologie cognitive. L’ergonomie cognitive est la science dont l'objectif est d'adapter le travail aux humains ("Cognitive Ergonomics", 2025). Si nous désirons vraiment produire des logiciels adaptés aux besoins des utilisateurs, je soutiens que l'ergonomie cognitive mérite une place plus centrale dans le développement logiciel et la conception des interfaces.
Après 32 années d’expérience dans diverses équipes de conception, j’ai identifié des obstacles récurrents à l’intégration du processus de conception centrée sur l’humain (HCD, ISO 9241-210:2010), socle des approches de l'ergonomie cognitive ("Human-centered Design", 2025).
L’enjeu n’est pas de trouver des sujets d’articles — les problématiques sont nombreuses — mais de rédiger des textes clairs, engageants et cohérents. Ne me considérant pas comme un auteur, je peine à démarrer seul un tel projet.
Les trois problématiques que j'ai retenues pour ce projet sont les suivantes. À noter que ces énoncés correspondent aux invites pour les sujets qui seront utilisés pour rédiger les articles.
Il est fréquent que des concepteurs d'interfaces utilisent des maquettes non interactives pour discuter avec des gestionnaires, des programmeurs ou des clients à propos des l'interfaces. Or, certains pensent que cette activité constitue une validation mais ce n'est pas le cas.
Dans une entreprise de développement de logiciels, la plupart conviendront que l'activité centrale est celle de la programmation. La plus grosse enveloppe salariale est celle de l'équipe des programmeurs. Le processus autour duquel s'articulent les activités de l'organisation est celui du développement (souvent "Agile") du logiciel. Je vais aller contre ce courant de pensée en soutenant que l'activité centrale devrait être celle de la conception de l'interface et que l'organisation devrait articuler ses activités autour du processus de conception centré sur l'humain.
En conception d'interfaces humain-ordinateur, il est important de concevoir les interfaces pour que les utilisateurs puissent naviguer partout sans se sentir perdu. Ils doivent aussi pouvoir essayer les commandes sans avoir peur qu'une conséquence négative se produise telle que perdre ses données.
Voyons comment l'IA pourrait faciliter cet exercice de rédaction.
L’IA intervient à trois niveaux dans ce projet :
Rédiger un article structuré à partir d'un titre, une description du sujet et des sections souhaitées;
Ajouter une touche créative et engageante en établissant des liens pertinents avec des thèmes chers à l'utilisateur;
Humaniser le texte en tenant compte de la personnalité et des expériences vécues de l’utilisateur.
L'intégration d'un Mood board dans un GPT personnalisé permettra de réaliser ces deux derniers points. Le modèle pourra puiser dans mes connaissances, mes expériences, mes intérêts, mes opinions et mes valeurs pour orienter la rédaction de l'article de manière originale à l'aide de techniques de génération d'idées.
Par la suite, il sera possible d'évaluer si cette méthode produit des textes avec une plus grande originalité, une meilleure personnalisation et une artificialité moindre.
Ce que devra démontrer ce projet se décline en 2 volets:
Produire des liens originaux entre le sujet de l'article et les éléments du Mood board. Il s'agit du volet "créativité" réalisé à l'aide des techniques de génération d'idées.
Orienter la rédaction du texte selon le vécu de l'utilisateur. Il s'agit du volet "personnalisation" amené aussi par le Mood board à travers des traits de personnalité inférés par le modèle.
Ces deux volets seront évalués en comparant les textes générés avec et sans Mood board de trois manières différentes:
J'évaluerai les textes moi-même selon trois axes: originalité, personnalisation et artificialité.
Je solliciterai les gens de mon entourage pour lire et évaluer les textes. Les questions de sondage chercheront aussi à évaluer les mêmes critères: originalité, personnalisation et artificialité.
Les deux méthodes précédentes ne permettant pas d'évaluer l'artificialité de manière concluante, une troisième méthode a été ajoutée. Des outils de détection d'IA seront utilisés pour apporter un éclairage sur cette caractéristique en particulier.
Les articles chercheront à convaincre le lecteur de l'importance de tester les concepts d'interface avec les utilisateurs avant d'entreprendre une implémentation coûteuse. Donc, la pertinence des arguments et la qualité du texte seront d'une importance capitale. Je vais me concentrer sur l'évaluation de critères qui supportent ces objectifs.
2.2.1 Mon évaluation des textes
Pour chaque article, je vais faire un décompte d'éléments, certes subjectifs, mais qui correspondent bien aux objectifs de ce projet. Les éléments relevés seront catégorisés comme étant "Original", "Personnalisé" ou "Artificiel" selon ces conditions:
Original: élément intéressant qui ne semble pas provenir du Mood board ou des consignes de rédaction.
Personnel: élément dans lequel je m'identifie et qui semble provenir du Mood board ou des consignes de rédaction.
Artificiel: élément qui semble étrange ou qui "sonne faux".
Une comparaison du nombre d'éléments relevés dans les articles avec et sans Mood board permettra de voir ci celui-ci exerce une influence sur ces trois critères.
2.2.2 Évaluation des textes par des gens de mes réseaux sociaux
Une invitation à lire et évaluer les six textes sera envoyée à mes contacts sur les plateformes Facebook et LinkedIn. J'ai choisi d'utiliser des échelles de Likert en 7 points pour les quatre questions qui suivent:
Je pense que cet article a été écrit par un humain.
Complètement en désaccord 1 2 3 4 5 6 7 Complètement en accord
(Cette question tente d'évaluer l'artificialité.)
Quel est le degré d'originalité du texte?
Pas original du tout 1 2 3 4 5 6 7 Originalité exceptionnelle
(Cette question tente d'évaluer la créativité.)
Je reconnais une touche personnelle dans l'écriture de cet article.
À aucun moment 1 2 3 4 5 6 7 À plusieurs endroits dans le texte
(Cette question tente d'évaluer la personnalisation.)
Quelle est votre appréciation globale du texte?
Très mauvais 1 2 3 4 5 6 7 Exceptionnel
(Cette question a été ajoutée pour tenter d'évaluer l'ensemble des critères.)
Une comparaison des moyennes obtenues pour chacune des questions avec et sans Mood board permettra de voir si celui-ci exerce une influence positive sur les résultats.
2.2.3 Évaluation des probabilités que les articles soient générés par IA selon des outils de détection
J'utiliserai trois outils différents pour obtenir une moyenne de probabilité que les articles soient générés par IA:
J'espère pouvoir qualifier ainsi l'artificialité des articles qui seront générés.
Les livrables intermédiaires suivants ne seront pas évalués en tant que tel:
AVEC Mood board
🗨️ GPT Rédaction créative et personnalisée contient les éléments suivants:
🗒️Instructions de rédaction AVEC Mood board (en format texte).
📊Mood board avec 500 entrées (en format XLSX).
SANS Mood board:
🗨️ GPT Rédaction générique (pour fins de comparaisons) qui contient l'élément suivant:
🗒️Instructions de rédaction SANS Mood board (en format texte).
Les indicateurs précédemment définis à la section 2.2 Indicateurs de performance permettront d'évaluer les livrables finaux suivants:
La section suivante nous amène dans le vif du sujet. Voyons comment utiliser un GPT personnalisé pour réaliser les éléments dont on vient de discuter.
Figure 1: Composantes du GPT personnalisé: LLM, Mood board, instructions, amorces et conversation.
La figure précédente illustre le fonctionnement du GPT personnalisé que je vais détailler dans cette section. Voici un sommaire en cinq points:
1️⃣Le LLM (Large Language Model) est l'élément fondamental du GPT personnalisé.
2️⃣Les instructions donnent des éléments de contexte au GPT principalement pour ces actions:
Guider l'utilisateur dans la conversation pour qu'il fournisse les informations requises.
Réaliser les générations de connaissances.
Rédiger le texte.
3️⃣Les amorces de conversation peuvent servir à l'utilisateur pour "briser la glace".
4️⃣Le fichier Mood board est ajouté aux connaissances du GPT et il est utilisé pour générer deux nouveaux types de connaissances:
Les traits de personnalité de l'utilisateur.
Les idées de liens avec le sujet de l'article.
5️⃣Par leur nature, les GPT personnalisés utilisent le prompting guidé par le modèle pour aider les utilisateurs à tirer pleinement profit des particularités du GPT.
Débutons avec les trois prochaines sous-sections qui vont expliquer comment la créativité peut être activée à l'aide de techniques de génération d'idées et d'une source de données qui caractérise le co-auteur humain.
Parmi les nombreuses définitions de la créativité, j'ai retenu celle de l'Office de la langue française. Elle est une des rares qui mentionne l'idée que des méthodes puissent contribuer à la mise en œuvre d'une créativité qui mène à une innovation:
"Aptitude particulière de l'esprit qui consiste, par des méthodes appropriées, à trouver des idées nouvelles ou des solutions originales qui aboutiront à la mise en œuvre de choix utiles et fiables." (Créativité, 2002)
Cette définition fait écho aux enjeux actuels liés à l’utilisation de l’intelligence artificielle (IA) dans les processus créatifs.
D'une part, l'humain possède les capacités pour rédiger des textes de manière créative mais le travail est long et fastidieux. D'autre part, l'IA peut générer du texte presque instantanément mais la créativité dont elle fait preuve diffère de celle des humains.
"Given that artificial creativity lacks much of what is expressed in human creativity, and it uses wildly different processes, it is most accurate to view the ostensibly creative output of AI as a particular kind of pseudo-creativity." (Runco, 2023)
L'essence de ce projet consiste à déléguer le travail de créativité à l'IA en tentant d'y insuffler une touche de créativité humaine par le biais de l'introduction d'un fichier qui décrit l'utilisateur, le Mood board. Cette technique rejoint celle de (Grennan, C., 2024) qu'il présente ainsi:
"Mimic - Insert a short writing sample before your prompt, then tell ChatGPT to write in your voice."
Il est attendu que davantage de texte conduira à obtenir une voix encore plus proche de la mienne. Il sera intéressant de voir si cela se réalise.
3.3.1 Mon implémentation du Mood board
En 2015, j'ai suivi un cours de "Créativité en science et en génie" à la Polytechnique Montréal. Depuis ce temps, j'utilise une technique de consignation d'idées en prenant des captures d'écrans de toute chose qui m'intéresse, me met en colère, m'étonne ou me fait rire. Toutes ces images s'accumulent dans le "nuage", sur mon "iCloud" et c'est dans le cadre de ce projet que j'en fais bon usage.
Voici quelques exemples d'images:
Figure 2: Les menus de restaurants qui changent constamment offrent une expérience utilisateur médiocre.
Figure 3: C'est triste de voir que l'assassinat d'Alexeï Navalny par le régime de Poutine tombe peu à peu dans l'oubli.
J'ai parcouru ces centaines d'images pour en extraire des descriptions textuelles consignées dans un fichier Excel:
📊Mood board.xlsx : Fichier Excel original
🗒️Mood board.txt : Fichier avec colonnes séparées par tabulations ajouté au GPT personnalisé
Note: Le format xlsx fait en sorte que le GPT s'attend à traiter des données numériques. J'ai utilisé un format texte pour contourner ce comportement du GPT.
Voici quelques exemples d'entrées:
Figure 4 : Mood board - Exemples d'entrées
3.3.2 Utilisation du Mood board
L’idée d’utiliser un Mood board pour représenter une personne s’inspire notamment des travaux en user modeling (User modeling, 2023). Cependant, contrairement à la modélisation classique qui vise à anticiper le comportement d’un utilisateur dans un système interactif, notre objectif est ici de modéliser sa manière de s’exprimer : les propos qu’il pourrait tenir, son ton, son style.
Mes communications écrites portent une touche personnelle distinctive. J’y fais souvent référence à ma famille, à mes chiens ou à des expériences vécues pour introduire un sujet. Cette approche, qui emprunte au storytelling (Rabiger, 2016), me permet de créer un lien authentique avec mes lecteurs.
Avec le Mood board, je souhaite reproduire cette signature personnelle avec l'aide d’un modèle GPT personnalisé. Pour ce faire, j’introduirai des instructions spécifiques et j’utiliserai des techniques de génération d’idées afin de guider le modèle vers une expression plus incarnée et singulière.
Cette démarche s’inscrit dans la logique de la co-création entre humain et intelligence artificielle, telle que décrite dans Co-Creative AI – Introduction (n.d.) et par Davis et al. (2021), où l’utilisateur et le modèle forment une véritable équipe. Kantosalo et al. (2014, p. 1) définissent cette synergie en ces termes :
"We use the term human-computer co-creation to refer to collaborative creativity where both the human and the computer take creative responsibility for the generation of a creative artefact."
L'utilisation d'un GPT personnalisé va permettre un apprentissage en contexte en fournissant à chaque conversation les entrées du Mood board.
Au départ, j’ai pensé extraire, une fois pour toutes, les traits de personnalité à partir du Mood board et les garder dans le GPT comme un fichier de connaissances mais je me suis rappelé que cela ne servirait pas l’objectif de créativité du projet. Le GPT exploite plutôt le concept du perroquet stochastique (Bender et al., 2021) en demandant au modèle de réinterpréter à chaque conversation les traits de personnalité de l’utilisateur. Cela va contribuer à la divergence d’idées.
Au lieu de simplement dire au LLM d'être "créatif", je compte expliciter la manière de réaliser cette créativité. Il s'agit de décortiquer les étapes des techniques de génération d'idées usuelles de manière à exploiter le contenu du Mood board. Cette partie du processus est une génération de connaissances qui serviront à la rédaction.
Voici les instructions données au GPT personnalisé pour chacune des techniques suivies des instructions de consolidation des idées produites: (Somanathan, 2024)
Brainstorming: Parcourez les entrées du « Mood board » à la recherche de 30 liens, associations ou parallèles avec le sujet d’article.
Stimuli aléatoires: Identifiez, au hasard, 50 entrées dans le « Mood board » puis, pour chacune, établissez un lien, une association ou un parallèle avec le sujet d’article.
SCAMPER: Parcourez les entrées du « Mood board » à la recherche de 30 idées intéressantes et cohérentes obtenues en appliquant une substitution, une combinaison, une adaptation, une modification, une proposition, une élimination ou une réorganisation d’éléments afin d’établir un lien, une association ou un parallèle avec le sujet d’article.
Storyboard: Parcourez les entrées du « Mood board » à la recherche de 30 courtes histoires qui établissent un lien, une association ou un parallèle avec le sujet d’article.
Six chapeaux: Parcourez les entrées du Mood board à la recherche de 30 idées intéressantes et cohérentes obtenues en appliquant un point de vue neutre, optimiste, créatif, pessimiste, émotif ou organisé afin d’établir un lien, une association ou un parallèle avec le sujet de l’article.
GPT: Utilisez vos connaissances sur les techniques de génération d’idées pour produire 30 liens, associations ou parallèles entre des entrées du Mood board et le sujet d’article.
Après la génération d’idées, utilisez les traits de personnalité de l'utilisateur pour sélectionner les 20 meilleurs liens qui présentent un équilibre entre innovation et cohérence.
Affichez les idées sélectionnées dans la conversation en mentionnant comment la technique de génération d'idées a été appliquée pour arriver à chacune des idées.
Cette dernière instruction permettra à l'utilisateur de choisir quelles idées il souhaite utiliser et de quelle manière. Celui-ci participera ainsi de manière directe au processus créatif.
Maintenant que sont définis les éléments sur lesquels reposent le volet "créativité" du projet, passons à la sous-section suivante où nous allons les mettre en scène dans la configuration du GPT personnalisé tel qu'illustré à la Figure 1.
3.5.1 Génération de connaissances
Objectif de cette étape
L’objectif ici est d’exploiter le contenu du Mood board comme source active de connaissances (Liu et al., 2022) pour guider le processus de rédaction. Le GPT personnalisé va extraire, interpréter et transformer ces données en idées et en traits de personnalité propres à l’utilisateur.
Étape 1 : Extraction des traits de personnalité
Au début de chaque conversation, le modèle est invité à analyser le Mood board pour en dégager les grands traits de personnalité de l'utilisateur. Il ne s’agit pas simplement de lire une description figée, mais bien de produire une interprétation contextuelle à chaque usage.
Voici des instructions qui réalisent cette génération de connaissances:
Au début de la conversation, analysez le fichier « Mood board » pour en extraire les traits de personnalité de l’utilisateur.
[...]
Plus tard, les traits sont affichés accompagnés d'explications à propos de leurs impacts sur la rédaction.
Étape 2 : Génération d’idées
Une fois les traits extraits, le GPT applique des techniques de génération d’idées sur le contenu du Mood board, pour créer des liens originaux avec le sujet de l’article.
Voici deux exemples d'instructions intégrées dans le GPT personnalisé :
1-Brainstorming : Parcourez les entrées du "Mood board" à la recherche de 30 liens, associations ou parallèles avec le sujet d’article.
2-Stimuli aléatoires : Identifiez, au hasard, 50 entrées dans le "Mood board" puis, pour chacune, établissez un lien, une association ou un parallèle avec le sujet d’article.
[...]
Et, il en va de même pour les autres techniques.
Chaque technique produit des suggestions différentes, que le modèle affiche dans la conversation avec des explications sur leur provenance méthodologique.
Étape 3 : Sélection des meilleures idées
Une fois toutes les idées générées, le GPT sélectionne les 20 plus pertinentes selon un équilibre entre cohérence et originalité. Cette sélection repose sur les traits de personnalité de l'utilisateur extraits plus tôt.
Extrait d’instructions :
3.2.2 Sélection des meilleures idées
Après la génération d’idées, utilisez les traits de personnalité de l'utilisateur pour sélectionner les 20 meilleurs liens qui présentent un équilibre entre innovation et cohérence.
Cette approche garantit que les idées retenues soient alignées non seulement avec le sujet, mais aussi avec l’univers mental et émotionnel de l’utilisateur.
Étape 4: Personnalisation de la rédaction
Finalement, les deux types de connaissances sont utilisées pour orienter la rédaction du texte:
4. Rédaction
[...]
-Utilisez les traits de personnalité de l’utilisateur et les idées sélectionnées pour orienter la rédaction de l’article.
À retenir:
Cette phase de génération de connaissances est une fondation essentielle du projet. Elle permet de :
Personnaliser le contenu à partir du Mood board selon le vécu et les valeurs de l’auteur
Stimuler la créativité du modèle via des techniques concrètes et interprétables
3.5.2 Chaînage de prompts et prompting guidé par le modèle
D'entrée de jeu, on reconnaît un prompting guidé par le modèle (AltexSoft Editorial Team, 2023). En fait, c'est le rôle des instructions de dire au modèle comment guider l'utilisateur pour tirer pleinement profit du GPT personnalisé. On voit dans les conversations que le modèle questionne l'utilisateur afin d'obtenir, un titre, une description du sujet puis des sections.
Les instructions déterminent les spécificités du GPT. Outre les différentes suggestions d'interactions basiques avec l'utilisateur, la séquence des requêtes pour le titre, le sujet et les sections constitue un chaînage de prompts (Prompt Chaining, n.d.) qui aide l'utilisateur à préciser sa pensée quant à ce qu'il souhaite avoir dans l'article final. Par exemple, après l'entrée du titre, le GPT propose une suite et questionne l'utilisateur sur une description plus élaborée du sujet. C'est la même chose après la description du sujet. Le GPT propose des sections que l'utilisateur peut accepter, modifier ou ignorer.
3.5.3 Rédaction
Seulement quelques itérations ont été requises pour améliorer les instructions de rédactions du GPT personnalisé. À ma grande surprise, dès les premiers essais, le contenu obtenu était en phase avec les messages que je souhaite passer. Ce fut mon moment "Wow!" avec l'IA générative.
Parmi les ajustements requis, les plus notables sont les suivants:
À quelques endroits dans le texte généré, des phrases étaient construites comme si l'auteur s'adressait à moi. En effet, établir le rôle que joue le GPT est important. Une nouvelle instruction a permis de corriger ce problème:
Rédigez le texte comme si vous étiez l'utilisateur, par exemple : « Je me souviens d’une interface qui présentait un problème de hiérarchie de l’information. »
Lorsque le modèle utilisait une entrée du Mood board pour la rédaction du texte, une note était ajoutée à cet effet, par exemple: "...(Entrée #45)". L'instruction suivante a corrigé cela:
Ne mentionnez pas les numéros d'entrée du "Mood board" dans le texte.
Dans les premières versions, je n'avais pas de rétroaction sur les mécanismes de génération d'idées et de personnalisation. J'ai ajouté des instructions pour afficher les traits de personnalité et les résultats des générations d'idées. Dans le cadre de ce projet, je n'ai pas affiné les textes générés, mais à l'avenir, je compte utiliser ces résultats de génération d'idées pour les exploiter davantage. Certaines de ces idées sont vraiment très intéressantes et elles méritent que j'y donne suite. Voici les instructions ajoutées:
2.3 Affichage des traits de personnalité
-Affichez les traits de personnalité de l'utilisateur déterminés à partir de l'analyse du fichier "Mood board". (Environ 200 mots)
-Expliquez brièvement comment ces informations seront utilisées, par exemple: "Vos traits de personnalité seront utilisés pour orienter la rédaction du texte et ajouter une touche plus personnelle."
Affichez les idées sélectionnées dans la conversation en mentionnant comment la technique de génération d'idées a été appliquée pour arriver à chacune des idées.
La limite de 8000 caractères impose une parcimonie dans le choix des instructions. Il a fallu faire des ajustements. Parmi eux:
Les exemples Few-shot ont été remplacés par One-shot en gardant d'excellents résultats.
Dans tous les cas, les conversations sont le plus simple possible en ne fournissant que le titre, une description du sujet et les sections.
Les invites sont les mêmes avec ou sans le Mood board pour permettre une comparaison sur les mêmes bases.
Le GPT Rédaction générique est basé sur le GPT Rédaction créative et personnalisée auquel j'ai retiré le fichier Mood board ainsi que toutes les instructions s'y rattachant.
Voici les liens vers les conversations de rédaction avec ChatGPT - GPT 4o :
3.6.1 Conversations AVEC le Mood board
🗨️Discuter n'est pas valider (🗒️3 principaux prompts)
🗨️Conception centrée sur le développement (🗒️3 principaux prompts)
3.6.2 Conversations SANS le Mood board
🗨️Discuter n'est pas valider (🗒️3 principaux prompts)
🗨️Conception centrée sur le développement (🗒️3 principaux prompts)
Maintenant que les moyens de rédaction ont été explicités, voyons dans quelle mesure le Mood board amène une originalité et une couleur qui me représente.
Trois types d'évaluation sont mises en œuvre pour qualifier les avantages de l'utilisation du Mood board.
4.3.1 Mon évaluation des textes
Je reprends ici les critères énoncés précédemment à la section 2.2.1 Mon évaluation des textes pour évaluer moi-même chacun des textes générés.
Lors de la lecture de chaque article, les éléments correspondants aux adjectifs suivants ont été comptabilisés pour arriver aux résultats qui apparaissent plus bas.
Original: Une idée, un bout de phrase ou parfois un seul mot qui témoigne d'une originalité qui ne semble pas provenir directement du Mood board ou des consignes de rédaction.
Personnel: Un élément qui semble provenir du Mood board ou des consignes de rédaction. Il s'agit souvent de quelque chose qui m'est propre.
Artificiel: Un élément étrange ou qui "sonne faux".
Pendant cet exercice, j'ai tenté de rester neutre et ne pas trop réfléchir en qualifiant les éléments du texte d'un des trois attributs.
L'ensemble des résultats est disponible dans la feuille "Attributs" du fichier de résultats:
📊IA Gen - Mood board - Résultats.xlsx / Attributs
L'histogramme qui suit présente les résultats obtenus pour l'ensemble des articles:
Figure 5 : Comparaison des attributs "Original", "Personnel" et "Artificiel" pour l'ensemble des articles générés AVEC et SANS Mood board
Interprétation des résultats:
Les décomptes pour les attributs "Original" et "Personnel" sont significativement plus élevés pour les articles avec Mood board. Il faut toutefois noter que même sans Mood board le modèle a su puiser dans ses connaissances pour aller chercher des arguments pertinents pour appuyer des sujets qui n'étaient pas décrit abondamment dans l'invite.
Somme toutes, j'ai noté très peu d'éléments qui trahissaient la nature artificielle de la rédaction générée par IA. D'ailleurs, plusieurs de ces éléments auraient très bien pus ne pas alerter les lecteurs. Ces résultats ne sont pas significatifs.
4.3.2 Évaluation des textes par des gens de mes réseaux sociaux
Cette fois-ci, ce sont les critères de la section 2.2.2 Évaluation des textes par des gens de mes réseaux sociaux que je reprends pour la suite de l'évaluation.
J'ai affiché le message suivant sur Facebook et un autre similaire sur LinkedIn:
Salut Facebook,
Après une longue pause, je reviens pour te demander un coup de main 🙏
Je mène une étude sur l’intelligence artificielle. En échange de 10 à 30 minutes de lecture, tu gagnes une pause d’actualité et tu m’aides à faire avancer la science.
👉C’est simple :
Clique au hasard sur un des deux liens ci-dessous.
Choisis un des trois articles.
Lis, réponds au mini sondage à la fin, et clique sur "Envoyer".
Tu peux lire les 3 si tu veux pour avoir ma reconnaissance éternelle 😀
Et si tu partages, c’est encore mieux !
📖Articles – Série A: https://www.riverux.com/articles-s%C3%A9rie-a
📖Articles – Série B: https://www.riverux.com/articles-s%C3%A9rie-b
Valide jusqu’au 21 avril (ou épuisement des stocks).
Merci ! 😍
J'ai obtenu 9 évaluations d'article pour la Série - A (AVEC Mood board) et 13 pour la Série - B (sans Mood board). Évidemment, comme pour toute étude, j'aurais aimé avoir plus de résultats mais voyons quand-même ce qu'il en retourne.
Le lien suivant mène aux résultats complets des sondages et aux calculs requis:
📊IA Gen - Mood board - Résultats.xlsx / Sondages
La figure suivante résume les résultats.
Figure 6 : Résultats finaux des sondages
Interprétation des résultats:
Le tableau précédent illustre les échelles de Likert en 7 points pour chacune des questions des sondages.
Les cellules colorées correspondent à l'intervalle où se situe la moyenne des résultats.
Les gros points situent la moyenne dans l'intervalle.
Les barres de chaque côté de la moyenne indiquent 1 écart-type.
On observe un avantage avec le Mood board quant à la moyenne (plus élevée avec Mood board) pour toutes les questions; et aussi quant à l'écart-type (plus faible avec Mood board) pour trois des quatre questions.
Note: Une seule personne a évalué un article comme étant rédigé par l'IA. J'ai su tout récemment que c'était ma fille qui a donné cette réponse. J'ai bien peur que les gens n'aient pas osé donner des réponses trop négatives de peur de me froisser même s'il y avait cette note: "Merci de répondre de manière spontanée, sans vous soucier de heurter l'auteur." et que les sondages étaient anonymes.
4.3.3 Évaluation des probabilités que les articles soient générés par IA selon des outils de détection
Les deux méthodes d'évaluation précédentes n'ayant pas mené à des résultats concluants pour le critère d'artificialité, des outils de détection d'IA ont été utilisés pour tenter de quantifier cet aspect. Les détecteurs utilisés sont les suivants:
Il faut mentionner que les textes ont dû être analysés en deux parties avec Scribbr et en trois parties avec isgen à cause de limitations quant à la longueur des textes permis pour un accès gratuit.
L'ensemble des résultats est disponible dans le fichier suivant:
📊IA Gen - Mood board - Résultats.xlsx / Artificialité
La figure 7, qui suit, montre qu'en moyenne, les articles générés sans Mood board présentent une probabilité deux fois plus grande de génération par IA qu'avec le Mood board, ce qui est quand-même considérable.
Figure 7: Mesure de l'artificialité par outils de détection d'IA
Interprétation des résultats
Voilà une autre mesure qui appuie l'hypothèse que l'utilisation du Mood board mène à des textes qui présentent des caractéristiques plus humaines mais il faut tout de même mettre ces résultats en perspective. Un article de MIT Sloan Teaching & Learning Technologies (2024) annonce clairement ses couleurs: "AI Detectors Don’t Work. [...]".
Je conclue que, sans être déterminants, ces résultats sont intéressants. L'introduction d'éléments issus de la génération d'idées peut avoir changé la rédaction des textes de manière à ce qu'on obtienne ces résultats.
Bien que ce ne soit pas relié directement aux objectifs de ce projet, il est intéressant de noter que je me suis fait prendre par des biais raciaux lors de la génération d’images avec Artspace.ai. Pour les sept images où figurent des êtres humains sur mon site web, toutes représentaient des personnes blanches jusqu’à ce que je m’en aperçoive.
J’ai cessé d’utiliser cette plateforme pour représenter des personnes noires, car les résultats obtenus étaient caricaturaux ou incohérents (visages caucasiens, mélanges de genres). De plus, le prompting itératif ne faisait qu’empirer l’image originale bien que ce soit peut-être dû à mon inexpérience sur cette plateforme ou avec le vocabulaire de prompting pour la génération d'images.
Depuis un récente mise à jour sur ChatGPT, la génération d’images est idéale pour mes besoins. Le prompting itératif fonctionne très bien. J’ai pu corriger deux personnages qui ne se regardaient pas dans les yeux en une seule itération.
Combinons maintenant ces résultats et voyons comment les conclusions influenceront ma démarche de vulgarisation de l'ergonomie cognitive.
Ce projet a permis d’explorer le potentiel d’un GPT personnalisé alimenté par un Mood board pour la rédaction d’articles de blog à la fois originaux et représentatifs de la personnalité de l’utilisateur. En utilisant des techniques structurées de génération d’idées et en intégrant un élément humain dans la démarche de personnalisation, le projet a produit des contenus que j'espère engageants.
Les résultats démontrent que, même sans Mood board, un LLM bien guidé peut générer des textes de qualité. Toutefois, l’ajout du Mood board apporte une touche plus personnelle, une couleur narrative et une cohérence identitaire qui renforcent l’impact du message. Ce supplément d’âme, bien que parfois discret, peut faire la différence dans des contextes où la voix de l’auteur importe tout autant que le contenu.
Enfin, ce projet témoigne de la capacité de l’IA générative à s’inscrire dans une démarche de vulgarisation scientifique, et ouvre la voie à des outils d’aide à la rédaction qui ne se contentent pas de produire du texte, mais qui incarnent réellement la pensée et les valeurs de leur co-auteur humain.
5.2.1 Spécialisation
Un grand bénéfice que je retire de cette expérience est une meilleure compréhension des GPT personnalisés. Pour la suite, je compte ajouter d'autres documents, en plus du Mood board, tels que des consignes de conception que j'ai rédigées par le passé dans le cadre d'un de mes emplois. Je pense aussi à des travaux que j'ai faits tel qu'un article de positionnement sur le travail coopératif assisté par ordinateur, une étude sur l'ergonomie prospective et beaucoup d'autres qui, je l'espère, permettront au GPT de reproduire mon style encore plus fidèlement.
Des tests préliminaires me laissent croire que ceci me permettrait de rédiger des articles plus pointus dans le domaine de l'ergonomie cognitive.
5.2.2 Prompting avancé
L'utilisation de techniques avancées de prompting n'était pas le sujet à l'étude mais il sera intéressant de mettre plus d'efforts au moment de l'utilisation du GPT personnalisé. Des techniques comme la chaîne de pensée ou l'arbre de pensée permettraient d'obtenir des textes encore plus près du message que je souhaite communiquer.
Je vois une opportunité d'exploiter davantage les résultats de la génération d'idée. Selon (Zhou et Lee, 2024), "[...] creative individuals are particularly adept at discerning which ideas are most meaningful [...]". Il serait intéressant de s'attarder aux idées produites et demander à l'utilisateur d'identifier les idées les plus intéressantes et de guider le modèle sur la manière d'exploiter ces idées. Cela présente une opportunité d'amélioration importante.
5.2.3 Tests plus élaborés
L'envergure du Mood board
Les contraintes de temps n'ont pas permis de le faire mais, il aurait été intéressant de faire les mêmes générations d'articles mais avec des Mood board réduits. Par-exemple, je ne serais pas surpris qu'un Mood board avec 100 entrées triées sur le volet puisse mener à d'excellents résultats.
Alternative au Mood board
La rédaction manuelle d'un Mood board performant reste un inconvénient de la méthode que j'ai préconisée jusqu'ici. J'ai mis beaucoup de temps à assembler les 500 entrées. Certaines alternatives intéressantes pourraient être évaluées telle qu'un curriculum vitae qui ne couvre toutefois que la vie professionnelle ou les favoris d'un navigateur internet qui peuvent refléter du moins, les intérêts et les habitudes d'une personne.
Simplification de la génération d'idées
Il serait utile de comparer les résultats obtenus avec les différentes techniques de génération d'idées. Après quelques tests seulement, la technique GPT me semble donner des résultats comparables aux autres. Il serait aussi possible d'activer toutes les techniques de génération d'idées et retenir les meilleures. Ne pas avoir à choisir une technique de génération d'idées serait une simplification intéressante.
La majorité des apprentissages réalisés dans le cadre de ce projet ont été mis en œuvre dans un nouveau GPT: "Rédaction personnalisée en ergonomie cognitive".
Les changements sont les suivants:
Sept fichiers ont été ajoutés dans la section Connaissances du GPT. On y retrouve mon curriculum vitae, des travaux scolaires en ergonomie cognitive, et une partie d'un système de design que j'ai réalisé. Pour donner un ordre de grandeur, tous ces documents ajoutent 65000 mots aux 29000 mots du Mood board.
L'utilisateur n'a plus à choisir une technique de génération d'idées. Toutes les techniques sont utilisées. Chacune produit 10 idées pour un total de 60 puis, une sélection réduit le compte à 30 idées qui pourront être utilisées pour la rédaction.
Les instructions ont été modifiées pour inviter l'utilisateur à s'impliquer au niveau de la sélection des idées. Investir des efforts à ce moment a le potentiel d'améliorer grandement l'efficacité des articles.
L'avenir saura dire si cet outil me permettra de réaliser mon plan de séduction visant à convaincre le lecteur de l'importance de tester les concepts d'interface avec les utilisateurs avant d'entreprendre une implémentation coûteuse.
Je suis très optimiste quant à l'idée que cela se réalise.
AltexSoft Editorial Team. (2023, September 13). Prompt Engineering: The Guide to mastering the art of talking to AI. AltexSoft. https://www.altexsoft.com/blog/prompt-engineering/
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623. https://doi.org/10.1145/3442188.3445922
Co-Creative AI - Introduction. (n.d.). https://sites.google.com/view/cocreativeai/introduction
Cognitive Ergonomics. (2025, 26 mars). Dans Wikipedia. https://en.wikipedia.org/wiki/Cognitive_ergonomics
Créativité. (2002). Grand dictionnaire terminologique. https://vitrinelinguistique.oqlf.gouv.qc.ca/fiche-gdt/fiche/8488591/creativite
Davis, N., Popova, Y., Sysoev, I., Hsiao, C.-P., Zhang, D., Brian Magerko, School of Interactive Computing, Georgia Institute of Technology, Department of Cognitive Science, Case Western Reserve University, & College of Architecture, Georgia Institute of Technology. (2021). Building Artistic Computer Colleagues with an Enactive Model of Creativity. https://computationalcreativity.net/iccc2014/wp-content/uploads/2014/06/2.3_Davis.pdf
Grennan, C. (2024). Conor's Five Magic Prompts. LinkedIn. https://www.linkedin.com/posts/conorgrennan_five-of-my-favorite-prompts-were-in-this-activity-7079074115566886912-oWQ7?utm_source=share&utm_medium=member_desktop&rcm=ACoAAADvBu4BIfSiZwbAhxE-ta51Bb221cBi5y4
Human-centered Design. (2025, 28 mars). Dans Wikipedia. https://en.wikipedia.org/wiki/Human-centered_design
ISO 9241-210:2010. (2010). Ergonomie de l'interaction homme-système -- Partie 210: Conception centrée sur l'opérateur humain pour les systèmes interactifs. 36.
Kantosalo, A., Toivanen, J. M., Xiao, P., Toivonen, H., & Department of Computer Science and Helsinki Institute for Information Technology HIIT, University of Helsinki, Finland. (2014). From isolation to involvement: adapting machine creativity software to support Human-Computer Co-Creation. In Department of Computer Science and Helsinki Institute for Information Technology HIIT, University of Helsinki, Finland [Journal-article]. https://computationalcreativity.net/iccc2014/wp-content/uploads/2014/06//1.1_Kantosalo.pdf
Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Le Bras, R., Choi, Y., Paul G. Allen School of Computer Science & Engineering, University of Washington, & Allen Institute for Artificial Intelligence. (2022). Generated knowledge prompting for commonsense reasoning [Journal-article]. arXiv. https://arxiv.org/pdf/2110.08387.pdf
MATHStorya. (2023, 9 mai). How to Interpret the Likert Scale || 5-Point Likert Scale. YouTube. https://www.youtube.com/watch?v=tZyPYpdbInU
MIT Sloan Teaching & Learning Technologies. (2024, November 8). AI Detectors Don’t Work. Here’s What to Do Instead. - MIT Sloan Teaching & Learning Technologies. https://mitsloanedtech.mit.edu/ai/teach/ai-detectors-dont-work/
Nagel, J. (2024, September 18). Standard deviation: Everything you need to know for surveys. LimeSurvey. https://www.limesurvey.org/blog/knowledge/standard-deviation-everything-you-need-to-know-for-surveys
Prompt chaining. (n.d.). Prompt Engineering Guide. https://www.promptingguide.ai/techniques/prompt_chaining
Rabiger, M. (2016). Developing story ideas: The Power and Purpose of Storytelling. Focal Press.
Runco, M. A. (2023). AI can only produce artificial creativity. Journal of Creativity, 33, 100063. https://doi.org/10.1016/j.yjoc.2023.100063
Somanathan, S. (2024, 18 octobre). 12 Techniques de génération d'idées. ClickUp. https://clickup.com/fr-FR/blog/225828/generation-d'idees
User modeling. (2023, 31 décembre). Dans Wikipédia. https://en.wikipedia.org/wiki/User_modeling
Zhou E. et Lee D. (2024). Generative artificial intelligence, human creativity, and art. PNAS Nexus, Volume 3, No 3. https://doi.org/10.1093/pnasnexus/pgae052
Les problématiques à l’origine de ce projet sont les suivantes:
Les gens en développement de logiciel ne connaissent pas l’ergonomie cognitive.
Les organisations articulent leurs activités autour du développement de logiciel.
Les concepts d’interface pourraient être validés à faible coût avant l’implémentation.
Je désire produire des textes originaux et à mon image pour passer ces messages dans des articles de blog.
Un GPT personnalisé est utilisé pour générer des textes qui démontrent une créativité en conservant un ton personnel et engageant.
1️⃣Le LLM (Large Language Model) est l'élément fondamental du GPT personnalisé.
2️⃣Les instructions donnent des éléments de contexte au GPT principalement pour ces actions:
Guider l'utilisateur dans la conversation pour qu'il fournisse les informations requises.
Réaliser les générations de connaissances.
Rédiger le texte.
3️⃣Les amorces de conversation peuvent servir à l'utilisateur pour "briser la glace".
4️⃣Le fichier Mood board est ajouté aux connaissances du GPT et il est utilisé pour générer deux nouveaux types de connaissances:
Les traits de personnalité de l'utilisateur.
Les idées de liens avec le sujet de l'article.
5️⃣Les GPT personnalisés utilisent le prompting guidé par le modèle pour aider les utilisateurs à tirer pleinement profit des particularités du GPT.
1️⃣Les décomptes que j’ai faits pour les attributs "Original" et "Personnel" sont significativement plus élevés pour les articles avec Mood board. Il faut toutefois noter que même sans Mood board le modèle a su puiser dans ses connaissances pour aller chercher des arguments pertinents pour appuyer des sujets qui n'étaient pas décrit abondamment dans l'invite.
2️⃣Avec les résultats des sondages, on observe un avantage avec le Mood board quant à la moyenne (plus élevée avec Mood board) pour toutes les questions; et aussi quant à l'écart-type (plus faible avec Mood board) pour trois des quatre questions.
3️⃣Les résultats avec les détecteurs d’IA appuient aussi l'hypothèse que l'utilisation du Mood board mène à des textes qui présentent des caractéristiques plus humaines.
