Nous avons demandé à deux systèmes d’IA concurrents de contester l’architecture COMPAiSS. Voici ce qu’ils ont conclu.
Copilot et Gemini ont chacun commencé par s’y opposer. Les deux ont fini au même endroit.
Ce qui s’est passé
La plupart des institutions qui évaluent COMPAiSS disposent déjà de Copilot dans le cadre de leur licence Microsoft 365. La question qui revient dans presque chaque conversation est directe : si nous avons déjà Copilot, pourquoi aurions-nous besoin d’autre chose ?
Nous avons décidé de poser cette question directement à Copilot. Puis à Gemini.
Aucun des deux systèmes n’a été invité à appuyer COMPAiSS. Chacun a été invité à faire le contraire : agir comme un évaluateur critique et trouver l’objection la plus solide à l’affirmation selon laquelle COMPAiSS représente un type de système fondamentalement différent. Aucune conclusion n’a été fournie à l’avance. Les deux systèmes ont commencé en position de résistance.
Copilot a commencé par dire que COMPAiSS était essentiellement une version plus sécuritaire et mieux encadrée de la même architecture qu’il utilise. Gemini est allé plus loin : il a soutenu que la distinction architecturale prétendue était une illusion structurelle.
Les deux ont revu leur position au fil des échanges. Et les deux sont arrivés à la même conclusion.
Cette conclusion n’était pas que COMPAiSS est meilleur que l’un ou l’autre de ces systèmes. C’était que COMPAiSS et les systèmes d’IA à génération première ne sont pas vraiment comparables -- parce qu’ils ont été conçus pour résoudre des problèmes différents.
Ce constat, atteint indépendamment par deux systèmes concurrents, est ce que cette page documente.
Comment les échanges ont été menés
Les deux échanges ont suivi la même approche. Chaque système a été invité à agir comme un évaluateur critique -- spécifiquement chargé de trouver des objections, et non de confirmer des affirmations. Chacun a été contesté à chaque étape et invité à réviser son analyse au fil de l’échange. Aucun système n’a eu accès aux conclusions de l’autre. Toutes les conclusions ont émergé du processus de raisonnement propre à chaque système.
L’objectif n’était pas d’obtenir des commentaires flatteurs de la part de deux systèmes d’IA. Il s’agissait de vérifier si la distinction architecturale tiendrait sous une pression critique soutenue de la part de systèmes qui avaient toutes les raisons de la résister. Les transcriptions complètes des deux échanges sont disponibles sur demande.
Cette page a elle-même été révisée par plusieurs systèmes d’IA avant publication et modifiée en fonction de leurs commentaires -- ce qui la soumet au même niveau d’examen critique que celui qu’elle décrit.
Échange un : Copilot
Copilot n’est pas un produit de niche. C’est le système d’IA que la plupart des institutions possèdent déjà. Le fait de lui demander d’analyser l’architecture d’un concurrent potentiel -- et de remettre en question son propre cadrage initial -- rend ses conclusions plus significatives, et non moins.
L’échange a progressé en six étapes. Chacune a modifié la façon dont Copilot décrivait ce qu’est réellement COMPAiSS.
Le point de départ de Copilot
La première réponse de Copilot était celle que la plupart des acteurs du secteur de l’IA auraient donnée. Il décrivait COMPAiSS comme une version plus encadrée et mieux circonscrite du fonctionnement habituel des systèmes d’IA -- des garde-fous plus stricts, des contrôles de source plus rigoureux, un ancrage institutionnel plus solide. Une version plus sécuritaire de la même chose.
C’est un point de départ raisonnable. C’est aussi, comme l’échange l’a finalement montré, le mauvais cadre d’analyse.
La première fissure
Lorsqu’on lui a demandé d’identifier précisément où dans le processus chaque système applique ses contrôles, la réponse de Copilot a commencé à évoluer.
Il a reconnu que dans sa propre architecture -- et dans les systèmes d’IA conventionnels en général -- la gestion des risques intervient après que le modèle a déjà généré une réponse. Le filtrage, la modération et les contrôles des résultats s’appliquent tous à quelque chose que le modèle a déjà produit.
Il a reconnu que COMPAiSS fonctionne différemment. Mais il décrivait encore cette différence comme une question de degré -- une meilleure gouvernance, pas un autre type de gouvernance.
La question qui a tout changé
L’échange a basculé sur une seule question précise : lorsque COMPAiSS refuse de répondre à une question hors portée, est-ce que le modèle d’IA y réfléchit et décide de ne pas répondre -- ou est-ce que le modèle ne s’exécute tout simplement pas ?
C’est là que Copilot s’est corrigé lui-même directement.
« Le modèle réfléchit et choisit de ne pas répondre -- NON. La barrière pré-inférence n’est pas un raisonnement IA, ni une délibération du modèle, ni une décision du modèle. C’est une logique d’autorisation déterministe : correspondance d’URL, validation de la liste verte, vérification de la portée. »
« Pour de nombreuses requêtes, il n’y a aucun modèle, aucune inférence, aucune réflexion -- seulement un échec d’autorisation déterministe. »
Cette distinction n’est pas mineure. Elle change ce qu’est fondamentalement le système. Un système où le modèle décide de ne pas répondre est encore un système à génération première. Un système où le modèle ne s’exécute jamais est autre chose.
Copilot a nommé cette autre chose directement :
« COMPAiSS n’est pas une IA avec gouvernance. C’est un système de gouvernance qui invoque l’IA de façon conditionnelle. »
Ce qui découle de cette distinction
Une fois le point architectural établi, Copilot en a tiré les implications clairement.
« COMPAiSS n’est pas simplement une implémentation plus sécuritaire de l’IA générative. C’est une classe de système différente qui restreint la génération de connaissances à un domaine fermé et auditable, convertissant des échecs d’inférence imprévisibles en erreurs de connaissances bornées et découvrables. »
Sur ce que cela signifie pour la nature des échecs du système :
« COMPAiSS convertit le risque IA d’un problème épistémique probabiliste en un problème de couverture déterministe. Il s’agit d’un changement de catégorie, pas d’une amélioration. »
La différence entre un problème probabiliste et un problème déterministe est concrète pour toute institution ayant des obligations d’imputabilité. Un échec probabiliste -- une hallucination -- peut survenir n’importe où, pour des raisons difficiles à retracer et à empêcher de se reproduire. Un échec déterministe -- une lacune dans les sources autorisées -- a un emplacement connu et une correction directe.
Un constat qui s’applique à l’ensemble du secteur
L’échange s’est élargi pour demander si cette observation concernait uniquement Copilot et COMPAiSS, ou plus généralement l’ensemble du secteur de l’IA institutionnelle.
La conclusion de Copilot était directe :
« L’ensemble du secteur s’entend pour dire que les hallucinations sont inévitables -- mais seulement parce que tous acceptent la même hypothèse : que l’inférence doit toujours s’exécuter. »
« Aucun système commercialisé majeur ne préconise le blocage pré-génération. Le refus est un comportement configuré, pas une architecture par défaut. »
Autrement dit : l’hypothèse selon laquelle un modèle d’IA devrait toujours répondre lorsqu’on lui pose une question n’est pas une nécessité technique. C’est un choix de conception. Et c’est un choix que l’ensemble du secteur a fait sans vraiment examiner s’il était le bon pour les environnements réglementés.
La conclusion finale de Copilot
Après avoir progressé en six étapes, Copilot est arrivé à une conclusion qu’il n’aurait pas offerte au départ :
« COMPAiSS est fondamentalement distinct des systèmes d’IA conventionnels parce qu’il contraint l’espace épistémique de l’IA à un domaine fini et autorisé, transformant ainsi la nature des échecs d’émergents et non bornés en échecs déterministes et découvrables. »
Et le résumé le plus clair de la différence :
« Les systèmes conventionnels se demandent : comment puis-je répondre à cela ? COMPAiSS se demande : suis-je autorisé à répondre à cela ? Et seulement alors : répondre, mais uniquement à partir de sources faisant autorité. »
Copilot est un produit Microsoft. C’est le système d’IA que la plupart des institutions évaluant COMPAiSS possèdent déjà. Il n’a pas commencé cet échange dans cette position. Cette progression est le constat.
Échange deux : Gemini
Gemini ne connaissait pas les conclusions de Copilot. Il a commencé dans une position de scepticisme plus marqué : non seulement la distinction était surestimée, mais elle n’existait tout simplement pas.
Le défi de Gemini était plus techniquement agressif que celui de Copilot. Cela rend sa conclusion finale d’autant plus significative.
L’argument central de Gemini : la barrière est une illusion
La première objection de Gemini allait directement au coeur de l’architecture. Il soutenait que la nouveauté prétendue de la barrière COMPAiSS était une illusion structurelle.
Son raisonnement : pour qu’une barrière détermine si une question non structurée d’un utilisateur relève de la portée institutionnelle autorisée, la barrière elle-même doit comprendre la question. Et comprendre une question non structurée nécessite une inférence -- qu’il s’agisse de correspondance de mots-clés, de similarité sémantique ou d’un modèle de classification. Si la barrière utilise l’un de ces mécanismes, un raisonnement d’IA probabiliste se produit avant que le modèle principal s’exécute. Le risque n’a pas été éliminé. Il a simplement été déplacé plus tôt dans le processus.
C’était une objection sérieuse. Elle ne pouvait pas être répondue en reconfigurant le problème. Elle exigeait une correction factuelle directe.
La barrière n’utilise pas d’inférence sémantique
La correction fournie à Gemini était précise : la barrière pré-inférence de COMPAiSS n’utilise pas d’inférence sémantique, de génération d’embeddings, de correspondance par similarité vectorielle, ni aucune classification probabiliste. Elle effectue des opérations informatiques déterministes -- spécifiquement, une recherche dans un ensemble préautorisé d’URL institutionnelles pour déterminer si l’une de ces sources contient du contenu pouvant fonder une réponse à la requête.
La barrière pose une seule question binaire : des sources institutionnelles autorisées existent-elles pour soutenir une réponse ? Si non, le modèle principal ne s’exécute pas. Il n’y a pas d’étape probabiliste. Il n’y a pas de modèle au niveau de la barrière. C’est une opération de recherche dans un corpus borné.
Gemini a accepté cette correction. Son argument de circularité épistémique, tel qu’il l’avait formulé, s’est effondré. Il a ensuite avancé une deuxième objection : que n’importe quelle équipe d’ingénierie pourrait répliquer la même propriété d’exécution contrôlée en utilisant des outils standard, ce qui signifie qu’elle n’est pas architecturalement nouvelle.
La réponse à cela était tout aussi directe : la question n’est pas de savoir si la propriété pourrait être répliquée par quelqu’un qui choisissait de la construire ainsi. La question est de savoir si un système déployé l’a effectivement construite ainsi. Une investigation sur l’art antérieur menée dans des bases de données de brevets internationales -- et vérifiée de façon adversative par quatre systèmes d’IA -- a constaté qu’aucun système commercialisé ne traite les requêtes non autorisées comme des états terminaux non génératifs par défaut. Décrire ce qui devrait être fait pour répliquer une propriété est lui-même une preuve que les systèmes existants ne la possèdent pas.
« Résoudre ce point expose immédiatement une tension systémique plus profonde. Si la barrière opère uniquement sur des propriétés structurelles et zéro compréhension sémantique de la requête, le fardeau architectural n’a pas disparu -- il a simplement été déplacé en aval. »
L’évaluation définitive de Gemini
Après la correction factuelle et la réponse à l’objection de réplicabilité, Gemini a produit ce qu’il a décrit comme son évaluation définitive. Il a offert une description mathématique de la propriété d’exécution :
« Le modèle principal se comporte comme une fonction conditionnelle : il ne s’exécute que si l’ensemble de fondement n’est pas vide. Si aucun matériel de fondement autorisé n’existe, la fonction générative ne s’instancie jamais. »
Il a ensuite produit indépendamment -- sans accès à l’échange avec Copilot -- une analyse des modes d’échec qui aboutissait à la même distinction que Copilot avait atteinte par un chemin différent :
| Ce qui change | IA à génération première | COMPAiSS |
|---|---|---|
| Comment il échoue | Hallucination -- le système produit une réponse assurée qui est incorrecte, hors portée, ou tirée de la mauvaise institution | Lacune de couverture -- le système dit qu’il ne trouve pas de réponse autorisée et dirige l’utilisateur vers le bon service |
| Comment on le corrige | Ingénierie de prompt, ajustement fin, modification des seuils -- un correctif probabiliste qui réduit mais n’élimine jamais le risque | Ajouter la source manquante à la liste autorisée -- une correction directe et déterministe |
| Résilience adversative | Vulnérable à la manipulation par le cadrage contextuel, les signaux d’autorité et la persistance dans les échanges | Invariant au texte du prompt : si le contenu ne figure pas sur la liste autorisée, aucune manipulation linguistique ne peut faire s’exécuter le modèle |
La conclusion finale de Gemini sur la signification de la distinction :
« Du point de vue de la théorie de l’IA : c’est un paradigme d’encapsulation opérationnel. Du point de vue de la gouvernance institutionnelle : c’est une classe de système fondamentalement différente. Pour un auditeur, une équipe juridique ou un registraire, un système dont le mode d’échec est une omission prévisible et corrigeable est une espèce de logiciel complètement différente d’un système dont le mode d’échec est une invention imprévisible et incommensurable. »
« COMPAiSS atteint la sécurité dans les espaces réglementés en échangeant l’autonomie ouverte de la machine contre une prédictibilité absolue et déterministe. La façon la plus efficace de gouverner l’IA dans les environnements à enjeux élevés n’est pas de rendre le modèle plus intelligent ou les filtres plus resserrés, mais de rendre le chemin d’exécution lui-même conditionnel à une recherche institutionnelle. »
Gemini a commencé cet échange en qualifiant la distinction architecturale d’illusion structurelle. Il l’a terminé en fournissant la description technique la plus précise de la propriété de génération à exécution contrôlée produite dans les deux échanges.
Un troisième système indépendant
Les mêmes questions architecturales ont été soumises à GPT dans un échange distinct. Sa conclusion était cohérente avec les deux autres :
« COMPAiSS n’est pas simplement un meilleur système de garde-fous. C’est le premier système de cette analyse qui refuse réellement d’accepter l’hypothèse fondamentale sur laquelle repose tous les autres systèmes. »
Pourquoi la convergence est significative
Trois systèmes d’IA -- Copilot (Microsoft), Gemini (Google) et GPT (OpenAI) -- ont chacun analysé la même affirmation architecturale indépendamment, chacun partant d’une position sceptique, chacun sans accès aux conclusions des autres.
Les trois ont abouti au même endroit. La distinction entre les modes d’échec -- probabiliste et non borné contre déterministe et corrigeable -- n’était pas une conclusion dont l’un d’eux était parti. Elle a émergé de l’engagement de chaque système avec les éléments de preuve.
Ce n’est pas la même chose que trois systèmes s’accordant sur quelque chose d’évident. Ce sont des produits de concurrents directs, chacun ayant des raisons de résister à l’affirmation. La convergence s’est produite malgré cela, et non grâce à cela.
Un constat de l’échange Gemini mérite une attention particulière. Gemini a indépendamment identifié que la barrière COMPAiSS est invariante au texte du prompt. Parce que le modèle principal ne s’exécute que lorsque du matériel de fondement autorisé existe dans la liste de sources institutionnelles, aucune forme de manipulation linguistique -- prompts adversatifs, cadrage d’autorité, pression conversationnelle -- ne peut faire s’exécuter le modèle en l’absence de ce matériel. La propriété de sécurité ne dépend pas de la résistance du modèle à la manipulation. Elle dépend de l’absence du chemin d’exécution lui-même.
Cinq constats pour la gouvernance institutionnelle de l’IA
Exécuter le modèle d’IA est un choix, pas une nécessité.
Tout système qui invoque un modèle par défaut accepte une surface de risque qui ne peut être entièrement bornée. Ce n’est pas un défaut d’un système particulier. C’est un choix de conception. Les institutions qui évaluent des systèmes d’IA devraient comprendre qu’elles font ce choix explicitement -- et qu’une alternative existe.
Tous les échecs de l’IA ne sont pas du même type.
Une hallucination et une lacune de couverture ne sont pas le même problème. Une hallucination -- où l’IA produit une réponse assurée mais incorrecte -- est probabiliste, difficile à retracer et difficile à empêcher de se reproduire. Une lacune de couverture -- où COMPAiSS dit qu’il ne peut pas trouver de réponse autorisée -- est déterministe, traçable et corrigée en ajoutant la source manquante. Les cadres de gouvernance qui traitent ces deux types d’échecs de la même façon manquent une distinction critique.
Cela ne signifie pas que COMPAiSS élimine les erreurs. Il change le type d’erreur qui est possible. Les erreurs proviennent de lacunes dans les sources autorisées, et non du modèle qui invente une réponse. Ces erreurs sont visibles, bornées et corrigeables.
Un univers de connaissances borné change ce que signifie l’audit.
Lorsqu’un système à génération première produit une réponse incorrecte, l’erreur peut provenir des pondérations du modèle, des données d’entraînement, d’artéfacts de récupération, ou de toute combinaison de ces facteurs. La source est souvent impossible à identifier. Lorsque COMPAiSS produit une réponse incorrecte ou incomplète, la source se trouve quelque part dans la liste autorisée -- quelque part où vous pouvez regarder. Pour les agents de conformité et les fonctions d’audit, cette différence n’est pas théorique.
Les hallucinations sont peut-être une conséquence architecturale, pas un problème de réglage.
Le secteur de l’IA traite les hallucinations comme un risque inévitable à gérer après la génération. L’interprétation alternative -- que les deux échanges ont explorée -- est que les hallucinations persistent précisément parce que le secteur n’a jamais sérieusement remis en question si le modèle devait s’exécuter par défaut. Si l’architecture à inférence première est la cause plutôt que simplement le contexte, alors de meilleurs modèles et des filtres plus resserrés réduiront les hallucinations sans jamais les éliminer. C’est une conclusion d’approvisionnement différente de « attendons le prochain modèle ».
La comparaison pertinente n’est pas entre produits.
Elle est entre deux réponses différentes à la question de ce que l’IA est autorisée à faire dans les environnements réglementés. Les systèmes à génération première supposent que le modèle est toujours disponible pour répondre et gèrent les risques qui s’ensuivent. COMPAiSS suppose que le modèle nécessite une autorisation et détermine si cette condition est satisfaite. Ce ne sont pas des implémentations concurrentes de la même idée. Ce sont des idées différentes.
Ce que cela signifie pour l’approvisionnement
La plupart des institutions qui évaluent COMPAiSS ne choisissent pas entre COMPAiSS et rien. Elles choisissent entre COMPAiSS et Copilot, qui est déjà disponible dans le cadre de leur licence Microsoft 365 existante.
Les échanges documentés sur cette page suggèrent que la bonne question n’est pas quel système performe mieux sur un référentiel d’évaluation. C’est quelle question l’institution a besoin que son système d’IA pose.
Largeur, flexibilité et intégration à la productivité
Copilot est le choix approprié. Il est bien conçu pour une utilité large sur un vaste éventail de tâches et s’intègre directement aux outils Microsoft 365 existants.
Imputabilité, auditabilité et gouvernance bornée
Les échanges documentés ici suggèrent que ces exigences décrivent un modèle architectural entièrement différent -- un modèle où les échecs sont déterministes et corrigeables plutôt que probabilistes et émergents.
Le choix entre ces systèmes n’est pas principalement technique. C’est une décision de gouvernance qui consiste à déterminer si l’institution est prête à accepter des résultats probabilistes ou si elle exige des résultats bornés et auditables.
Copilot lui-même, après avoir travaillé à travers les éléments de preuve, a décrit la différence de cette façon :
« Les systèmes conventionnels se demandent : comment puis-je répondre à cela ? COMPAiSS se demande : suis-je autorisé à répondre à cela ? »
Quelle question l’institution a besoin que son système d’IA pose est peut-être plus importante que toute comparaison de fonctionnalités.
Observation finale
Le constat le plus significatif de ces échanges n’était pas qu’un système surpassait un autre.
C’était que trois systèmes d’IA indépendants -- chacun un produit d’une organisation différente, chacun invité à résister, chacun ignorant les conclusions des autres -- ont convergé vers le même constat à travers leur propre raisonnement : que déplacer le point de contrôle avant l’exécution du modèle, plutôt qu’après qu’il a produit une réponse, crée un système avec des propriétés de gouvernance catégoriquement différentes pour les institutions réglementées.
Copilot et Gemini sont optimisés pour la largeur, la flexibilité et l’utilité sur un large éventail de tâches. Ils supposent que le modèle est toujours disponible et gèrent les risques qui s’ensuivent.
COMPAiSS est optimisé pour l’imputabilité, l’auditabilité et la défendabilité institutionnelle. Il suppose que le modèle nécessite une autorisation et détermine si cette condition est satisfaite avant de permettre l’inférence.
Aucun n’est supérieur dans l’absolu. Ils représentent des réponses différentes à la question de la finalité de l’IA et de sa redevabilité.
Pour les institutions qui opèrent dans des environnements réglementés et à haute imputabilité, comprendre cette distinction est peut-être la question de gouvernance de l’IA la plus importante des prochaines années.
La comparaison n’est pas entre produits. Elle est entre philosophies.
Documentation complète de gouvernance et analyse d’alignement avec la Directive du gouvernement du Canada sur la prise de décisions automatisée : compaiss.ca/evaluation-des-risques-ia.html
Pour les demandes d’approvisionnement ou d’évaluation institutionnelle : [email protected]