AI Act : quelles fonctionnalités IA deviennent à haut risque ?
Les LMS pourraient-ils devenir un système à haut risque ?
Certaines utilisations de l’intelligence artificielle dans l’éducation et la formation professionnelle sont classées comme systèmes d’IA à haut risque par l’Annexe III du règlement européen sur l’IA.
Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des règles communes pour les systèmes d’IA à haut risque. Ces règles devraient être conformes à la Charte, non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union. Elles devraient également tenir compte de la déclaration européenne sur les droits et principes numériques pour la décennie numérique et des lignes directrices en matière d’éthique pour une IA digne de confiance rédigées par le groupe d’experts de haut niveau sur l’intelligence artificielle (ci-après dénommé «GEHN IA»). source
Il y a une volonté d’encadrer l’intelligence artificielle pour conserver les intérêts publics sur les domaines fondamentaux. l’éducation plus spécifiquement est décrit comme ceci :
Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. source
Les raisons de ce règlement sont multiples, on peut donc identifier :
- Promouvoir une éducation et une formation numérique de qualité : pour tous les apprenants et enseignants
- Protéger le parcours éducatif et professionnel : des individus, ces systèmes pouvant déterminer la capacité d’une personne à assurer sa propre subsistance
- Prévenir les discriminations systémiques : envers les femmes, certains groupes d’âge, les personnes handicapées, ou des personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle
- Garantir le droit à l’éducation : et le droit à ne pas subir de discriminations, qui peuvent être violés par des systèmes mal conçus
Le texte parle même de “d’incidence sur la capacité à assurer sa propre subsistance” ce qui est un message fort sur la nécessité d’une éducation de qualité. Comment prétendre atteindre une telle qualité si les décisions ne sont pas contrôlées? C’est tout l’enjeu de cette reglementation.
Annexe III - les 4 catégories de systèmes d’IA à haut risque
L’annexe 3 concerne l’éducation et la formation professionnelle et présente ce qui est considéré comme Haut risque
- L’admission : Si l’intelligence artificielle prend des décisions concernant l’affectation ou l’admission de personnes à un établissement.
- L’évaluation : Si l’intelligence artificielle est utilisée pour évaluer les apprenants. L’évaluation est au sens large, c’est à dire que cela concerne l’évaluation d’une activité pédagogique autant que l’évaluation permettant d’orienter l’apprenant ou l’accès à un établissement, formation.
- La surveillance : Si l’intelligence artificielle est utilisée pour surveiller un examen, détecter des comportements interdits etc..
- La détermination du niveau d’études : Les technologies évaluant le niveau d’éducation qu’un individu est autorisé à recevoir ou auquel il peut accéder.
Que signifie haut risque ?
Le règlement européen n’interdit pas ces systèmes. Il impose des garanties supplémentaires.
Parmi celles-ci :
- une analyse des risques (art. 9) ;
- une gouvernance des données (art. 10) ;
- une documentation technique (art. 11) ;
- des journaux d’événements (art. 12) ;
- une supervision humaine (art. 14) ;
- des exigences de robustesse et de cybersécurité (art. 15) ;
L’objectif est de garantir que les décisions susceptibles d’influencer le parcours éducatif d’un apprenant restent contrôlables et explicables.
La detection d’émotion dans les établissements scolaires est interdit par le réglement européen depuis le 2 février 2025. La surveillance par IA qui détecte des « comportements suspects » via l’analyse des expressions faciales pourrait franchir cette ligne ou des outils permettant de détecter le stress ou l’anxiété. Ces systèmes sont considérés comme intrusifs et peuvent violer le droit à l’éducation et à la formation ainsi que le droit à ne pas subir de discriminations. la sanctions est sévère, jusqu’à 35 millions d’euros ou 7% du chiffre d’affaires annuel mondial.
Quel rapport avec un LMS ?
C’est le LMS qui contient la plupart des activités pédagogiques et l’intelligence artificielle s’intègre de plus en plus dans ces derniers soit directement soit indirectement par des outils tiers. Si on souhaite intégrer un tuteur intelligent directement dans le LMS avec LTI par exemple. Si le tuteur aide l’apprenant à comprendre des concepts le risque est faible. Si le tuteur intelligent donne une note sur une activité dans ce cas le risque est élevé.
Exemple de cas d’usage :
- Chatbot : faible risque
- Génération de quiz : faible risque
- Tuteur IA : faible risque
- Correction automatique : haut risque potentiel
- Orientation : haut risque potentiel
- Proctoring : haut risque
Pour ce qui est des outils tiers intégrés dans le LMS, il faut se poser la question de savoir si ces outils sont utilisés pour évaluer l’apprenant ou pour surveiller un examen. Dans ce cas là qui est responsable de la conformité au règlement européen ? Le LMS ou l’outil tiers ?
Le réglement européen distingue les fournisseurs de systèmes d’IA (Provider) et les utilisateurs de systèmes d’IA (Deployer).
Provider ou Deployer ?
Le règlement distingue deux rôles dont les obligations diffèrent.
Le provider est l’éditeur du système d’IA , celui qui le conçoit, l’entraîne et le met sur le marché. Le deployer est l’établissement qui l’utilise dans son contexte pédagogique.
Prenons l’exemple d’un éditeur de méthode d’apprentissage des langues. Cet éditeur propose d’analyser les réponses des apprenants aux exercices qu’il propose et note l’apprenant. Cet outil s’intègre dans un LMS via un standard d’interopérabilité. Dans ce cas l’outil reste le provider et à la charge complète de la réglementation européenne et le LMS le deployer qui a des obligations (art. 26)
Le règlement est en vigueur depuis le 1er août 2024.
| Date | Obligation |
|---|---|
| 2 février 2025 | Interdictions de pratiques prohibées |
| 2 août 2025 | Obligations pour les modèles d’IA générale (GPAI) |
| 2 août 2026 | Transparence (Art. 50) s’applique maintenant |
| 2 décembre 2027 | Systèmes Annexe III standalone, éducation, emploi |
| 2 août 2028 | Systèmes IA embarqués dans des produits réglementés |
L’accord politique du Digital Omnibus (7 mai 2026) a reporté la deadline Annexe III d’août 2026 à décembre 2027. Ce report est ciblé : les obligations de transparence de l’Article 50 ( informer les apprenants qu’ils interagissent avec une IA) restent dues dès cet été.
Conclusion
Ai Act est beaucoup plus complet et touche d’autres domaines que l’éducation. Ce post n’a pas vocation de faire le tour du sujet. C’est un sujet complexe que je laisse à des professionels du droit européen. L’objectif de ce Post est d’alerter sur la mise en oeuvre rapide et parfois déjà en place du réglement pour intégrer l’IA dans les établissements scolaires. Il met en lumière que l’éducation est considérée comme un domaine à haut risque ce qui impose des contraintes. l’IA dans l’éducation n’est plus seulement un sujet d’innovation. C’est devenu un sujet de gouvernance et la gouvernance, ça se prépare.
Sources
- https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:32024R1689
- https://euaicompass.com/eu-ai-act-for-education.html
- https://quantamixsolutions.com/insights/eu-ai-act-compliance-guide/
- https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
- https://planbe.eco/en/blog/eu-ai-act-for-the-education-industry/
- https://artificialintelligenceact.eu/annex/3/
- https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
- https://euaicompass.com/edtech-assessment-validator.html
- https://artificialintelligenceact.eu/assessment/eu-ai-act-compliance-checker/
- https://artificialintelligenceact.eu/fr/documents/
- https://artificialintelligenceact.eu/fr/article/6/
- https://clairk.digitalpolicyalert.org/