L’application de l’intelligence artificielle (IA) dans le domaine de la conception générative et de l’ingénierie est particulière et se distingue de l’usage général de l’IA de plusieurs manières fondamentales.
Voici ce qui est spécifique à ce domaine et ce que Autodesk fait pour l’étudier :
Ce qui est particulier au domaine de la conception et de l’ingénierie pour l’application de l’IA :
- Nature des tâches et du raisonnement : Contrairement aux domaines pour lesquels des critères d’évaluation solides existent déjà (comme la santé ou le génie logiciel), les tâches de conception et d’ingénierie sont uniques. Elles impliquent :
- Des connaissances tacites.
- Un raisonnement ouvert.
- Des contraintes qui ne s’intègrent pas facilement dans les formats typiques de questions-réponses.
- L’interprétation de documents d’exigences ambigus.
- La compréhension des compromis dans les propriétés des matériaux.
- L’anticipation des risques de défaillance.
- Ces complexités sont rarement capturées dans les ensembles de données de traitement du langage naturel (NLP) traditionnels.
- Insuffisance des critères d’évaluation existants : Il existe un fossé critique dans l’évaluation actuelle des grands modèles de langage (LLM), car les critères établis par la communauté de l’apprentissage automatique pour d’autres domaines s’étendent rarement au monde de la conception et de l’ingénierie.
- Nécessité de multimodalité avancée : Évaluer l’IA dans la conception nécessite de dépasser le texte et les images pour comprendre comment les modèles interagissent avec la géométrie 3D, prennent des décisions architecturales ou mécaniques complexes, et adaptent les conceptions en réponse à des contraintes du monde réel (comme la chaîne d’approvisionnement). Le principal obstacle ici est le manque de données publiques en géométrie 3D.
Ce que Autodesk® Research fait pour étudier ce domaine très particulier :
Autodesk® Research, en collaboration avec des universités de renom telles que le MIT, l’UC Berkeley et la Carnegie Mellon University, mène une initiative cruciale pour combler ce fossé. Leur objectif est de développer des critères d’évaluation spécifiques pour les LLM en conception et ingénierie, afin d’assurer que les assistants IA soient réellement utiles et sûrs dans des contextes de conception réels.
Ils ont développé une nouvelle suite de critères d’évaluation multimodaux, ancrés dans les tâches du monde réel auxquelles sont confrontés les ingénieurs et les concepteurs. Ces critères visent à révéler à la fois les forces et les limites des LLM. Ils se sont concentrés sur trois domaines représentatifs :
-
DesignQA : Tester les LLM sur les exigences d’ingénierie :
- Objectif : Évaluer la capacité des LLM à comprendre et interpréter de véritables règlements d’ingénierie.
- Méthodologie : Utilisation des règles de course de la Formule SAE 2024 pour créer un ensemble de données de 1 451 questions, incluant l’extraction basique, la compréhension des règles et le raisonnement fonctionnel (interprétation de diagrammes, vérification de conformité).
- Résultats préliminaires : Les LLM peuvent récupérer des informations explicites, mais leurs performances diminuent lorsque les questions nécessitent une synthèse à travers plusieurs règles ou impliquent des contraintes implicites.
-
MSEval : Dévoiler les biais dans les recommandations de matériaux :
- Objectif : Examiner comment les LLM choisissent les matériaux, compte tenu de la complexité de cette décision qui équilibre fonctionnalité, fabricabilité, coût, durabilité et sécurité.
- Méthodologie : Collecte de plus de 10 000 réponses à des sondages de professionnels de la conception sur les choix de matériaux, comparées aux sorties des LLM.
- Constatation clé : Les LLM ont montré une préférence notable pour les matériaux « exotiques » ou de haute performance comme le titane ou les composites, même lorsque ces matériaux étaient peu pratiques pour des conceptions sensibles aux coûts ou fabriquées en série. Cela révèle un risque que les modèles donnent des réponses optimales mais non contextuellement appropriées, pouvant induire en erreur les concepteurs.
-
RECALL-MM : Prédire les risques à partir des défaillances passées :
- Objectif : Intégrer les informations sur les rappels de produits dans la conception précoce pour évaluer les risques.
- Méthodologie : Création d’un ensemble de données multimodal à partir de la base de données des rappels de la U.S. Consumer Product Safety Commission (CPSC), combinant noms de produits, descriptions de rappels et images.
- Résultats : Démontre une forte concordance avec les risques historiques, mais révèle également les limites actuelles dans la modélisation des dangers.
Ces critères ne sont qu’un « premier pas ». Autodesk® souligne que le développement de bons critères est essentiel pour une IA responsable dans la conception. L’avenir de l’IA de conception exigera de nouveaux critères qui intègrent la géométrie 3D et les contraintes du monde réel, nécessitant le développement de méthodes de génération de données synthétiques pour combler le manque de données publiques.