Claude, l’IA d’Anthropic veut contrôleur votre ordinateur

Anthropic a réalisé une avancée significative dans le domaine de l'intelligence artificielle avec l'introduction d'une nouvelle fonctionnalité pour son modèle Claude AI, qui lui permet d'interagir avec les ordinateurs et de les contrôler comme le font les humains.

13/11/2024
Hal Neuntausend
Modifié le 13 novembre 2024

Partager la publication

Sommaire

Add a header to begin generating the table of contents

Comment Claude d'Anthropic va pouvoir piloter un ordinateur

Anthropic a réalisé une avancée significative dans le domaine de l’intelligence artificielle avec l’introduction d’une nouvelle fonctionnalité pour son modèle Claude AI, qui lui permet d’interagir avec les ordinateurs et de les contrôler comme le font les humains. Cette fonctionnalité, actuellement en version bêta publique, représente une avancée majeure dans la capacité de l’IA à s’engager avec les logiciels et les systèmes existants, transformant potentiellement l’automatisation des tâches et la collaboration entre l’homme et l’IA.

Claude peut désormais utiliser des ordinateurs en suivant les commandes de l’utilisateur pour déplacer un curseur, cliquer sur des endroits pertinents et saisir des informations à l’aide d’un clavier virtuel. Cette fonctionnalité est conçue pour émuler l’interaction humaine avec les systèmes informatiques, ce qui constitue une avancée significative dans le développement de l’IA. La capacité des modèles d’IA à interagir directement avec les logiciels informatiques ouvre la voie à une vaste gamme d’applications jusqu’alors inaccessibles aux assistants d’IA existants.

L’importance de cette capacité tient au fait qu’une grande partie du travail moderne s’effectue sur ordinateur. En permettant à des IA comme Claude d’interagir avec des logiciels de la même manière que les humains, Anthropic vise à débloquer de nombreuses applications dans divers domaines. Le développement des compétences de Claude en matière d’utilisation de l’ordinateur s’appuie sur des recherches antérieures axées sur l’utilisation d’outils et la multimodalité, qui ont jeté les bases de ces nouvelles capacités.

Comment Anthropic a entraîné son modèle IA pour utiliser un ordinateur

Pour former Claude à l’utilisation d’un ordinateur, les développeurs lui donnent accès à un logiciel spécifique et à des captures d’écran de l’interface utilisateur. Claude analyse ces captures d’écran pour comprendre ce qui est visible à l’écran et détermine ensuite comment exécuter les actions requises. Un aspect crucial de cette formation consistait à apprendre à Claude à compter les pixels avec précision, ce qui est essentiel pour donner des ordres précis à la souris. Le modèle a fait preuve d’une remarquable capacité de généralisation à partir d’une formation sur des outils logiciels simples tels que des calculatrices et des éditeurs de texte, ce qui lui a permis de traduire les instructions de l’utilisateur en séquences logiques d’actions.

Malgré ces capacités déjà impressionnantes, les performances de Claude continuent d’évoluer. Lors d’évaluations destinées à déterminer la capacité des modèles d’IA à utiliser les ordinateurs comme le font les humains, Claude a obtenu un score de 14,9 %, ce qui est nettement plus élevé que le modèle d’IA suivant (7,8 %). Cependant, ce score reste bien en deçà des niveaux de la performance humaine. Les limites actuelles comprennent des difficultés liées à des actions courantes telles que le défilement et le glissement, ainsi que la dépendance du modèle à l’égard de captures d’écran statiques plutôt qu’à l’égard de flux vidéo en temps réel.

Les risques potentiels de sécurité et d'éthique

Comme toute avancée technologique, l’introduction de capacités d’utilisation de l’ordinateur entraîne des considérations de sécurité et d’éthique. Anthropic a abordé de manière proactive les risques potentiels associés à cette nouvelle fonctionnalité. L’entreprise a évalué si l’utilisation de l’ordinateur augmentait le risque de menaces existantes et a constaté que la nouvelle compétence de Claude restait au niveau 2 de sécurité de l’IA, ce qui signifie qu’elle ne nécessite pas de mesures de sécurité supplémentaires par rapport à celles déjà mises en œuvre.

L’une des préoccupations est l’injection d’instructions malveillantes dans le modèle d’IA, ce qui l’amènerait à effectuer des actions nocives. Pour atténuer ce risque, Anthropic a élaboré des conseils à l’intention des développeurs qui utilisent les capacités informatiques de Claude et a mis en place des classificateurs pour détecter les abus potentiels.

En ce qui concerne la confidentialité des données, Anthropic a déclaré qu’elle n’entraînait pas ses modèles d’IA générative sur des données soumises par les utilisateurs, y compris les captures d’écran reçues pendant les sessions d’utilisation de l’ordinateur. Cette approche vise à protéger les informations sensibles des utilisateurs tout en permettant aux développeurs d’explorer les capacités de Claude de manière responsable.

Les développements futurs de Claude d'Anthropic

Anthropic envisage un avenir où l’IA pourra s’intégrer de manière transparente dans les environnements informatiques quotidiens. L’objectif est de permettre à Claude d’utiliser les outils logiciels existants comme le font les humains, tout en améliorant continuellement ses performances et sa fiabilité. Les chercheurs travaillent en étroite collaboration avec les équipes de sécurité afin de s’assurer que les capacités accrues de Claude s’accompagnent de mesures de sécurité appropriées.

En conclusion, l’introduction par Anthropic de capacités d’utilisation de l’ordinateur pour Claude marque une étape importante dans le développement de l’IA. En apprenant aux modèles d’IA à interagir avec les ordinateurs comme le font les humains, Anthropic a ouvert de nouvelles possibilités de productivité et de collaboration entre les humains et les machines. Bien qu’il reste des défis à relever en matière de performance et de sécurité, les mesures proactives prises par Anthropic fournissent un cadre pour un progrès responsable dans ce domaine passionnant de la technologie.