Ce qui s'est passé
Google a ajouté une fonction baptisée Computer Use à son application Gemini pour Mac, a rapporté The Decoder. Elle permet à l'IA d'exécuter des tâches en plusieurs étapes impliquant des logiciels de bureau, des fichiers stockés sur l'ordinateur et des sites web. Selon Google, l'utilisateur indique ce qu'il souhaite obtenir, puis Gemini se charge des clics, de la saisie et de la navigation dans les menus et les formulaires nécessaires pour y parvenir.
Le travail s'effectue dans une fenêtre distincte et isolée, qui tourne en arrière-plan, avec un aperçu en direct affiché dans la conversation, de sorte que l'écran et le curseur de l'utilisateur restent libres. Les utilisateurs choisissent les applications auxquelles Gemini peut accéder et peuvent suivre chaque étape en temps réel. Ils peuvent aussi interrompre le processus à tout moment et doivent approuver les actions importantes avant qu'elles ne soient exécutées.
Google a donné plusieurs exemples d'usage de cette fonction : retoucher des lots de photos ou des scènes 3D, remplir des formulaires d'expédition avec des informations extraites de PDF locaux, ou encore assembler des présentations. Computer Use est déployé en anglais pour les utilisateurs aux États-Unis à partir d'aujourd'hui, et l'application Gemini pour Mac peut être téléchargée dès maintenant.
Contexte
Ce lancement fait passer Gemini de la conversation à la manipulation directe de logiciels sur l'ordinateur de l'utilisateur. Il place aussi Google en concurrence avec OpenAI, qui s'est récemment concentré sur ses propres capacités d'utilisation de l'ordinateur. L'article décrit OpenAI comme très en avance dans ce domaine, ce qui laisse penser que Google cherche à rattraper son retard plutôt qu'à mener la catégorie.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.
