
Remplir un formulaire à partir d’un PDF ou appliquer le même traitement à une série de photos peut demander une succession de clics fastidieuse. Google propose maintenant de déléguer ce type de manipulation à Gemini sur Mac, via sa fonction « computer use », à condition d’encadrer précisément les accès accordés à l’assistant.
Des autorisations à choisir app par app
Selon Google, la fonction doit être activée avant que Gemini puisse contrôler des logiciels. macOS demande alors les autorisations d’Accessibilité ainsi que celles d’Enregistrement de l’écran et de l’audio système. Gemini sollicite aussi une autorisation pour chaque application qu’il doit utiliser.
L’option « Toujours autoriser » évite de valider à nouveau l’accès lors des prochains usages. Google indique néanmoins que les opérations sensibles continuent de demander une confirmation supplémentaire. Ce réglage mérite une attention particulière : l’assistant peut interagir avec des sessions déjà ouvertes, y compris avec des codes d’authentification multifacteur visibles dans une messagerie ou sur le bureau.
Google alerte également sur les injections de prompt : des consignes malveillantes cachées dans un contenu consulté peuvent chercher à influencer Gemini afin qu’il agisse dans une autre app à laquelle il a accès. Donner le contrôle d’un éditeur de code ou d’outils de développement peut aussi permettre l’exécution de commandes shell et des changements plus étendus dans les fichiers du Mac.
Une exécution séparée de votre bureau
Gemini travaille dans une fenêtre virtuelle distincte. L’écran principal et le pointeur du Mac restent donc utilisables pendant l’exécution, tandis qu’un aperçu en direct affiche les actions réalisées. L’utilisateur peut interrompre la tâche à tout moment.
À partir d’une requête en langage naturel, Gemini peut naviguer dans des menus, sélectionner des boutons, saisir du texte et passer d’un logiciel à l’autre. Google cite notamment le traitement de photos par lots et l’extraction d’informations contenues dans des PDF pour compléter un formulaire d’expédition. Des sauvegardes temporaires peuvent être créées si l’option est activée et prise en charge par le logiciel concerné ; elles expirent après 24 heures ou dès l’envoi d’une nouvelle demande.
Le déploiement vise les comptes Google personnels d’adultes, en anglais aux États-Unis. Il requiert un Mac équipé d’une puce Apple Silicon, sous macOS Sequoia 15 ou une version ultérieure, ainsi qu’un abonnement Google AI éligible.
Ce que ça change
Pour des tâches répétitives et clairement définies, Gemini peut éviter de refaire manuellement une longue chaîne de manipulations. En contrepartie, l’intérêt de cette automatisation dépend directement du périmètre d’accès choisi : limiter Gemini aux seules apps nécessaires réduit l’exposition des données et des comptes déjà ouverts. L’aperçu en direct et les confirmations constituent des garde-fous utiles, surtout lorsqu’une action peut modifier des fichiers ou transmettre des informations.
À lire aussi
Source : Google — blog officiel Gemini