Des chercheurs d’Apple ont récemment présenté SQUIRE, un outil expérimental basé sur l’IA qui aide les développeurs à explorer et affiner des idées d’interface avec plus de précision que les outils de codage traditionnels. Ce projet a été révélé dans un article intitulé SQUIRE : Interactive UI Authoring via Slot QUery Intermediate REpresentations.
Une approche prometteuse de la création d’interfaces IA
Selon l’étude, l’utilisation du langage naturel a offert plus de flexibilité, mais elle pose également deux défis majeurs:
- Tout d’abord, le langage naturel peut être ambigu, rendant difficile la communication des intentions des développeurs.
- Ensuite, les réponses du modèle peuvent être imprévisibles, demandant des retours en arrière fréquents pour corriger des changements non désirés.
C’est ici que SQUIRE entre en jeu. Cet outil propose une interface visuelle permettant aux développeurs de construire et de perfectionner des prototypes d’interface étape par étape, offrant ainsi un meilleur contrôle sur les résultats.
Fonctionnement de SQUIRE
Avec SQUIRE, les utilisateurs débutent un projet en fournissant un prompt décrivant leurs objectifs, ainsi que des données d’exemple. Ils construisent ensuite l’interface sous forme d’un arbre de composants, en sollicitant SQUIRE pour remplir des espaces vides représentant des fonctionnalités attendues. Pour chaque demande, SQUIRE propose une liste d’alternatives appropriées, chaque option étant spécifiquement réservée à l’élément en cours d’élaboration.
En interagissant avec ces alternatives, les utilisateurs peuvent visualiser instantanément les modifications dans un aperçu en direct, tout en garantissant que les autres parties du code resteront intactes. Cela permet d’apporter des ajustements ciblés sans risque de perturber l’ensemble de l’interface.
SENSATION DE CONTRÔLE
D’après les observations menées auprès de 11 développeurs, l’utilisation de SQUIRE a permis d’explorer et d’itérer différents designs d’interface tout en offrant un fort sentiment de maîtrise. Les participants ont également noté une grande satisfaction quant à la convivialité et à l’efficacité globale du système.
- Les interactions encouragent les utilisateurs à explorer plus fréquemment.
- Les développeurs se sentent ainsi capables de prendre des risques lors des modifications.
- La qualité du code et des visuels produits par SQUIRE a été jugée généralement satisfaisante.
Une architecture innovante
Au lieu de générer directement du code d’interface à partir des prompts, SQUIRE crée d’abord une représentation intermédiaire, appelée SquireIR, modélisant l’interface sous forme d’arbre de composants. Cette structure inclut également des espaces réservés pour des éléments à définir ultérieurement, comme le nom d’un bouton ou une image.
Le fonctionnement de SQUIRE permet de mettre à jour uniquement les parties demandées sans affecter les éléments existants, évitant ainsi les erreurs communes rencontrées dans d’autres outils de codage basés sur l’IA.
Bien que SQUIRE ne soit pas encore disponible au public, son potentiel d’intégration dans de futures versions d’outils de développement d’Apple est prometteur.
