Ce qui s'est passé
Pretxt, une startup ayant des bureaux à Aspen et à Dublin, en Irlande, est sortie de l'ombre avec 5 millions de dollars de financement d'amorçage, selon SecurityWeek. Deciens Capital, Howdy Partners et Service Provider Capital ont soutenu ce tour de table. L'entreprise lance un produit baptisé AI Supervision, un outil d'exécution qui supervise les agents IA pendant leur fonctionnement et corrige leur comportement avant que les erreurs ne se transforment en problèmes pour l'entreprise.
Selon Aaron Costello, cofondateur et directeur technique, les clients connectent leurs agents à la plateforme. Pretxt peut alors lire les instructions de chaque agent, observer la façon dont il communique et cartographier les outils et actions dont il dispose, comme l'envoi d'e-mails ou la mise à jour d'une base de données. Les clients définissent ensuite ce qu'un agent ne doit jamais faire ou ne peut faire que sous conditions. Ces consignes servent de référence à l'IA de Pretxt pour juger chaque action.
Pretxt redirige un agent qui outrepasse son rôle au lieu de l'arrêter. Aaron Costello a pris l'exemple d'un cabinet médical dont l'assistant de prise de rendez-vous ne doit pas donner de conseils médicaux. Pretxt inspecte chaque échange avec les patients en temps réel et bloque tout conseil détecté. Il demande ensuite discrètement à l'agent de continuer à aider pour le rendez-vous, afin que les patients puissent tout de même réserver.
Contexte
Pretxt rejoint un groupe encore récent d'éditeurs de cybersécurité qui cherchent à repérer les actions nuisibles des agents au moment où elles se produisent. Le rapport attribue les comportements d'agents déviants à des instructions ambiguës combinées à une large autonomie des agents. Il souligne aussi qu'on ne peut pas éliminer complètement l'ambiguïté du langage, alors que restreindre strictement ce que les agents peuvent faire risque de sacrifier une part importante de la valeur pour l'entreprise.
Le briefing
La semaine tech, en un seul e-mail.
Les dépêches qui méritent votre temps, chaque semaine. Désinscription à tout moment.
