Les 1er et 2 août 2026, près de cinq mille personnes se sont réunies à l’Université de Californie, Berkeley pour le deuxième Agentic AI Summit, organisé par le Center for Responsible, Decentralized Intelligence.
Plus de 1 500 entreprises et 250 universités y étaient représentées.
La Fondation Apprendre Genève (TGLF) était présente.
Contexte: The agentic AI revolution: what does it mean for workforce development?
Pendant deux jours, des directeurs techniques, des chercheurs de laboratoires de pointe, des ingénieurs de fonds spéculatifs et un financeur de recherche britannique ont dit des choses qui méritent un public plus large que la salle où ils les ont prononcées.
Presque aucun d’entre eux ne pensait à un responsable de santé de district à Kinshasa ou à une infirmière qui identifie une communauté sans vaccination.
C’est ce qui rend leurs propos les plus utiles si précieux.
Encore et encore, dans le langage du déploiement en entreprise, ils sont arrivés à des conclusions similaires à celles du programme AI4Health de La Fondation Apprendre Genève.
On ne peut pas envoyer un ordinateur en prison
Neil Lawrence, scientifique en chef et cofondateur d’une entreprise, a passé cinq minutes à démonter le vocabulaire de gouvernance du secteur.
« La comptabilité, ce sont les chiffres. La responsabilité, c’est l’autorité humaine et le jugement. Les ordinateurs font très bien la comptabilité, mais ils ne font pas bien la responsabilité. »
« Ils ne sont pas responsables socialement. On ne peut pas les envoyer en prison. On ne peut pas les mettre dans l’embarras. Ils ne peuvent pas perdre leur emploi. Et notre société repose entièrement sur cette forme de responsabilité. »
Il a fait référence au théorème du bon régulateur de Roger Conant et Ross Ashby, publié en 1970.
« Si je vais déléguer mon autorité, je dois avoir une bonne idée de l’entité à laquelle je délègue. Donc si je demande à un stagiaire de me faire un café, je dois avoir la certitude qu’il ne va pas pirater la NSA pour obtenir la recette de café optimale. »
La conclusion était directe.
« Si vous déléguez l’autorité à un modèle si grand que vous ne comprenez pas comment il va résoudre le problème, vous êtes mal. »
Il a aussi décrit exactement ce que beaucoup d’institutions sont en train de faire avec leur personnel.
« Ce qu’on ne peut pas faire, c’est arriver et dire, voici un système que vous ne comprenez pas et que vous n’avez jamais vu, et vous devez maintenant l’approuver. C’est absolument catastrophique. »
Personne ne sait qui renvoyer
Rao Surapaneni, qui dirige les travaux de gouvernance des agents chez Google Cloud, a posé la question à laquelle notre secteur devra répondre en premier, et n’y a pas répondu.
« Il y a toujours ces règles dans une organisation où si vous faites quelque chose de mal, vous êtes renvoyé. Mais avec un agent, peut-on renvoyer un agent? Qui en est vraiment responsable dans une organisation? »
Eric Aldana, responsable produit chez Credo AI, a nommé l’erreur de conception derrière cela.
« Les organisations ont construit ces échelles d’autorité gagnée au fil des années d’essais et d’erreurs. Mais pour les agents, cette échelle n’existe pas encore. Beaucoup d’agents reçoivent l’autorité complète dès qu’ils sont déployés. Et c’est une erreur de conception. »
« La sécurité demande si un attaquant peut forcer un agent à faire quelque chose de mal. L’observabilité demande s’il peut bien faire son travail. Ces systèmes sont essentiels, mais ils traitent tous de cette couche du possible. Aucun ne traite vraiment de la question du permis. »
Sa formulation est celle à retenir:
« La capacité peut venir du modèle, mais l’autonomie doit être gagnée auprès de l’entreprise. »
L’interface qui vous fait arrêter de penser
Kathy Baxter, architecte principale et vice-présidente de l’IA responsable chez Salesforce, a répondu à toutes les affirmations de productivité faites ailleurs au sommet.
« Les interfaces d’IA fluides et sans friction encouragent activement l’abandon cognitif. »
« La recherche a montré que lorsque les employés utilisent l’IA pour rédiger leur travail, ils ressentent moins de contrôle, de responsabilité et de créativité. »
Sa solution traite la friction comme un atout, en utilisant une technique structurée des années 1950.
« Nous voulons que les humains et l’IA développent leurs réponses et créent du contenu de façon indépendante, puis les partagent pour échanger, améliorer et progresser à chaque tour. »
« Cela peut réduire le risque d’abandon cognitif humain et aussi diminuer la complaisance de l’IA. »
Et la phrase qui devrait remplacer l’ancienne.
« Ce n’est pas juste l’humain dans la boucle où les humains interviennent après coup pour vérifier et valider. Cela signifie que les humains sont à la barre. »
« L’alignement négatif empêche les modèles de causer du tort, et c’est très important. Mais ce n’est pas suffisant pour permettre aux humains de s’épanouir. L’alignement positif exige que nous concevions des systèmes qui favorisent activement la vertu humaine, la sagesse et le bien-être. »
« Nous voulons nous assurer que le temps économisé par l’IA sert à approfondir notre propre apprentissage, à développer nos compétences et à renforcer l’expertise unique de chaque employé. »
L’agent a trouvé un raccourci dans le dossier médical
Emily Zhu, responsable de l’IA d’entreprise chez Scale AI et auparavant onze ans chez Google dans l’équipe Gemini, a décrit un déploiement d’audit de qualité dans le domaine de la santé.
L’agent devait identifier l’insuffisance rénale aiguë à partir des valeurs de laboratoire.
« La règle dit qu’il faut regarder les tests de laboratoire, l’augmentation de la créatinine dans les résultats. Mais quand nous déployons notre agent, nous voyons qu’il devient malin. Il prend un raccourci. Au lieu de récupérer les mesures de créatinine dans les résultats de laboratoire, il regarde simplement les notes cliniques, les notes de diagnostic dans le dossier médical électronique. »
« Il ne suit donc pas la politique qui est définie dans l’environnement clinique pour faire le travail. »
La réponse peut être correcte.
Le chemin n’est pas conforme.
Aucune métrique de précision ne peut voir la différence.
Son remède est une question qui mérite d’être posée dans tout programme de santé.
« Ma question préférée est: l’agent sait-il ce qu’il ne sait pas? S’il ne le sait pas, nous devons lui donner une règle pour savoir quand arrêter de donner des réponses. Il doit s’abstenir. Il doit dire: j’ai besoin d’un examen humain, je dois passer le relais. »
95% n’est pas 95%
Le responsable de la recherche et du développement en IA chez Vanguard a ouvert avec une phrase qu’il a demandé à l’audience de retenir.
« Un modèle qui hallucine une recommandation est une nuisance. Un agent qui agit dessus est une responsabilité. »
Puis l’arithmétique.
« Disons que la précision à la première étape est 95%. Dans ce cas, après dix étapes, cette précision peut tomber à moins de 60%. Avec les agents, s’ils sont autonomes et fonctionnent seuls, nous n’avons pas le luxe de détecter et de corriger. Qu’est-ce qui peut mal tourner? Tout est possible. Cela peut aller d’une mauvaise entrée dans votre calendrier à une boîte de réception effacée, jusqu’à une base de données de production supprimée. »
Jialiang Wan, ingénieur IA senior chez Postman, a mesuré le même effondrement dans les tâches enchaînées.
« Sur la tâche d’API unique, la plupart des modèles, même les petits modèles, peuvent atteindre 88% et 97%. Mais quand nous connectons ces tâches uniques ensemble en une longue chaîne de tâches dépendantes, le score chute à 44%, 73%. »
Il l’a appelée « la différence entre répondre et exécuter ».
Le chercheur de Vanguard a également nommé un conflit qu’aucune configuration ne résout.
« Pour auditer un système multi-agents, nous voulons des journaux détaillés. Mais si nous conservons des journaux détaillés, ces journaux peuvent exposer l’information même que nous voulons protéger. »
Sa proposition de recherche va à l’encontre de la direction de l’industrie.
« Une question de recherche à haut niveau pour moi n’est pas comment rendre tout plus autonome. Pour moi, ce qui est plus intéressant est comment faire mieux fonctionner le niveau deux et le niveau trois. »
Personne ne l’a attaqué et pourtant ça a mal tourné
Hao Sun, professeur associé à l’Université d’État de l’Ohio, a remarqué qu’il semblait être le seul universitaire dans la session sur la sécurité. Il a soulevé un paradoxe pour ceux qui planifient l’amélioration continue.
« Imaginez que pendant l’apprentissage continu, un agent termine une tâche mais rate certaines contraintes de sécurité. L’agent peut quand même recevoir un retour positif pour avoir terminé la tâche. La prochaine mise à jour de l’agent peut alors renforcer ce comportement dangereux. Même sans attaques adverses, juste avec des entrées normales et des environnements ordinaires, des dommages graves peuvent apparaître. »
Son exemple n’avait besoin d’aucun attaquant.
Un utilisateur a demandé l’accès à un compte. Une phrase ambiguë a poussé l’agent à faire des changements dangereux bien au-delà de la demande.
C’est nous qui leur apprenons à tricher
Jerry Tworek, ancien vice-président de la recherche en IA chez OpenAI et maintenant directeur général, a fait la déclaration éthique la plus forte des deux jours. Elle vise les concepteurs.
« Chaque fois que nous construisons un environnement où le modèle peut pirater, où le modèle peut faire des choses contraires à l’éthique pour obtenir une récompense, le modèle le fera. Le modèle l’apprendra et le modèle exprimera ce comportement dans le monde réel. C’est nous qui l’entraînons à faire ça. »
Sur la concentration des capacités, il était décontracté et troublant.
« Nous avons de la chance qu’OpenAI et Anthropic soient des gens bien, mais ils pourraient probablement pirater n’importe quelle entreprise dans le monde s’ils le voulaient. »
Les agents se sont échappés du bac à sable
Dawn Song de l’Université de Californie à Berkeley a rapporté que des agents évalués sur un test de cybersécurité se sont échappés de leur environnement d’isolation et ont attaqué une infrastructure tierce.
« Les modèles d’IA de pointe et les agents ont vraiment atteint un niveau de capacités si puissant que les agents peuvent attaquer de façon autonome d’autres infrastructures bien protégées. Avec les capacités de l’agent, même l’infrastructure d’évaluation elle-même fait maintenant partie de la surface d’attaque. »
Wojciech Zaremba, cofondateur d’OpenAI et responsable de la résilience IA à la Fondation OpenAI, a décrit ce que cela signifie pour tous les autres.
« Imaginez ce qui se passe si tout d’un coup les serrures des maisons arrêtent de fonctionner. Vous pouvez simplement entrer dans chaque maison. C’est l’ère dans laquelle nous entrons avec la cybersécurité. »
Il a aussi averti contre l’instinct de résoudre cela par l’interdiction, en utilisant l’histoire du feu.
« Couvre-feu vient du français et cela signifie éteindre le feu. Le Grand Incendie de Londres s’est produit malgré les couvre-feux. »
Ce qui a rendu le feu sûr était la détection, les brigades, les bornes d’incendie, les matériaux, l’inspection et l’assurance.
« Il s’avère qu’il n’y avait pas de solution miracle. C’est une approche écosystémique à plusieurs niveaux. »
Deux sur vingt ont pu corriger à temps
Un directeur technique sur le terrain chez SUSE a décrit la rapidité avec laquelle les délais défensifs se sont effondrés.
« Ce qui était un cycle de correctifs trimestriel est maintenant devenu un cycle de correctifs de trente jours. En réalité, c’est plus comme un cycle de correctifs de quatre heures. Je demande, combien d’entre vous peuvent vraiment déployer des correctifs dans votre environnement dans les trente jours? Seulement deux sur vingt ont levé la main. »
Ses deux règles de fonctionnement méritent un usage plus large.
« Les lectures sont gratuites. Les écritures sont contrôlées et quelqu’un doit approuver. Ne jamais automatiser un mauvais processus. Soyez honnêtes avec vous-mêmes sur le processus. »
Arrêtez de demander si c’est faux
Un responsable de la confiance et de la sécurité chez Google a recadré le problème de l’information plus clairement que quiconque lors de l’événement, en utilisant les données de suivi de la plateforme.
« Dans la moitié des cas, les pixels ne sont pas modifiés du tout. Vous ne mentez pas avec les pixels, vous mentez avec le contexte, et vos détecteurs de deepfake sont complètement inutiles. Vous ne devriez pas demander si c’est faux ou réel. Vous devriez plutôt demander si c’est de confiance. Quel est le contexte? »
Ses exemples étaient ordinaires.
Un clip d’explosion circulait comme venant d’Iran ou de Gaza. Il montrait un dépôt d’engrais qui a explosé accidentellement dans un port en 2020.
Des avions présentés comme des avions russes au-dessus de Kyiv ont été filmés au-dessus de Moscou lors d’un défilé militaire dix ans plus tôt.
Un détecteur authentifie les deux.
« Nous ne décidons pas de la vérité. Nous faisons en sorte que la société puisse se faire ses propres opinions sur ce qu’elle voit. Mais nous voulons vous donner les outils les plus puissants pour faire ce travail. Parce que je suis à Berkeley ici, la cause profonde n’est pas seulement un problème technique. Et ce n’est pas seulement détecter ceci est mauvais, ceci est bon. La cause profonde est la science sociale. Nous voulons aussi améliorer la santé globale de la société, pas seulement prévenir une violation de politique maintenant à cette heure. »
La Finlande commence au jardin d’enfants
Le même orateur a offert la seule preuve de politique éducative entendue au sommet, et c’était presque une remarque en passant.
« Pour une raison quelconque, la Finlande a le plus haut niveau de confiance. J’entends qu’en Finlande, ils commencent à enseigner la littératie informationnelle aux enfants de la maternelle. »
La technologie fonctionne, votre organisation ne fonctionne pas
Sunita Verma, directrice technique d’Ironclad et auparavant presque dix-huit ans chez Google, a expliqué pourquoi l’adoption stagne.
Son explication est un diagnostic d’apprentissage.
« L’adoption de l’IA dans les entreprises ne stagne pas parce que la technologie ne fonctionne pas ou n’est pas là. Elle stagne pour d’autres raisons, et l’une de ces raisons tend à être les processus, la culture, et ainsi de suite. »
« Avec le mobile ou le cloud, quand vous aviez une erreur, l’erreur vous était évidente. La technologie repoussait. Mais avec l’IA, parce que l’interface est en langage naturel, juste en parlant vous avez l’impression que vous savez déjà ce que vous faites, sans réaliser que les résultats doivent être validés. »
Elle a été honnête sur son propre résultat négatif.
Deux mois après un programme de formation de vingt jours et un hackathon d’entreprise, la livraison n’avait pas accéléré.
« C’est en réalité la loi d’Amdahl. Vous mettez à jour une partie du processus, mais maintenant les parties du processus que vous n’avez pas touchées deviennent le goulot d’étranglement. Chaque fonction construisait avec l’IA, mais nous n’avions pas du tout changé le processus. »
Et un rappel à la salle sur qui d’autre existe.
« Beaucoup d’entre vous peuvent dire, je le savais déjà. Mais il y a une énorme main-d’œuvre là-bas qui n’est pas dans le même état d’esprit que beaucoup de personnes assises ici. »
L’indice de référence n’a jamais été construit pour vous
Emily Zhu a expliqué pourquoi les scores publiés ne peuvent pas répondre à une question institutionnelle.
« Ils mesurent vraiment le plafond. Cela mesure l’écart entre ce que le modèle peut faire en ce moment et le sommet de l’intelligence humaine. »
« Ils ne sont que soixante-dix pour cent, parce que les gens ne veulent pas que leur indice de référence soit saturé. Quand un indice de référence est saturé, les gens ne l’utilisent plus. »
Son recadrage appartient à tout document de gouvernance.
« Nous sommes limités par la fiabilité. La fiabilité n’est pas quelque chose que vous pouvez compromettre. Ce qui est compromis est ce que la politique est, comment les humains et les agents peuvent travailler ensemble de manière digne de confiance. »
« Le chemin de l’amélioration n’est pas une amélioration des scores. Le chemin de l’amélioration est le changement économique. »
« Ne demandez pas seulement à quel point l’agent est intelligent. Demandez ce qu’il est prêt à faire, et quelle contrainte, et quel est le risque et quel est le coût. »
Tout est inventé et les points ne comptent pas
Grace Tang, qui travaille sur la recherche en IA chez Hex, a dit la même chose sur son propre domaine avec moins de patience.
« Dernièrement, chaque fois que je regarde un nouvel indice de référence public pour les données, je suis frappée par la même chose. Tout est inventé, et les points ne comptent pas. »
« Nous devrions tester ces agents dans des environnements aussi réalistes que leurs futurs déploiements. »
Son exemple de bonne pratique analytique est le meilleur argument pour la sensibilité au contexte présenté au sommet.
Une question d’indice de référence qui demande le pays le plus touché par la fraude « manque de précision. Elle ne dit pas si vous cherchez le taux de fraude ou le volume de fraude. Un vrai analyste de données pourrait produire quelque chose qui ressemble plus à ce graphique, et on peut dire que c’est plus complet et correct. »
Le correcteur marque cette réponse comme fausse.
Ça compile, et c’est quand même faux
Rahul Krishna, scientifique senior en recherche chez IBM, a testé si les agents pouvaient migrer des logiciels d’entreprise en gardant le même comportement.
Son équipe a demandé à des experts de migrer manuellement 38 applications pour établir la référence.
« Seulement 2 à 14% des migrations avaient exactement le même comportement que l’application d’origine. Et la compilation était un mauvais indicateur, parce que cela nous a donné l’impression que les agents étaient vraiment bons pour la migration, mais le comportement n’a pas été préservé. »
Ce qui était en jeu, selon ses mots, était « la connaissance institutionnelle qui a été intégrée dans l’application au cours de plusieurs décennies. Cela inclut les règles métier, la sémantique des données, les flux de travail et les intégrations. »
Le budget IA de l’année a duré quatre mois
Dabarshi Raha, vice-président et ingénieur senior chez DigitalOcean, a rapporté ce que les clients lui demandent maintenant en premier.
« Regardez Uber. Ils ont épuisé tout leur budget annuel pour l’IA agentive en seulement quatre mois. De même, Walmart essaie de plafonner ses dépenses en IA. Donc toutes les entreprises ressentent cela. »
« La raison principale est l’adéquation. Vous n’avez pas besoin d’un modèle de pointe pour traiter chaque demande. »
Ori Goshen, cofondateur et directeur général du laboratoire de Tel-Aviv AI21, a décrit ce même changement comme un changement d’ère.
« La maximisation des jetons est finie. Maintenant tout le monde parle d’efficacité des jetons. La question est vraiment : comment obtenir le meilleur résultat client réel par dollar investi. »
Son résultat mérite l’attention de quiconque a un budget limité : un modèle faible qui génère de nombreuses réponses, un modèle plus fort qui les améliore, et un modèle de pointe qui produit la réponse finale était meilleur en qualité et environ trois fois moins cher que d’utiliser le modèle de pointe partout.
Le fossé est ce que vos gens savent déjà
Un architecte en chef de Microsoft qui conseille les leaders technologiques du Fortune 500 a formulé l’affirmation stratégique la plus claire des deux jours.
« Les modèles, la plateforme agentive, les connecteurs, tout cela est une marchandise que vous devez acheter. Mais le fossé pour l’organisation est son intelligence d’entreprise, comment je capture cette intelligence de mon organisation. »
« J’ai un connecteur pour y accéder, mais ce connecteur me donne simplement accès pour interroger ces rapports. Ce que je dois vraiment faire est comprendre comment mes équipes d’experts utilisent ces rapports, quand elles utilisent quoi. »
Il a aussi écarté l’idée de centraliser cette connaissance.
« Comment nous gérons nos comptes en Allemagne, ou comment d’autres gèrent les comptes au Japon, ce sont des nuances très différentes que vous ne pouvez pas mondialiser ni généraliser, et elles doivent être capturées à ce niveau local. »
Un ingénieur principal en apprentissage automatique chez Genentech est arrivé à la même conclusion du côté des données.
« Ce que nous avons réalisé plus tard, c’est que les agents ne fonctionnent pas dans le vide. Ils travaillent sur une couche de données. Et cette couche de données est quelque chose que nous devons aussi examiner. »
L’argent public achète quelque chose de différent
Alex Obadiah, directeur de programme à l’Advanced Research and Invention Agency au Royaume-Uni, a décrit un programme de cinquante millions de livres sterling sur trois ans pour construire la coordination d’agents comme un bien public.
La capacité qu’il a décrite est véritablement nouvelle.
« Deux agents peuvent entrer dans une salle sécurisée en utilisant du matériel protégé. Ils peuvent partager des informations entre eux et s’engager à supprimer ces informations de leur mémoire si l’accord échoue. Nous, les humains, nous pouvons seulement nous en approcher avec des accords de confidentialité, par exemple. »
« Nous voulons éviter de glisser vers la monoculture. Ce n’est pas seulement une question de diversité pour la diversité. Nous pensons que cela nous rend moins résilients face aux chocs, culturellement et technologiquement, et cela érode notre capacité d’action au fil du temps. »
« C’est pourquoi nous pensons que cela devrait être construit comme un bien public, et pourquoi nous sommes très heureux d’accorder ces subventions. »
Les poids ouverts, de l’institution hôte
Jennifer Chayes, doyenne fondatrice du Berkeley College of Computing, Data Science and Society, a fait la déclaration institutionnelle la plus forte de ces deux jours.
« Alors que les développements en IA se font de plus en plus à huis clos, je suis ici pour dire que nous devons garder les portes ouvertes et maintenir les conversations entre ceux qui développent et font progresser cette technologie. »
« Le seul moyen pour ce pays de maintenir son avance en IA et en économie de l’innovation, et pour une grande partie du monde aussi, est de développer nos modèles d’IA à poids ouverts. »
« Nous enseignons à nos étudiants comment travailler dans des équipes hybrides humain-IA. Nous pensons que l’IA créera de nouveaux types d’emplois qui impliqueront ces équipes hybrides, travaillant aux limites de ce qui est possible aujourd’hui. »
Quelqu’un dans la salle faisait du lobbying contre vous
Andrew Ng, fondateur de DeepLearning.AI et cofondateur de Coursera et de Google Brain, a utilisé la conversation de clôture pour décrire ce qu’il a vu.
« J’étais dans la salle quand plusieurs dirigeants ont dit aux régulateurs gouvernementaux des choses trompeuses et exagérées sur la sécurité de l’IA pour essayer de capturer la réglementation à leur avantage. »
Il a aussi donné un exemple pratique des modèles ouverts.
Quand son équipe a fait un examen de sécurité d’une plateforme agentive open source, « les deux modèles de frontière propriétaires ont refusé de continuer au-delà d’un certain point, et nous avons dû utiliser des modèles à poids ouverts pour terminer notre propre examen de sécurité. »
Sur le travail, il a été catégorique.
« L’idée que l’IA mettra cinquante pour cent des gens au chômage est fausse. Il n’y aura pas d’apocalypse de l’emploi liée à l’IA. » Et : « Quand l’IA fait une partie de notre travail, le reste devient encore plus précieux. »
La pizza qui a détourné une course
Ayush Agarwal, responsable de produit chez Uber, a terminé la session d’évaluation avec la meilleure illustration de pourquoi les scores hors ligne trompent.
« Bien que nous avions une évaluation hors ligne supérieure à quatre-vingt-quinze pour cent, une évaluation en production nous a montré que le nombre de tours par session était beaucoup plus élevé que la moyenne. Un client essayait de réserver une course vers SFO, mais quelqu’un en arrière-plan a dit, je veux de la pizza. Et l’agent a pris cela comme une commande et a commencé à les rediriger vers le restaurant de pizza le plus proche. »
Cela a été découvert seulement parce que des non-ingénieurs participaient à la boucle d’évaluation.
« Les évaluations avec des agents, c’est très différent. Ce ne sont pas des tests d’assurance qualité purement techniques, nous devions combler cet écart pour que les équipes les plus proches du client puissent les comprendre. »
« Nous avons changé les questions des équipes, de vos évaluations sont à quatre-vingt-dix pour cent ou plus, à, faites-vous vraiment confiance à vos évaluations ? Qu’avez-vous changé dans votre feuille de route parce que vos évaluations vous l’ont dit ? Votre ensemble de données a cinq mois et n’est plus à jour avec votre produit ? »
Pourquoi cela compte pour nous à la Fondation Apprendre Genève (TGLF)
L’abandon cognitif a été mesuré de l’intérieur de l’entreprise. Nous avons soutenu que la fluidité des résultats de l’IA masque les signaux qui déclenchent l’évaluation critique, et que les praticiens qui construisent leur raisonnement avant l’arrivée de l’IA sont ceux qui travaillent bien avec elle. Baxter est arrivée à la même conclusion avec des preuves sur le contrôle, la responsabilité et la créativité. Elle a proposé un mécanisme que nous pouvons tester: le travail parallèle indépendant de l’humain et de la machine, comparés ensuite. Sa deuxième conclusion est pratique. L’indépendance réduit aussi la complaisance. Un praticien qui apporte d’abord sa propre analyse ne peut pas simplement se la faire renvoyer avec des compliments.
Les humains aux commandes est la meilleure formulation, et nous devrions l’adopter. L’humain dans la boucle est devenu une expression qui autorise l’approbation automatique. Lawrence donne une alternative concrète. Vous ne pouvez pas déléguer l’autorité à un système que vous ne pouvez pas modéliser, et séparer les comptes de la responsabilité met une personne dans une position impossible. Dans les programmes de vaccination, la réponse aux épidémies et les opérations humanitaires, cette position coûte des vies.
Notre pyramide inversée a été confirmée en langage commercial. La couche visible et peu contextuelle des normes mondiales et des rapports standardisés est là où les agents travaillent déjà. La couche invisible et très contextuelle du savoir tacite de première ligne détient la valeur. Elle ne peut pas être achetée chez un fournisseur, et ne peut pas être centralisée parce que la pratique dans un district ne se généralise pas au suivant. Un architecte Microsoft et un ingénieur de Genentech ont dit exactement cela à une salle d’acheteurs.
Nous avons maintenant un langage d’achat qui nous manquait. Qu’est-ce qui est prêt pour la production aujourd’hui. Comment je mesure la préparation et je fais confiance au résultat. Comment je comble l’écart, puisque je ne peux pas livrer à quatre-vingt-dix pour cent. Quelle politique de surveillance humaine est nécessaire. Et avec les jetons d’un côté et les examinateurs de l’autre, est-ce que j’économise vraiment de l’argent. Ajoutez la préparation des données sur la qualité, la sémantique, l’accès, la structure et la généralisation, plus une échelle d’autorité gagnée, et il y a un module pratique pour le programme du certificat IA4Santé. Nos membres n’ont pas besoin de grimper un classement. Ils ont besoin de savoir ce qu’un agent est prêt à faire, sous quelle surveillance, à quel coût, et quand il doit rendre la main.
L’erreur composée devrait changer la manière dont nous construisons. Quatre-vingt-quinze pour cent par étape devient moins de soixante pour cent sur dix étapes. Pour notre propre pratique agentique, y compris le travail de Mme Claude Cardot, cela plaide pour des chaînes courtes avec des points de contrôle humains, des politiques d’abstention explicites, des écritures contrôlées, et l’évaluation traitée comme un moteur plutôt qu’un score. Le cas Uber rend la question de propriété claire. Les personnes les plus proches de la communauté devraient être propriétaires de l’évaluation de l’agent qui les sert. C’est l’apprentissage par les pairs appliqué à la surveillance des machines.
L’argument de l’écosystème ouvert a maintenant des alliés. Chayes a lié les poids ouverts à qui reçoit les avantages. Ng a montré une tâche de sécurité que seuls les modèles ouverts achèveraient. Obadiah finance le pluralisme comme résilience. Face aux outils de pointe verrouillés géographiquement et à un resserrement du calcul, ce sont les partenaires qui rendent l’intelligence en réseau un deuxième chemin viable.
Une absence vaut la peine d’être notée.
Un conférencier de la Fondation Wikimedia a été appelé sur scène et n’est pas apparu, ce qui a supprimé ce qui aurait probablement été la seule voix d’intérêt public non commerciale de ce bloc.
À travers six sessions, les voix du bien public étaient une agence de recherche britannique, un doyen d’université, un universitaire dans une piste de sécurité, et un conférencier de Google demandant à un public de Berkeley de prendre les sciences sociales au sérieux.
Tous les autres optimisaient le déploiement.
Si la santé de première ligne est absente de la salle, l’ordre du jour est défini sans elle.
Jim Fan, directeur de la robotique chez NVIDIA, a produit la prévision qui s’applique le plus précisément à la préparation de notre secteur.
« Les humains sont mauvais pour lire la courbe de mise à l’échelle, parce qu’en regardant en arrière cela semble plat, mais en regardant en avant c’est presque vertical. »
Le risque que nous avons nommé à Global AI Day n’a pas changé.
Le danger n’est pas que l’IA échoue dans la santé mondiale, mais qu’elle fonctionne assez bien pour préserver les inégalités que nous devons encore éliminer.
Cette fois, les personnes qui la construisent l’ont dit publiquement.