Suis-je un robot ?

Mon nom est dans LE fichier. Lequel ? Celui des "bots" russes qui au fil des discussions s'est transformé en "50000 comptes twitter qui ont parlé de l'affaire Benalla", oui, celle dont personne n'a parlé...  Le fait qu'un algorithme soit incapable de faire la différence entre un humain et un autre algorithme m'énerve. Bon d'accord, il y a souvent un mélange des genres. On peut imaginer un humain qui programme un tweet disant "bonjour" tous les matin :-)
Je viens de terminer le livre d'une collègue spécialiste de l'intelligence artificielle, Laurence Devillers :  "Des robots et des hommes". J'ai adoré et je pense que l'on aurait besoin de ses conseils pour garder les pieds sur Terre. 


C'est quoi un robot ? 

C'est quelque chose qui a au moins un capteur. Mes yeux, mes oreilles, sont des capteurs... Cela me permet de recevoir une information. 

Par exemple, le premier mai, j'ai hésité à aller manifester à Paris. Par flemme je suis restée à la maison mais j'ai suivi ce qui se passait. Non seulement le fait qu'un policier frappe des manifestants ne m'avait pas échappé, mais j'avais même pris des captures d'écran.


Un robot, a un processeur... Et là, ce n'est pas moi qui ai réfléchi, mais une certaine Sophie, qui dès le 4 mai fait le rapprochement avec une vidéo diffusée par France 3 revenant sur la première année au pouvoir de Macron.  [1]. 

Un robot a un actionneur, c'est-à-dire qu'il agit en fonction de ce qu'il a capté et des programmes qui ont été installé dans son processeur.  Ce 4 mai, ni Sophie, ni Taha, ni moi ne pouvaient mettre un nom "Benalla" sur les deux images. Qu'un policier se retrouve assurer la sécurité du président après la victoire à l'élection et frapper des manifestant un an plus tard n'est malheureusement pas si étonnant. A part crier au scandale, il n'y avait pas d'action possible.

L'actionneur, ce sera Ariane Chemin, journaliste au Monde, qui confirmera l'identité du policier violent du 1er mai avant d'écrire un article [2]
Un robot aurait-il pu faire cela ? C'est-à-dire, repérer une action qui n'a pas lieu d'être (violence policière), la signaler, rechercher dans sa base de données s'il y a des images similaires du coupable, trouver son nom et sa fonction et écrire un article pour alerter les citoyens que cet individu n'est pas un policier et donc qu'il y a un énorme problème à la tête de l'état ?
Techniquement, sans doute...  On aurait gagné 2 mois 1/2. Cependant, cela pose pas mal de questions éthiques, qui ne sont pas si différentes de toutes celles qu'ont posé les députés dans les semaines qui ont suivi ces révélations.   

 Marvin

Le livre commence par une fiction mettant en scène 5 foyers dans un même immeuble qui achètent chacun un robot de la même série, MARVIN. Ce nom est inspiré du robot qui a donné la réponse à la vie, l'univers et le reste dans l'oeuvre de Douglas Adams.


Les robots ont été achetés pour des raisons différentes. THEO et AIKO pour jouer aux cartes avec leurs propriétaires, qui sont amies.
RO42 a été acheté par le pharmacien qui suit des cours de robotique et espère le programmer.
JEDI aide les enfants à faire leurs devoirs.
LILY a été prescrit par un médecin pour soigner une dépression après un burn out.

Dans un premier temps, les 5 robots vont apprendre ce que les humains vont leur dire, qu'il s'agisse des bêtises d'un enfant ou d'informations personnelles. La propriétaire de Lily va avoir des doutes quand elle s'apercevra que les robots échangent des informations entre eux. Il n'y a plus de vie privée dans l'immeuble. A partir de cette fiction, l'auteur nous fait à la la fois part de ses recherches et nous met en garde.



Si Twitter était un robot, alors oui, on peut dire qu'on lui confie des informations personnelles. J'ai commencé à utiliser twitter avec un compte ayant le nom de ce blog "Zazaa". Anonyme ? Pas vraiment, vu qu'il n'y a pas 50 personnes qui parlent régulièrement de SETI en français. Cela ne prendrait pas 5 minutes à quelqu'un voulant savoir qui est derrière ce compte.

Mais alors, pourquoi me suis-je sentie gênée d'apparaître dans la liste des bots russes [5] ?  C'est très simple de créer un automate qui photographie les visages de tous ceux qui entrent à la cathédrale Notre Dame par exemple. Certains touristes pourraient apprécier et acheter la photo à la sortie. Un robot pourrait ensuite mettre des noms sous les visages, soit en demandant aux photographiés de remplir un formulaire pour recevoir la photo, soit en recherchant sur les réseaux sociaux ou dans certains fichiers. Le robot photographierait aussi ceux qui assistent aux offices. Imaginons que quand il atteint 50000 entrées, il mette ça dans un fichier xls et le diffuse au monde entier. Si en plus, ce fichier a pour description "liste des catholiques", ou "liste des touristes", on catégorise des gens sans leur demander leur avis. Un athée peut très bien avoir envie de visiter une église ou un touriste revenir aussi régulièrement qu'un pratiquant. 

Les 3 lois de la robotique

La première partie du livre "Des Robots et des Hommes" est largement consacrée à la science-fiction. Chaque chapitre débute par une citation d'Isaac Asimov. Et bien sûr, tout commence avec les trois lois de la robotique, plus que jamais d'actualité.

Première loi : 
Un robot ne peut blesser un être humain ni, par son inaction, permettre qu'un humain soit blessé.
Si la première loi était appliquée, il n'y aurait plus de réseaux sociaux. J'ai déjà parlé sur ce blog de Facebook qui permet à des prédateurs comme Khaled de s'en prendre à de jeunes collégiennes [3] ou de la propagande djihadiste qui pullule sur twitter [4]. Il est évident que les algorithmes de ces réseaux ne sont pas établis pour protéger des vies humaines.

Un réseau social, ce n'est pas un robot... Oui mais il y a des capteurs (qui lisent le contenu de ce que chacun envoie), des algorithmes qui analysent textes ou photo et des actionneurs qui affichent la publicité qui va bien. On peut parler d'inaction lorsque par exemple un individu a ajouté récemment une centaine de jeunes filles comme amies, avec des profils très similaires. Certains utilisent l'apprentissage machine (machine learning pour les intimes).

Deuxième loi : 
Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Première Loi.
Twitter se débrouille pour dénicher les informations qu'on ne lui donne pas. Par exemple, il a analysé ce que j'ai posté pour conclure que j'étais un homme. Les adjectifs ou l'accord du participe passé l'aurait amené à une autre conclusion, mais clairement, il n'obéit pas à mes ordres. Si je ne lui fournis pas ma date de naissance, ce n'est pas pour qu'il la devine.

En revanche, ces informations sont susceptibles d'intéresser d'autres humains, comme par exemple les annonceurs. Laurence Devillers insiste beaucoup sur les fantasmes. Ce n'est pas le robot qui décide tout seul de deviner mon sexe ou mon âge en fonction de ce que j'écris. C'est un développeur qui a écrit des lignes de code pour que cette fonction soit mise en place. Finalement, que l'info soit vraie ou fausse importe peu. S'il est possible que je sois dans le fichier des garçons de 13 ans, c'est peut-être parce que je m'enthousiasme à chaque lancement de fusée.


Troisième loi :
Un robot doit protéger sa propre existence aussi longtemps qu'une telle protection n'est pas en contradiction avec la Première et/ou la Deuxième Loi.
Dans la FAQ du document de EU Disinfloab [5], on apprend que l'ONG est financée par twitter qui s'est racheté une éthique après avoir reçu de l'argent de Russia Today et Spoutnik pendant la campagne de l'élection américaine.

Il suffit de lire les CGU de Twitter pour se rendre compte que la troisième loi passe avant toutes les autres. Toute société cherchera d'abord à se protéger, puis à protéger sa création (même si c'est un robot tueur) avant de protéger un humain. C'est ce qu'explique très bien le site "Les Crises" dans un document relativement complet [6].

Imaginons maintenant des drones avec un peu d'explosifs programmés pour tuer un certain type d'individus en utilisant la reconnaissance faciale : les blonds, les jeunes, les noirs, ceux qui ont un chapeau de clown ou un autocollant de la France Insoumise dans une manif. Qui va lui apprendre à respecter la première ou la deuxième loi de la robotique ? Les victimes auront-elles signé les conditions générales d'utilisation ?


En lisant le livre publié en 2017, j'ai eu l'impression qu'il était déjà dépassé, qu'il faudrait l'actualiser tous les 6 mois, tous les mois, toutes les semaines. Il faudrait rajouter des "Oui mais..." par exemple, "un robot doit respecter les trois lois de la robotique, oui mais la seule solution que cela soit respecté est d'interdire les robots tueurs, or l'armée va financer les recherches en robotique si elle peut utiliser ce qui en sortira." Et même si toutes les nations signaient un tel accord, qui dit qu'une organisation ne fabriquerait de robot tueur dans son coin ? 

Onze commandements pour des robots sociaux. 

Laurence Devillers ne travaille pas sur les robots tueurs ou sur l'algorithme de twitter, mais sur les robots sociaux comme les MARVIN. Elle contribue à l'élaboration d'une charte internationale qui présente 4 leviers importants :

  1. éduquer ingénieurs, chercheurs, journalistes...
  2. expliciter les règles morales pour ces robots.
  3. faire des règles et des outils qui soient capables de vérifier ces règles.
  4. nous munir de règles juridiques en cas d'abus.



A la fin de sa conférence, elle énonce 5 commandements qui s'appliquent à sa robote. Dans le livre, il y en a 11. Passons les en revue, non pas avec un robot parce que je n'en ai pas sous la main, mais avec l'histoire de Disinfolab.


1- Tu ne divulgueras pas mes données à n'importe qui.

L'ONG a utilisé des outils payants comme Visibrain, mais aussi des outils auxquels tout le monde a accès, comme le logiciel de Lucas Hammer [7]. Il permet de voir par exemple quand ont été postés les 600 derniers messages. J'ai pris au hasard un.e. expert.e. en IA listé dans cet article [8]


Il suffit de regarder l'interface utilisée pour découvrir de qui il s'agit. On note d'ailleurs que selon les critères de Disinfolab [5] "les rythmes de publication assez bizarres par rapport à la vie classique d’un être humain."

Bref, twitter divulgue ses données à n'importe qui... J'ai même découvert les marques des smartphones de quelques célébrités grâce à cet outil.

2- Tu oublieras tout si je te le demande

J'ai beau chercher, je n'ai trouvé que 5 tweets sur mon compte concernant l'affaire Benalla entre le 19 juillet et le 3 août. [9]

J'ai utilisé les requêtes indiquées dans [5]. Seules ces deux lignes ont donné des résultats.
(AllexandreBenalla OR "alexandre benalla" OR BenallaGate OR affairebenalla OR "Vincent Crase") from:piotelat since:2018-07-19 until:2018-08-03
(macron OR emannuelmacron OR élysée OR elysee OR contrescarpe OR benalla OR crase) from:piotelat since:2018-07-19 until:2018-08-03
J'ai sans doute effacé des tweets. Souvent, il m'arrive d'en rediffuser (RT) pendant un jour ou deux, le temps que l'information soit passée. Typiquement, j'ai pu retransmettre les premiers messages diffusés sur le sujet parce que ça me semblait incroyable, puis les supprimer à partir du moment où tout le monde connaissait cette affaire. Or d'après le fichier, j'en ai diffusé 16.


3- Tu pourras te déconnecter d'Internet si je te le demande !

Le comportement de la CNIL sur Twitter ferait rêver le Dr Ducanda : pas d'écran avant 8h, ni après 18h.


4- Tu seras régulièrement contrôlé pour évaluer ce que tu as appris.

La science-fiction regorge d'histoires d'intelligences artificielles qui apprennent des choses pour lesquelles elles n'étaient pas programmées. Par exemple, Netflix a diffusé le film Tau. Est-ce qu'un humain obéit toujours à ses créateurs ? Pourquoi une IA le ferait, surtout si elle découvre qu'elle peut apprendre d'autres choses ?


5- Tu pourras toujours m'expliquer tes comportements si je te le demande !

Actuellement, c'est assez facile de comprendre pourquoi un programme agit comme ça. En général, il suffit de rechercher le bout de code qui fait telle action, de jeter un œil dans les fichiers journaux (logs pour les intimes) ou de fouiller dans la base de données.
Ce qui est étonnant dans l'histoire de DisinfoLab, c'est qu'ils aient publié les données personnelles au lieu de publier les algorithmes ou la méthodologie.

Par exemple, mon ordinateur est un peu lent car Boinc est en train de tourner. Si je lui demande, il me dit ce qu'il fait.


6- Tu seras loyal !

Et si un robot de voulait pas que l'on sache qu'il est en train d'analyser les signaux à la recherche d'extraterrestre et effaçait les lignes de journaux correspondantes ?

Alice est un bon exemple de robot très loyal avec ses concepteurs !


7- Tu seras empathique et simuleras des émotions seulement si je le sais !

Un robot faisant semblant de paniquer pour atténuer notre panique ? Un robot proférant d'une voix rassurante "n'ayez pas peur" ou nous disant "Je comprends ce que tu as ressenti en voyant ton nom dans le fichier, moi même..." !



8 - Tu simuleras ma mémoire et veilleras à ce que je ne devienne pas trop dépendant de toi.

Enfant, j'avais sans doute une meilleure mémoire des chiffres qu'actuellement, parce que je devais retenir des numéros de téléphone, par exemple pour pouvoir joindre mes parents en cas d'urgence.
Il y avait aussi ceux que l'on faisait souvent, en s'amusant à tourner le cadran (et à tout recommencer en cas d'erreur). Aujourd'hui, tout cela est fini. Les numéros sont dans le téléphone. Il n'est plus nécessaire de les mémoriser.
Mais ne doit-on pas en connaître quand même quelques uns, ne serait ce que pour appeler en cas d'urgence dans une forêt lointaine ?

9- Tu feras attention à ce que je ne te confonde pas avec un autre être humain !

Si je regarde les tweets de Starman, il a un comportement très humain. Il utilise Twitter pour Iphone, et dort entre 2h et 9h du matin.


Selon les critères de  Disinfolab [5], il y a un humain en orbite depuis plusieurs mois.

Bon, d'accord, il y a un service de communication derrière, donc un humain qui a des horaires de travail, mais là aussi, ce serait sympa de l'indiquer. Par exemple, quand il venait d'être élu jeune député, Cédric Villani ajoutait CV et une araignée à ces tweets quand il les écrivait lui-même. [10] A priori, il ne le fait plus !  

10- Tu apprendras à vivre avec des humains et tu t'adapteras aux règles sociales.

Je m'imagine déjà expliquer à un robot que le 1er mai, c'est la fête du travail. Il ne doit rien faire, mais ce serait bien qu'il aille à Paris manifester à ma place et prendre quelques photos de policiers, vrais ou faux...



On sait jamais, le citoyen pourrait en avoir besoin... 

11- Tu seras bienveillant et utile. Et, pourquoi pas, doué d'un peu d'humour !


Quand on a eu un Furby, peluche très utile pour jouer à "1 2 3 soleil", on sait à quoi ressemble l'humour de robot.

Furby : Toc toc
Moi :  Qui est là ?
F : C'est Harry.
M : Harry comment ?
F : Haricot vert !

Les dernières versions ont peut-être évolué, mais on était loin de l'intelligence artificielle !

Pour en revenir au livre "Des robots et des hommes", sa lecture est plus que jamais indispensable dans un monde complexe, où comme on le voit avec l'affaire Benalla, le militaire était avant tout politique, mais il y a aussi un aspect commercial avec les sommes importantes versées par Twitter à une ONG. Mettre un peu d'éthique là-dedans devient urgent !
  1. Sophie sur Twitter.
  2. A. Duchemin, « Le Monde » identifie, sur une vidéo, un collaborateur de Macron frappant un manifestant, le 1er mai, à Paris, 18/07/2018
  3. E. Piotelat, Aristote et Facebook, 11/2015
  4. E. Piotelat, L'humour pour combattre Daech, 12/2015
  5. EU DisinfoLab, Affaire Benalla, les ressorts d'un hyperactivisme sur Twitter
  6. Les crises,  Tous fichés ? Comment Twitter permet le fichage politique de la population
  7. Account analytics de Lucas Hammer
  8. J. Desk, 10 experts de l'Intelligence Artificielle à suivre
  9. Moments Benalla.
  10. E. Piotelat, Le magicien d'Oz député. 

Commentaires

Emmanuelle a dit…
dis moi, Zazaa, le codeur qui a choisi l'algo pour déterminer le genre des twitters... y serait pas un peu pétri de préjugés sur le genre, justement ? Au hasard, tes thématiques d'intérêt (astronomie, informatique, robotique, mathématiques, etc) ne seraient-elles pas, à tout hasard, faussement étiquetées comme masculines ? 0:-)