La journée se déroulera à l'Université Pierre et Marie Curie (UMPC), campus Jussieu (4 place Jussieu - Paris)


Amphithéatre 25
08:30	Accueil
09:00	Yves Demazeau (AFIA) et Géry Casiez (AFIHM) Présentation de l'AFIA et de l'AFIHM
09:20	Jean-Paul Barthes (HEUDIASYC; Compiegne) Interface multimodale sur une table graphique multi-touch multi-utilisateurs (détails)
09:50	Evelyne Lutton (INRA; Grignon) Modelling with EVE (détails)
10:20	Pause
10:40	Nataliya Kosmyna (Inria; Rennes) Co-Apprentissage pour Les Interfaces Cerveau-Ordinateur: de la Science Fiction à l'IHM (détails)
11:10	Christophe Kolski (LAMIH; Valenciennes) Apport des systèmes multi-agents à l'interaction tangible sur table interactive RFID (détails), (slides)
11:40	Caroline Appert (LRI; Saclay) Reconnaître un objet à partir de points de contact sur une surface tactile (détails), (slides)
12:10	Déjeuner
14:00	Fanny Chevalier (Inria; Lille) Vers une meilleure appréciation des algorithmes qui nous entourent (détails)
14:30	Alexandra Delmas (Inria; Bordeaux) Conception participative d’un e-learning intelligent (détails)
15:00	Nicolas Roussel (Inria; Lille) Les systèmes autonomes sont des outils informatiques comme les autres (détails), (slides)
Salle de reception au 24eme étage de la tour Jussieu
16:00	Démonstrations, posters et échanges Dessine moi une mission (détails) Plateforme ARIA-Valuspa (détails) Evolutionary Visual Exploration using EvoGraphDice (détails) Framework SMA pour visualisation multi-écrans (détails) Visualisation de données temporelles et/ou géographiques (détails) MarkPad: Technique d'interaction pour touchpad (détails) Environnement virtuel de formation pour des équipes de secouristes (détails) Un conseiller touristique conversationnel pour La Charité-sur-Loire (détails) Contrôle d’un droide BB-8 par la pensée (détails) Implémentation d'un algorithme d'apprentissage développemental dans un robot social d'interaction (détails)
18:00	Fin de la journée

Détails des présentations

Jean-Paul Barthes (HEUDIASYC; Compiegne)

Interface multimodale sur une table graphique multi-touch multi-utilisateurs

La presentation decrit la conception et la mise en œuvre d’une interface multimodale (voix+toucher) pour des utilisateurs d’une table graphique interactive multi-”touch” multi-utilisateurs. Une courte video montre l’interface en action. L’architecture de l’IHM repose sur la coopération entre deux plates-formes multi-agents, l’une gérant la partie graphique et toucher (JADE en Java), l’autre la partie interaction avec l’utilisateur sous la forme d’un agent assistant personnel (OMAS en Lisp). La presentation discute des problemes rencontrés et des solutions mises en œuvre pour les surmonter. Parmi les problèmes rencontres :

la correspondance entre l’element graphique sur la table géré par JADE et l’assistant personnel de l’utilisateur gere par OMAS (résolution de l’ambiguité quand plusieurs utilisateurs sont autour de la table)
le retour de ce que le système décode
la prise en compte des références (exemple : ”supprimer CE Post it”)
le bruit ambiant

Evelyne Lutton (INRA; Grignon) et Nadia Boukhelifa (INRA; Grignon)

Modelling with EVE

Decision makers often have to consider multiple criteria, possibly conflicting ones at once, when choosing a solution to a problem. Trying to satisfy these objectives can result in a potentially large number of candidate solutions to be considered. Exploring this search space is challenging, especially when users have to consider tradeoffs between more than 3 objectives at the same time. In this talk, we will describe a framework and a tool for visualising and exploring Pareto frontiers called EvoGraphDice. The approach is to map the multidimensional problem to the 2D visual space, and using evolutionary computation, to guide the user towards areas of “best” tradeoffs. The results of a preliminary experiment from the oenology domain shows that using our approach, domain experts were able to find and easily compare alternative trade-offs.

Nataliya Kosmyna (Inria; Rennes)

Co-Apprentissage pour Les Interfaces Cerveau-Ordinateur: de la Science Fiction à l'IHM

Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d’exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système. Cependant, à l’heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés. Les ICO ont de nombreuses limitations :

La variabilité dans les signaux: les signaux sont différents d’une personne à l’autre voire même chez un même individu à des moments différents.
Des sessions d’entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d’apprentissage.
Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l’utilisateur doit exécuter.

Je présenterai les solutions aux problèmes sus décrits afin d’obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d’IHM. L’idée principale est l’implantation du co-apprentissage dans la boucle ICO et l’exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l’amélioration de l’utilisabilité des ICO. Ma présentation se structure autour de trois axes suivants:

Une architecture générale basée sur les principes des ICO asynchrones et sur l’entraînement incrémental combinés avec une séparation aveugle des sources et un classifier à distance minimum. J’évalue l’architecture sur une tache de pilotage de drone au long d’un mois et concluons qu’elle est en adéquation avec les besoins d’une utilisation quotidienne ludique.
Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d’une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Je combine la visualisation avec un feedback direct des utilisateurs leur permettant d’interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d’entraînement en temps réel. J’évalue cette contribution sur un jeu de tir simple et découvre qu’il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu’une telle combinaison est bien plus agréable à utiliser qu’un entraînement d’ICO standard.
Enfin, je développe une ICO fonctionnelle à base d’imagerie conceptuelle à l’aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l’imagination de catégories sémantiques et de concepts. Je démontre que ce type d’ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, je propose un nouveau protocole d’entraînement implicite pour les ICO à base d’Imagerie Conceptuelle basé sur l’amorçage sémantique et conceptuel, ce qui permet d’intégrer l’entraînement dans le scénario et l’environnement d’une jeu vidéo DOOM 3 sans que l’utilisateur n’en soit conscient. Mon protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.

Christophe Kolski (LAMIH; Valenciennes), Emmanuel Adam (LAMIH; Valenciennes), Sophie Lepreux (LAMIH; Valenciennes), Yoann Lebrun (LAMIH et PRL; Valenciennes), René Mandiau (LAMIH; Valenciennes)

Apport des systèmes multi-agents à l'interaction tangible sur table interactive RFID

L'interaction tangible est un domaine de recherche en plein essor. La manipulation d'objets tangibles par des utilisateurs simultanément autour d'une ou plusieurs tables interactives débouche sur de nouvelles problématiques de recherche. Dans cette présentation, on s'intéresse à l'exploitation d'objets tangibles sur table interactive équipée de la technologie sans contact RFID. Une plateforme multi-agent est utilisée pour l'interaction distribuée : celle-ci concerne aussi bien les objets présents simultanément sur une table, que les supports impliqués dans l'interaction. Les concepts de base de ces travaux, impliquant chercheurs en interaction homme-machine et en systèmes multi-agents, seront expliqués et illustrés d'exemples.

Caroline Appert (LRI; Saclay)

Reconnaître un objet à partir de points de contact sur une surface tactile

Cet exposé présentera les travaux autour des TouchTokens. Le principe sur lequel repose les TouchTokens consiste à placer des encoches sur des objets afin de contraindre la façon dont les utilisateurs attrapent ces objets. Ainsi, lorsque les utilisateurs tiennent l'objet tout en étant en contact avec l'écran, la surface tactile capture une trace multi-points spécifique à l'objet.

Fanny Chevalier (Inria; Lille)

Vers une meilleure appréciation des algorithmes qui nous entourent

Cet exposé vise à initier une discussion sur les enjeux associés au développement d’algorithmes de plus en plus complexes et puissants, mais dont le fonctionnement devient de plus en plus opaque à la majorité des personnes pour lesquelles ils sont destinés. Au travers d’exemples concrets, elle illustrera le potentiel d’avoir une démarche plus transparente, et le rôle que la visualisation d’information et de l’interaction Homme-machine peuvent jouer dans ce processus.

Alexandra Delmas (Inria; Bordeaux)

Conception participative d’un e-learning intelligent

D’après les dernière données épidémiologiques, l’asthme touche plus de 4 millions de personnes, soit 6,7% de la population. Elle est la première maladie chronique chez les enfants, en touchant près de 10% d’entre eux. Cette maladie en constante augmentation entraine de nombreux coûts de santé publique du fait de nombreuses hospitalisations et de décès à cause d’un manque d’adhésion aux traitements. Un patient adhère à son traitement lorsqu’il prend son traitement comme le médecin le lui a prescris et adopte les comportements sanitaires adaptés. Chez les enfants, plus de 50% n’adhèrent pas à leur traitement à cause notamment d’un manque de connaissances liées à la maladie et à son environnement. Dans la littérature il n’existe pas d’outils numériques réellement adaptés à la façon d’apprendre de la personne et à son environnement, notamment sur des sujets liés à la maladie. Or il existe déjà des outils d’apprentissage automatiques dans d’autres secteurs, notamment dans les mathématiques avec des systèmes de type bandit où les exercices, en soutien du professeur, sont adaptés et proposés de façon automatique à l’élève. Le projet KidBreath correspond au transfert de l’algorithme d’optimisation d’apprentissage, où des exercices liés à l’asthme sont adaptés de façon automatique à l’enfant asthmatique. Afin de concevoir un tel système où les exercices doivent correspondre au mieux aux besoins, une méthode de conception participative a été mise en place avec le Centre d’Education Thérapeutique de Bordeaux Aquitaine où experts et patients ont participé à la conception des activités, dans le fond comme dans la forme. Une étude préliminaire auprès de 20 élèves contrôles dont 3 asthmatiques a confirmé la satisfaction de l’outil au niveau utilisabilité, motivation et connaissances, d’autant plus chez les enfants asthmatiques. Une étude d’utilisation au domicile sur 3 mois est prévue pour début 2017 pour évaluer l’efficacité de l’algorithme au niveau connaissance, motivation, perception, et comportement.

Nicolas Roussel (Inria; Lille)

Les systèmes autonomes sont des outils informatiques comme les autres

Les progrès de l’Apprentissage Automatique et la diversification de ses usages ont marqué notre décennie. Des systèmes de recommandation déterminent depuis longtemps les publicités et actualités que nous voyons, parti- cipent aux décisions d’attribution de prêts bancaires, etc. Les méthodes d’apprentissage profond sont maintenant utilisées par des “assistants personnels numériques” pour reconnaître notre parole. Demain, elles feront peut-être rouler ou voler des véhicules (semi-)autonomes.

Des chercheuses et chercheurs en Sciences du numérique organisent et participent à des réflexions sur les enjeux légaux et éthiques de cette évolution, au sein de la CERNA par exemple. Mais le rôle des chercheurs, ne doit pas se limiter à des questionnements éthiques. Comme l’ont récemment dit Crawford & Whittaker, “If the social impacts of artificial intelligence are hard to see, it is critical to find rigorous ways to make them more visible and accountable. We need new tools to allow us to know how and when automated decisions are materially affecting our lives — and, if necessary, to contest them.”. Tesla demande aux conducteurs de ses voitures avec Autopilot de surveiller ce qu’il fait et d’être prêt à reprendre le contrôle. Mais de quoi disposent-ils pour le faire ? Comment se rendre compte que ce pilote automatique ne perçoit pas correctement ce qui l’entoure, à un instant donné? Dans un autre domaine, savez-vous tout ce que peut faire Siri, d’Apple ? Savez-vous que si je trouve votre iPhone verrouillé, je peux demander à Siri d’envoyer un message en votre nom ? Savez-vous comment l’en empêcher ?

Comment savoir ce que sait faire un système autonome ? Comment savoir ce qu’il ne sait pas faire ? Comment savoir ce qu’il est en train de faire ? Comment comprendre pourquoi et comment il le fait ? Comment influer sur ce qu’il fait ? Comment lui (re)prendre le contrôle ? Ces questions ne sont pas nécessairement nouvelles, mais au moment d’une généralisation possible des systèmes informatiques autonomes, elles sont d’une extrême importance. Nous devons travailler à la conception, la mise en œuvre et l’évaluation d’éléments de réponse concrets à ces questions. Nous devons produire des connaissances, méthodes et outils pour faciliter la surveillance (au sens “observer avec attention pour comprendre le comportement”) et la reprise en main des systèmes informatiques autonomes.

Détails des démonstrations

Lois Vahne

Dessine moi une mission

Nous voulons faire collaborer une équipe mixte composée d'humains et de robots. Cette équipe est vouée à agir en situation de danger (catastrophe, incendie, combats), avec des missions de type exploration, cartographie, recherche d'objets et de personnes, prise d'image, prise de donnée etc. Dans ces conditions, il est important de fournir une interface intuitive et efficace à l'utilisateur ainsi qu'un système efficace et robuste. C'est à cette fin que nous avons créé une interface graphique intuitive qui consiste à "dessiner" les instructions que l'on veut donner au système (va ici, ne passe pas par là, évite cette zone, celle-ci est bien). Les dessins produits sont partagés entre les différents utilisateurs. Alors, le système, fondé sur une technologie hybride combinant SMA et MDP spécialisés, se charge d'allouer ces tâches aux robots. Les robots élus vont alors de calculer une stratégie pour atteindre leur buts. Les robots sans but doivent alors s'adapter de manière autonome de manière à supporter le reste du système (ex : rester en formation, cartographier l'espace, ne pas interférer avec les autres robots et utilisateurs). C'est un début satisfaisant, mais nous souhaitons étendre davantage les possibilités du système (plus d'ordres possibles ? Des ordres différents ? D'autres formes d'interaction ?). Nous vous invitons donc à venir tester cette interface in situ (et avec les robots si la logistique le permet !) ainsi qu'à partager vos impressions et recommandations pour améliorer l'interface graphique ainsi que l'IA qui est derrière.

Catherine Pelachaud (ISIR; Paris)

Plateforme Aria-Valuspa

Dans le cadre du projet H2020 Aria-Valuspa nous développons une architecture modulaire permettant la création d’agents virtuels capable de rechercher des informations sur un sujet donné.

Nadia Boukhelifa (INRA; Grignon)

Evolutionary Visual Exploration using EvoGraphDice

In this demo, we will present a system for exploring multidimensional datasets (EvoGraphDice) using a scatterplot matrix and an evolutionary algorithm that guides the exploration towards interesting viewpoints of the dataset. Starting from dimensions whose values are automatically calculated by a PCA, an interactive evolutionary algorithm progressively builds non-trivial viewpoints in the form of linear and non-linear dimension combinations, to help users discover new interesting views and relationships in their data. The criteria for evolving new dimensions is not known a priori and are partially specified by the user via an interactive interface: The user selects views with meaningful or interesting visual patterns and provides a satisfaction score. The system calibrates a fitness function (optimised by the evolutionary algorithm) to take into account the user input, and then calculates new views. We will showcase the functionalites of the tool using a game task with various levels of difficulty

Valérie Renault, Florent Carlier et Alexandre Schmitt (CREN, Le Mans)

Framework SMA pour visualisation multi-écrans

Triskell3S est une plateforme multi-agents embarquée permettant l'étude de modèles multi-agents embarqués au plus près du hardware des objets physiques afin de créer des "IoT-a" (Internet Of Things - Agents). Un mur d'écrans interactif et modulable permet d'éprouver cette plateforme tout en maintenant un processus de co-construction des usages.

Bruno Fruchard (Telecom ParisTech; Paris)

MarkPad: Technique d'interaction pour touchpad

MarkPad est une nouvelle technique d'interaction permettant d'effectuer un large nombre de raccourcis gestuels en tirant partie du touchpad d'un ordinateur. Partant du bord du touchpad, ces gestes n'entrent pas en conflit avec les interactions usuelles et permettent l'activation rapide de favoris (ouvrir des pages Web, lancer des applications, des scripts ou toute autre commande). Des marques tactiles ou visuelles facilitent l'interaction en guidant l’utilisateur.

Frederic Vernier (LIMSI; Orsay)

Visualisation de données temporelles et/ou géographiques

De nombreux jeux de données comporte une forte dimension temporelle. Lorsque plusieurs variables évoluent dans le temps, deux approches se font concurrence : placer de nombreuses courbes dans le même graphe ou bien réduire la taille de chaque graphe pour les placer les unes à coté des autres. Que se soit pour prédire le futur ou expliquer le passé, la visualisation de données temporelles ne peut plus se contenter de proposer des images statiques. Je présenterai deux systèmes respectivement appelés GapChart et StratumGraph qui illustrent les deux familles de visualisations et comment l'interaction permet de placer les besoins du consommateur de donnée au centre des représentations.

Lauriane Huguet (Compiègne)

Environnement virtuel de formation pour des équipes de secouristes

Le projet VICTEAMS a pour but de proposer un outils de formation en environnement virtuel pour des leaders d'équipe médicale d'urgence. Dans cet environnement, l'apprenant joue le rôle de leader et les membres de l'équipe sont des personnages virtuels autonomes (PVA). Dans un but de formation, les PVA doivent rendrent compte de comportement erronnés proches de ceux observés sur le terrain. Ils choisissent alors leurs actions à partir d'un modèle de l'activité en fonction de leurs caractéristiques propres (style de followership, mindfulness, prise en compte du collectif, croyances sur la situation). L'apprenant peut quant à lui interagir avec la scène virtuelle et les PVA en effectuant des actions simples ou en dialogant avec les PVA.

Yacoubi Alya (DAVI)

Un conseiller touristique conversationnel pour La Charité-sur-Loire

La société DAVI société technologique spécialistes des agents conversationnels, concentre ses efforts depuis 2010 sur l’amélioration de l’interaction homme-machine dans le cadre d’assistance personnalisée de la relation client ou de la formation. Les agents conversationnels de DAVI sont dotés d’une capacité à comprendre les questions de l’utilisateur en langage naturel sur un domaine expert et répondre d’une manière efficace et naturelle. Ils peuvent avoir une apparence humanisée pour une interaction multimodale, avoir la forme d’un chatbot qui interagit en texte ou d’un interlocuteur téléphonique. Nous présenterons lors de cette journée, un exemple d’un agent conversationnel développé par DAVI expert en activités touristiques de la ville de la Charité

Natalya Kosmyna (INRIA, Rennes)

Contrôle d’un droide BB-8 par la pensée

Contrôle d’un droide BB-8 par la pensée » (bon c’est le titre habituel, mais je peux faire moins « sexy » s’il faut :-) ) "Les ICO permettent à une personne d’interagir avec un système informatique par l’intermédiaire de l’activité cérébrale. Le type d’interface le plus courant mesure l’activité du cerveau par Électroencéphalographie ou EEG grâce à des électrodes placées sur le scalpe. Le principe est d’enregistrer les signaux d’une personne à qui l’on a demandé de réaliser plusieurs actions mentales (imaginer un mouvement de la main, visualiser un objet) et d’ensuite entraîner un algorithme de classification à reconnaitre les actions mentales correspondantes en temps réel et a leur associer une action déclenchée sur un système informatique. Le BB-8 étant un droide de Sphero, télécommandé par Bluetooth, on peut aisément lui envoyer des commandes depuis un ordinateur à portée. Il est donc possible d’utiliser les commandes générées par l’Interface Cerveau Ordinateur pour le contrôler. Il y a deux moyens de contrôler le BB-8. Le premier est par mouvement imaginé, où il faut imaginer qu’on bouge ces pieds ou mains pour contrôler le droide. L’autre est l’imagination de concepts où l’on doit imaginer/visualiser des objets évoquant des concepts qui correspondent à des actions du droide.

Amelie Cordier (Hoomano)

Implémentation d'un algorithme d'apprentissage développemental dans un robot social d'interaction

L'apprentissage développemental est un domaine de l'intelligence artificielle qui s'inspire des travaux en psychologie cognitive de Jean Piaget. Cette forme d'apprentissage se fonde sur l'exploitation de régularités sensori-motrices. Les agents développementaux sont capables de construire des connaissances issues de l'exploitation des régularités sensori-mortices qu'ils rencontrent. Ils n'ont pas besoin, pour évoluer, d'une modélisation a priori de leur environnement. Ils sont intrinsèquement motivés. Cette approche a déjà fait ses preuves dans plusieurs contextes en simulation. La société Hoomano développe des logiciels pour les robots sociaux d'interaction (tels que Sanbot, Pepper, Nao, Heasy, etc.). Dans le cadre de nos activités R&D, nous expérimentons le transfert des résultats obtenus en simulation pour le contexte des interactions sociales sur des robots. Dans cette démonstration, nous montrerons un premier exemple d'utilisation de cet algorithme sur un robot Nao, ainsi qu'une interface qui permet de visualiser pendant l'expérimentation comment sont construites les régularités sensori-motrices exploitées par le robot.