Transparència algorísmica: Xatbots conversacionals

Transparència algorísmica: Xatbots conversacionals de l’AOC

Visió general 

L’assistent virtual conversacional de l’AOC, també anomenat xatbot, és un servei de suport a empleats públics i ciutadania, 24 hores els 7 dies de la setmana, que té com a objectiu facilitar els processos d’identificació digital i accés a la informació del portal de transparència, així com millorar l’experiència dels usuaris i incrementar l’autoresolució de les incidències i consultes. 

El servei proporciona informació rellevant a les preguntes específiques de cada persona usuària de manera més fàcil i àgil que cercant la informació al lloc web. 

Casos d’ús 

Actualment l’AOC aplica l’assistent virtual conversacional a tres àrees de contingut:

La Paula és el xatbot que dona suport al servei VALid sobre les qüestions més habituals que plantegen els usuaris en el procés d’identificació dels serveis de tramitació i notificació de l’AOC. 

La Rita es troba a la pàgina de sol·licitud i gestió de l’idCAT Certificat (https://idcat.cat/) i ajuda a resoldre els dubtes i preguntes més comunes relacionats amb l’obtenció, ús i renovació de l’idCAT Certificat. 

Un nou xatbot al portal de Transparència i Seu electrònica que ajuda a trobar la informació o el tràmit que la persona usuària necessita. Està en fase pilot a cinc ajuntaments: Fornells de la Selva, Llagostera, Sarrià de Ter, Tordera i Tremp. 

Els xatbots de l’AOC són capaços de gestionar consultes complexes perquè interpreten el llenguatge natural de les persones mitjançant algorismes d’intel·ligència artificial.

Responen basant-se en: 

  1. La informació pública del portal de Suport de l’AOC (https://www.aoc.cat/suport) que es troba estructurada en forma de preguntes-respostes més freqüents (FAQ). Aquesta informació es prepara i es carrega en el bot de forma manual. 
  2. L’entrenament dels flux guiats de conversa basats en regles. 

Els assistents conversacionals augmenten l’eficiència de l’Administració Oberta de Catalunya en permetre l’automatització de les respostes a les preguntes més freqüents que es reben pel canal web. 

Informació de contacte 

Organisme responsable
Administració Oberta de Catalunya 

Equip de contacte per a consultes
Subdirecció d’Innovació i Dades

Correu-e de l’equip
innovacio@aoc.cat  

Proveïdor extern
ONE MILLION BOT, S.L. 

Correu-e del proveïdor
info@1millionbot.com  

Informació més detallada sobre el sistema 

Familiaritzeu-vos amb la informació que utilitza el sistema, la lògica de funcionament de l’algorisme i la seva governança. 

Conjunts de dades 

S’utilitzen dues fonts principals de dades: 

Dades per entrenar els algorismes 

Informació pública del portal de Suport de l’AOC (https://www.aoc.cat/suport) que es troba estructurada en forma de preguntes-respostes de l’àrea de contingut del xatbot. Són les preguntes de mostra formulades pels usuaris quan son atesos pel Centre d’Atenció d’Usuaris (CAU) de l’AOC. 

La informació és propietat de l’AOC i es comparteix sota la llicència Creative Commons CC-Zero. Es pot copiar, modificar, distribuir i reutilitzar sense demanar permís, fins i tot amb finalitats comercials. 

El material d’entrenament no conté dades personals (motiu pel qual no s’ha fet l’anàlisi de protecció de dades) 

La informació es carrega al sistema algorítmic de manera manual. Algunes de les preguntes de mostra també s’utilitzen per provar el model. 

Registre de la conversa 

El sistema registra en un fitxer les preguntes formulades i les respostes donades durant la sessió de xat. L’equip de desenvolupament del servei analitza periòdicament el registre per veure com ha respost el servei a les preguntes dels usuaris. 

A través de l’anàlisi s’identifiquen les àrees de contingut en què cal millorar el material d’entrenament i les respostes proporcionades pel servei. Després de l‘anàlisi, es redefineix el material d’entrenament i es poden afegir més preguntes d’exemple o crear nous flux guiats de conversa per millorar l’experiència de l’usuari/ària del servei. També es poden utilitzar els comentaris dels usuaris per definir les respostes i afegir més informació. 

Està previst que en la pròxima versió del bot, el registre de converses s’elimini del sistema periòdicament de manera automàtica després de l’anàlisi, però els informes relacionats amb l’ús, com ara les taxes d’ús, les taxes de resposta i altres paràmetres, continuaran emmagatzemant-se per poder supervisar el progrés a llarg termini. 

El registre de converses és propietat de l’AOC, però no té llicència. 

Processament de les dades 

La lògica operativa del processament automàtic de dades i el raonament realitzat pel sistema se sustenta conforme al següent model i metodologia: 

Arquitectura del model 

El servei Xatbot es basa en la tecnologia Dialogflow de Google i la plataforma d’administració 1MillionBot que s’allotja en la infraestructura de Google Cloud Platform (GCP). Els servidors es troben al Centre de Dades de Google Cloud de Bélgica dins l’Espai Econòmic Europeu (EEE). 

El servei utilitza algorismes d’IA i models d’aprenentatge automàtic per processar preguntes en llenguatge natural. 

La persona usuària formula les preguntes a través d’una interfície digital que funciona en diferents dispositius (web, mòbil, tableta) 

Addicionalment, els xatbots permeten fluxes guiats de conversa que faciliten la resolució de la consulta. 

S’ha implementat un sistema per recollir l’opinió dels usuaris i poder valorar la satisfacció de la conversa global. Aquesta informació es fa servir per millorar el servei en continu. 

Rendiment 

El desenvolupament de l’ús i la qualitat del servei s’avaluen contínuament.  

Les estadístiques d’ús i les mesures de qualitat es registren regularment en informes mensuals automàtics.  

La mesura de la qualitat inclou el nombre de respostes correctes en comparació de totes les preguntes i els comentaris directes efectuats pels usuaris sobre el servei. 

El nivell de precisió del sistema és d’un grau d’èxit per sobre del 95% (actualitzat el 24/5/2023) 

No discriminació 

Per garantir la igualtat en l’ús del servei, aquest es troba disponible en català, castellà i anglès. La persona usuària pot triar l’idioma a l’inici de la conversa o bé, en qualsevol moment, des del menú del bot. 

El servei entén el llenguatge natural tot i que hi hagi errors ortogràfics i/o lingüístics. 

Supervisió humana 

L’algorisme del xatbot actua de forma directa, però sota una vigilància ex post del personal responsable de la decisió final, que ha estat especialment intensa en el període inicial de funcionament. D’aquesta manera es poden compensar els biaixos de l’algorisme. 

Així, el servei és supervisat pel personal que el gestiona: 

  • D’una banda, el servei identifica i recopila automàticament les qüestions que no s’han pogut respondre. Aquestes qüestions s’envien als especialistes del CAU (de primer o segon nivell) perquè desenvolupin els flux de conversa que permetran donar-hi la resposta la propera vegada. 
  • D’altra banda, els experts en seguiment supervisen periòdicament els registres de comentaris i converses i analitzen les estadístiques d’ús del servei. A partir d’aquestes dades, els experts identifiquen les qüestions que interessen als usuaris i desenvolupen nous flux de conversa i amplien el corpus conversacional amb noves paraules clau. 

Gestió de riscos 

El servei de xatbot s’identifica de ben principi com a “assistent virtual” per evitar que la persona usuària pensi que està interaccionan amb una persona. 

El servei de xatbot mai no sol·licita informació personal identificable. No obstant això, el servei implica un risc relacionat amb el tractament de dades personals si l’usuari/ària introdueix dades personals innecessàries al servei.  

Per gestionar aquest risc, els registres de converses són revisats periòdicament per experts, que eliminen qualsevol dada personal que el sistema automatitzat hagi passat per alt. 

Està previst que en la pròxima versió, el servei comptarà amb una funció automatitzada que esborrarà immediatament qualsevol número de la seguretat social o adreça de correu electrònic del registre de converses. A més, durant la sessió xat, la persona usuària podrà demanar que la seva conversa s’esborri del sistema per tal que la informació introduïda no pugui ser utilitzada per realimentar el bot.

Més informació