En ple apogeu de les intel·ligències artificials, la implementació d’un xatbot amb IA generativa pot ser clau per millorar l’eficiència i la satisfacció de la ciutadania vers les administracions públiques. Aquests xatbots representen una oportunitat per optimitzar l’atenció a la ciutadania i empreses, resoldre consultes de manera eficient i oferir una experiència personalitzada i contínua.

No obstant això, per garantir una correcta implementació, cal seguir una sèrie de bones pràctiques que assegurin la compatibilitat amb els sistemes existents, el compliment normatiu i la qualitat de les respostes.

Aquesta guia proporciona recomanacions pràctiques per a la implantació d’un xatbot amb IA generativa, a partir de la nostra experiència creant un xatbot amb IA Generativa [1], que van des de la selecció de la tecnologia adequada fins a la seva optimització i manteniment. També aborda aspectes fonamentals com la seguretat, la protecció de dades i la supervisió contínua per garantir una evolució constant del sistema.

L’objectiu d’aquesta guia és que les administracions públiques puguin desplegar xatbots que no només responguin a les necessitats actuals, sinó que també puguin evolucionar i adaptar-se a les exigències futures.

En aquest sentit, presentem aquest manual com un punt de partida per a la creació d’un xatbot amb IA generativa basant-se en la nostra experiència. Des de l’AOC també ens trobem en un procés d’exploració d’aquesta tecnologia i això implica que poden existir múltiples aspectes susceptibles de ser millorats, així com diferents enfocaments per al desenvolupament d’un xatbot.

Així mateix, també és important tenir en compte que aquesta tecnologia està en constant evolució, la qual cosa genera que contínuament sorgeixin noves oportunitats de millora, tant a curt com a llarg termini. És per això que s’ha de tenir en compte que aquesta guia és una guia dinàmica que s’anirà actualitzant a mesura que l’AOC disposi de més coneixements i experiència en aquesta matèria.

Per poder explicar com s’ha arribat fins la implementació del xatbot actual, és d’especial importància fixar-nos en els xatbots que, des de l’AOC, fèiem servir per donar suport a la ciutadania.

Durant el 2020, l’AOC va apostar per l’empresa 1millionbot [2] per fer un primer tempteig en la implementació de xatbots tradicionals. El 2021 es va adjudicar el contracte AOC-2021-99: Servei d’un assistent conversacional virtual (xatbot) [3] amb l’objectiu de prestar un servei de xatbot per facilitar els processos de consulta a la informació i tramitació relacionats amb els serveis de l’AOC.

Finalment, durant els mesos de maig/juny de 2021 es van posar en producció dos assistents virtuals pels serveis de ciutadania d’idCAT Certificat i VÀLid, els quals van arribar a obtenir una mitjana de 50.000 usuaris anuals durant el 2022 i 2023.

Tot i aquests números, aquests xatbots tenien certes mancances:

• Les intencions de resposta d’aquests xatbots eren molt rígides i poc flexibles, no deixant que hi hagi adaptabilitat en funció de la resposta de l’usuari.
• Poca capacitat d’adaptabilitat davant nous problemes de la ciutadania que acaba derivant en una excessiva biblioteca d’intencions.
• Es requeria un xatbot per cada servei (en els serveis amb més volum) fet que provocava un manteniment molt costós.
• Entrenament costós per derivar les respostes dels usuaris d’una intenció cap a una altra.
• Excés d’hores entrenant els xatbots degut a que s’havien d’entrenar els dos bots per separat i cadascun amb els seus dos idiomes corresponents (català i castellà).
• No es mantenia el context de les converses, fet que cada interacció amb l’usuari fos una nova “conversa” pel bot.

Aquestes dificultats i mancances, juntament amb l’explosió de la intel·ligència artificial en aquest darrer any, van fer que des de l’AOC es fes l’encàrrec a 1millionbot per començar a treballar amb un xatbot d’IA.

Per garantir una implantació efectiva d’un xatbot amb IA generativa, és fonamental seleccionar una solució que s’ajusti als objectius immediats de l’organització i que, al mateix temps, permeti una evolució i escalabilitat a llarg termini.

En aquest cas, el xatbot que s’ha escollit des de l’AOC pot gestionar un volum elevat de consultes de manera simultània i s’integra amb facilitat amb els serveis que presta l’organització.

Aquest xatbot s’integra a les pàgines web corporatives de l’AOC mitjançant Google Tag Manager i es desplega específicament a les pàgines de suport i als serveis on disposa del coneixement per donar respostes als usuaris. Actualment està disponible a:

• IdCAT Certificat: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• IdCAT Mòbil: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Representa: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FACT: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Il·lustració 1 Ubicació del xatbot en el serveis de l’AOC

3.1 Avaluació de les necessitats de l’organització

Abans de seleccionar una solució d’intel·ligència artificial, és fonamental realitzar una avaluació exhaustiva de les necessitats de l’organització.

Aquest procés ha d’incloure les següents qüestions i aspectes clau:

Objectius i necessitats del xatbot

• • Quins són els principals objectius que es volen assolir amb la implementació del xatbot? (Millorar l’atenció a la ciutadania, reduir la càrrega de treball dels equips, automatitzar processos interns, etc.
  • Quins problemes actuals es podrien resoldre amb aquesta tecnologia?
  • Quin impacte s’espera que tingui el xatbot en l’operativa i l’estratègia de l’organització?

Públic objectiu i cas d’ús

• Qui són els principals usuaris del xatbot? (ciutadania, empreses, usuaris interns de l’organització, etc.).
• En quins canals s’integraria aquest xatbot? (pàgina web, aplicació mòbil, plataformes de missatgeria com Whatsapp o Telegram, etc.).
• Quin tipus de consultes haurà de gestionar el xatbot? (consultes freqüents i repetitives, suport tècnic especialitzat, etc.).
• Quin pressupost es pot destinar a aquesta solució? Cal tenir en compte que s’haurà de disposar de pressupost tant per la seva implementació com el seu manteniment.
• Quines són les possibles limitacions o riscos associats amb la implementació del xatbot? Alguns dels riscos a tenir en compte seria la seguretat i compliment amb la protecció de les dades.
• Quins són els recursos disponibles que disposa l‘organització? És important assegurar-se que la solució disposi dels recursos humans suficients per no només implementar-se, sinó també per mantenir-la d’una manera efectiva. Es pot veure recomanacions d’entrenament als punts 6 i 7 d’aquesta guia.

3.2 Escalabilitat i flexibilitat

És essencial que la solució d’IA sigui escalable i flexible per adaptar-se a les necessitats canviants de l’organització. Això implica la capacitat de poder gestionar un augment en el volum de consultes en moments puntuals de l’any (període per sol·licitar una ajuda o subvenció per exemple) sense comprometre el rendiment del sistema.

També és important que la solució permeti afegir noves funcionalitats i millores a mesura que l’organització creix i evoluciona. És per això que és cabdal disposar no només dels recursos interns necessaris, sinó també d’un suport de manteniment especialista del propi bot

3.3 Compliment de les normatives de seguretat i protecció de dades

La seguretat i la protecció de dades són aspectes crítics en la implementació d’un xatbot amb IA generativa. La solució escollida ha de complir amb les normatives vigents en matèria de seguretat de la informació i protecció de dades, com ara el Reglament General de Protecció de Dades (RGPD) de la Unió Europea. Això inclou:

• Garantir la confidencialitat, integritat i disponibilitat de les dades
• Implementar mesures de seguretat adequades per prevenir accessos no autoritzats i ciberatacs
• Anonimització de les dades personals
• Establiment d’un període de custòdia de converses per millorar el servei.

Un cop seleccionada la solució d’IA, és imprescindible avaluar si aquesta compleix amb els requisits tècnics i operatius necessaris per a la seva implementació i posterior escalabilitat. Aquest sistema ha de garantir una operativitat contínua, oferint suport 24/7 i mantenint una alta taxa de resposta.

4.1 Proves de rendiment i capacitat

Abans de la implementació definitiva, és recomanable realitzar:

• Proves de rendiment i capacitat per assegurar-se que el xatbot pugui gestionar el volum de consultes esperat sense problemes.
• Simulacions de càrrega per avaluar el comportament del sistema sota diferents condicions de trànsit amb la finalitat d’evitar possibles colls d’ampolla o punts febles.

4.2 Proves pilot

Les proves pilot són essencials per avaluar el rendiment del xatbot en un entorn controlat abans de la seva implementació completa o quan es vol implementar tot un nou servei a oferir.

Aquestes proves permeten identificar possibles problemes i ajustar el sistema per millorar la seva funcionalitat.

En el cas de l’AOC, les proves pilot poden incloure:

• La simulació de diferents escenaris d’ús.
• La variació argumental d’una mateixa incidència.
• L’anàlisi dels resultats per fer ajustaments necessaris.

 

4.2 Infraestructura segura i fiable

Per garantir una correcta disponibilitat i seguretat del bot, la infraestructura del servei ha d’estar allotjada en servidors segurs i fiables, dintre de l’Espai Econòmic Europeu, per complir amb la normativa de protecció de dades i seguretat.

Al mateix temps, si es vol tenir una bona seguretat d’aquest agent virtual, s’ha d’incloure aquí l’ús de centres de dades certificats i la implementació de còpies de seguretat regulars per prevenir la pèrdua de dades en cas d’incidents.

5.1 Instruccions

Per garantir un funcionament òptim, el xatbot ha de comptar amb un conjunt d’instruccions clares que guiïn el model d’IA en les seves interaccions amb els usuaris. Aquestes instruccions han d’incloure directrius específiques sobre com estructurar les respostes i com prioritzar la informació rellevant.

Com es veu a la imatge, és molt important que les instruccions serveixin per deixar explicat com gestionar consultes complexes per evitar conflictes i confusions amb la ciutadania.

Il·lustració 3 Instruccions AOC xatbot AI

Aquestes instruccions han de ser revisades i actualitzades periòdicament, no només per assegurar-se que el xatbot s’adapti a les noves necessitats de l’organització, sinó també per poder esmenar els errors i anticipar-se a futurs  problemes.

5.1.1 Estructura de les respostes

Les respostes del xatbot han de seguir una estructura clara i coherent per facilitar la comprensió per part dels usuaris. El xatbot ha de ser capaç de:

• Fer servir frases curtes i senzilles.
• Dividir la informació en paràgrafs o punts per facilitar la lectura.
• Utilitzar un llenguatge accessible.
• Evitar tecnicismes o termes complexos que puguin generar confusió.
• Proporcionar d’on ha tret la informació perquè la ciutadania consulti la font d’origen.

Il·lustració 4 Exemple d’estructura clara i coherent així com l’enviament de la font d’informació

Com veieu a l’exemple, és molt important que, quan la informació sigui molt extensa o simplement es busqui ampliar la informació, el xatbot sempre adjunti les FAQS d’origen ja que aporta un valor afegit i fiabilitat en la resposta.

5.2 Personalitat

El xatbot ha de tenir una personalitat definida que s’adapti a les necessitats dels usuaris i, sobretot, a la imatge institucional que l’organització vol donar. Així mateix, D’acord amb el punt 27 del Reglament Europeu (UE) 2024/1689 [4], aquests sistemes d’intel·ligència artificial s’han de desenvolupar i utilitzar de tal manera que permeti que les persones que l’utilitzen siguin conscients de que s’estan comunicant o interactuant amb una IA.

És fonamental establir un to de comunicació adequat que sigui proper, natural i alineat amb les expectatives dels usuaris.

Il·lustració 5 Personalitat del bot de l’AOC

Aquest bot ha de mantenir:

• Coherència en el llenguatge i estil de resposta per oferir una experiència fluida i satisfactòria.
• Disposar no només l’ús d’un llenguatge adequat, sinó també la capacitat de transmetre empatia en les respostes,
• Fer que els usuaris se sentin escoltats i valorats.
• Oferir-se en tot moment a  continuar amb la conversa per si la ciutadania necessita informació addicional a la pregunta formulada.

Il·lustració 6 Exemple d’informació

 

Il·lustració 7 Oferiment en continuar la conversa i ampliar més informació

5.2.1 Definició del to de veu i adaptació del xatbot

El to de veu del bot ha de reflectir els valors i la cultura de l’organització. Per exemple, un xatbot d’una institució financera pot optar per un to més formal i professional, mentre que el d’una administració pública pot optar per un to més proper i conciliador.

És important que el to de veu sigui consistent en totes les interaccions per generar confiança i credibilitat entre els usuaris. Aquest to de veu ha de ser capaç, no només de ser estable i tractar a totes les persones igual, sinó que també ha de ser capaç d’adaptar-se a diferents situacions, mantenint sempre una actitud positiva i proactiva, fins i tot en moments de conflicte o insatisfacció per part de l’usuari.

El xatbot ha de ser capaç d’adaptar-se a diferents tipus d’usuaris tenint en compte factors com:

• L’edat
• El nivell de coneixement tecnològic
• Les preferències personals
• La tipologia de servei/producte pel qual necessiten ajuda

Per aconseguir aquesta adaptabilitat, i en definitiva una experiència d’usuari més satisfactòria i rellevant, és essencial personalitzar les respostes a través de les intencions generatives.

Il·lustració 8 Adaptació del bot a una persona amb pocs coneixements tecnològics

5.3 Biblioteca de Coneixement

El coneixement del xatbot ha d’estar basat en una combinació de fonts fiables com ara preguntes freqüents, bases de dades documentals, sistemes d’informació actualitzats i incidències prèvies dels usuaris. Aquesta biblioteca de coneixement ha de ser fàcilment accessible i navegable per permetre al xatbot trobar la informació necessària de manera ràpida i eficient.

En el cas de l’AOC, la biblioteca de coneixement del xatbot conté les següents informacions:

• Enllaços a totes les FAQS del Portal de Suport de l’AOC.
• Instruccions per respondre preguntes complexes
• Incidències reals d’usuaris amb format Pregunta/Resposta

La diversitat d’aquestes fonts d’informació permet al bot oferir respostes més completes i ben fonamentades. Addicionalment, utilitzar fonts també ajuda a garantir que el xatbot pugui respondre a una àmplia gamma de consultes i proporcionar informació actualitzada i precisa en tot moment.

Il·lustració 9 Incidència d’usuaris amb format Pregunta/Resposta

 

Il·lustració 10 Instruccions per respondre preguntes complexes

És essencial que aquesta biblioteca de coneixement es mantingui actualitzada de manera constant per garantir la precisió i rellevància de les respostes. Això implica:

• Revisar periòdicament les fonts d’informació
• Incorporació de nous continguts a mesura que es generen o es modifiquen.
• Establir un procés de validació de la informació per assegurar-se que les dades utilitzades són correctes i fiables.

5.4 Creació d’Intencions Generatives

És crucial definir amb precisió les intencions principals del xatbot per tal d’assegurar una interpretació flexible i eficient de les preguntes dels usuaris. A diferència dels xatbots tradicionals, un bot amb IA generativa ha de poder entendre consultes formulades de diferents maneres i adaptar la resposta segons el context.

Crear una intenció generativa no dista molt de la creació d’intencions tradicionals, la principal diferència recau en que es poden afegir petites instruccions per orientar el bot en una resposta més personalitzada.

Il·lustració 12 Intenció generativa error d’accés a una notificació

Com es veu a la imatge, primer es defineixen unes frases d’entrenament (igual que en les intencions clàssiques) per després redactar tot un seguit d’instruccions per tal que el bot generi una resposta generativa. Cal tenir en compte que la IA permet gener variacions de la frase d’entrenament introduïda sense haver de crear-les una per una.

Això s’ha de definir de manera clara i precisa per assegurar una interpretació correcta de les consultes dels usuaris. Per fer-ho, cal identificar les preguntes més freqüents i les necessitats més comunes dels usuaris, i crear intencions específiques per a cadascuna d’elles.

Cal implementar filtres per detectar i gestionar consultes fora de l’abast del servei, proporcionant recomanacions alternatives als usuaris quan sigui necessari. Això pot incloure la redirecció a altres canals d’atenció, el suggeriment de recursos addicionals o la derivació a un agent humà quan sigui necessari. A més, el xatbot ha de ser capaç de reconèixer quan una consulta és massa complexa per ser resolta automàticament.

Aquesta intenció de fora de catàleg és clau perquè el ciutadà tingui clar quin es l’abast de la prestació i el coneixement del xatbot. És important no generar falses expectatives i deixar clar que l’usuari ha de tenir s’ha d’adreçar a l’administració corresponent, sempre oferint-li més informació dels serveis de l’AOC.

Il·lustració 13 Intenció fora de l’abast de l’AOC i suggeriment de recurs addicional

És important revisar i actualitzar les intencions de manera regular per adaptar-se a les noves necessitats. Cal tenir en compte que el bot ha de ser capaç de gestionar múltiples intencions simultàniament en una mateixa conversa, oferint respostes coherents i rellevants en tot moment.

Per últim, tenir intencions ben estructurades i clares permetrà oferir una experiència d’usuari més satisfactòria i evitar frustracions.

5.4.1 Adaptabilitat i flexibilitat

El bot ha de ser capaç d’adaptar-se a diferents maneres de formular les consultes per part dels usuaris. Això implica la capacitat de reconèixer sinònims, variacions gramaticals i diferents estructures de frase.

També és important que el xatbot pugui adaptar les seves respostes segons el context de la conversa, oferint informació rellevant i precisa en tot moment. Així mateix, aquest ha de ser capaç d’aprendre de les interaccions anteriors i ajustar les seves respostes en funció de les preferències i necessitats específiques de cada usuari.

Il·lustració 14 Exemples de flexibilitat en variacions i estructura de la frase

Il·lustració 15 Exemples de flexibilitat en variacions i estructura de la frase

5.4.2 Canals alternatius d’atenció

Per evitar la dependència exclusiva d’un sistema automatitzat, és important oferir canals alternatius d’atenció personalitzada.

Això permet als usuaris accedir a suport humà en casos on el xatbot no pugui proporcionar una resposta adequada o quan es requereixi una atenció més detallada. Els canals alternatius poden incloure atenció telefònica, correu electrònic o xat en viu amb agents humans.

Il·lustració 16 Oferiment de canals alternatius de contacte

6.1 Protecció de dades, minimització i eliminació

El xatbot ha de garantir la minimització de dades, evitant la recollida d’informació personal innecessària. Totes les converses han de ser anonimitzades i eliminades després d’un període de temps establert per evitar riscos en matèria de protecció de dades.

En el cas de l’AOC, les converses són eliminades després de 3 mesos atès que es considera que ja ha passat el termini suficient per analitzar les respostes. En tot moment els usuaris estan informats de manera transparent sobre la recollida de dades i millora.

Il·lustració 17 Missatge de benvinguda sobre el tractament de dades

La minimització de dades és un principi fonamental en la protecció de dades personals. El xatbot ha de recollir únicament la informació estrictament necessària per oferir el servei, evitant la recopilació de dades sensibles o innecessàries. Això ajuda a reduir els riscos associats a la protecció de dades i a complir amb les normatives vigents.

Per garantir la privacitat dels usuaris, totes les converses han de ser anonimitzades, eliminant qualsevol informació que pugui identificar personalment els usuaris.

Per exemple, a l’AOC a nivell de ciutadania i empreses es fa que quan l’usuari dona alguna dada personal, el xatbot li comenta que està introduint dades sensibles entenent que aquestes dades són essencials per realitzar el tràmit.

A l’AOC s’està treballant per disposar de mecanismes d’anonimització en el moment en que un usuari adjunti alguna dada personal. Això és important perquè, com que les converses es guarden durant 3 mesos, no emmagatzemar les dades personals introduïdes per l’usuari afegeix una capa extra de seguretat.

 

Il·lustració 18 Dades personal visió ciutadana

6.2 Protecció de dades, minimització i eliminació

Per complir amb el Reglament d’IA de la Unió Europea, el xatbot ha de ser clarament identificable com un assistent virtual i ha de proporcionar informació transparent sobre el seu funcionament.

La publicació d’una fitxa de transparència algorítmica permet als usuaris conèixer quines dades s’han utilitzat per entrenar el sistema i quin model d’IA s’està fent servir. Així mateix, cal garantir que el sistema no prengui decisions amb impacte significatiu sobre els usuaris sense supervisió humana.

6.2.2 Transparència algorísmica

Per garantir la confiança dels usuaris en el sistema d’IA, des de l’AOC recomanem i defensem la plena transparència tecnològica a través de la nostra fitxa de transparència algorísmica [5]. Cal tenir en compte que aquesta fitxa està en constant evolució i actualització cada cop que hi ha un canvi rellevant en el xatbot.

Aquesta transparència és essencial per garantir la confiança dels usuaris en el sistema d’IA. Això implica proporcionar informació detallada sobre el funcionament del xatbot, incloent-hi les dades utilitzades per entrenar el model i els algoritmes emprats.

La publicació d’una fitxa de transparència algorítmica permet als usuaris comprendre com es prenen les decisions i quins factors influeixen en les respostes del xatbot.

6.2.2 Supervisió humana

Això implica establir mecanismes de revisió i intervenció humana en casos on les decisions del xatbot puguin tenir conseqüències importants per als usuaris. La supervisió humana ajuda a assegurar que les decisions són justes, ètiques i alineades amb els valors de l’organització.

Per complir amb el Reglament d’IA de la Unió Europea, és necessari garantir que el xatbot no prengui decisions amb impacte significatiu sobre els usuaris sense supervisió humana.

Un xatbot amb IA generativa ha d’estar en constant evolució per millorar la qualitat de les seves respostes i adaptar-se a les noves necessitats dels usuaris. Això requereix un procés de supervisió continuada que inclogui:

• La revisió de converses
• La detecció de patrons d’error
• L’optimització de les intencions generatives.
• Identificar àrees de millora i afegir nous coneixements a la base de dades del sistema.

7.1 Rutines de revisió

7.1.1 Revisió de converses

És fonamental realitzar una revisió periòdica de les converses generades pel xatbot per identificar respostes incorrectes, incoherències o problemes de comprensió. Aquesta revisió ha d’incloure l’anàlisi de mostres aleatòries per garantir la qualitat global del servei. Aquestes mostres aleatòries haurien de tenir en compte els següents factors:

• Dia de la setmana
• Hora del dia
• Tipologia de servei
• Cercar converses per paraules claus

El temps dedicat a aquestes revisions ha d’anar en funció dels recursos que disposi de l’organització, en el cas de l’AOC es dedica, aproximadament, 1 hora diària a tot el que implica el punt 6 sobre les rutines de revisió.

És molt important documentar els errors detectats i les accions correctives implementades per millorar contínuament el rendiment del xatbot.

7.1.2 Anàlisi de patrons d’error

L’anàlisi de patrons d’error permet identificar problemes recurrents en les respostes del xatbot i desenvolupar solucions específiques per corregir-los. Per detectar aquests patrons d’error és crucial, un cop detectada la conversa errònia, cercar per la seva paraula clau i així identificar altres converses amb el mateix error.

Fent això, després serà molt més senzill poder adaptar la intenció generativa corresponent i incorporar noves informacions a la biblioteca de coneixement.

7.1.3 Optimització de les intencions generatives i incorporació de nous coneixements

Un cop detectat els patrons d’error, cal optimitzar les intencions generatives ajustant les instruccions de cada una amb l’objectiu d’assegurar que pugui respondre de manera efectiva a una àmplia varietat de consultes.

Per exemple, inicialment la intenció de renovació de l’idCAT Certificat no adjuntava els enllaços per ampliar més informació. Un cop detectat l’error, en les instruccions de la intenció afegeixes “Respon sempre amb: Com renovo l’idCAT Certificat?” i un cop li tornes a preguntar al bot sempre adjuntarà la informació de la FAQ.

Il·lustració 19 Inserir nova informació a les instruccions del bot

Il·lustració 20 Resposta del bot amb enllaç a la FAQ de renovació

La incorporació de nous coneixements a la biblioteca del xatbot és també essencial per mantenir la seva rellevància i precisió. Per exemple, si es genera una nova FAQ en algun dels portals de suport, és imprescindible actualitzar la informació existent, incorporant aquesta nova font de coneixement.

7.2 Monitorització de l’activitat

7.2.1 Recopilació d’estadístiques

Monitorar l’activitat del xatbot és clau per comprendre el seu ús i detectar possibles colls d’ampolla en la interacció amb els usuaris. La recopilació d’estadístiques sobre la freqüència d’ús, la durada mitjana de les converses, el percentatge de preguntes resoltes amb èxit i les consultes més habituals permet prendre decisions informades per millorar el sistema. Aquestes dades també poden ajudar a identificar moments de més demanda i optimitzar la disponibilitat dels recursos tecnològics.

Il·lustració 21 Pantalla d’estadístiques del xatbot AOC

Aquests anàlisis permeten també identificar tendències i patrons en l’ús del bot, sobretot en les consultes i respostes més freqüents i les àrees on es tenen més dificultats per proporcionar respostes adequades.

7.3 Valoracions dels usuaris

7.3.1 Enquestes de satisfacció i sistemes de puntuació

És clau que aquest bot o l’organització implementi mecanismes de valoració de les respostes per part dels usuaris, com ara enquestes de satisfacció o sistemes de puntuació. Això permet:

• Obtenir una visió objectiva del grau de satisfacció dels usuaris
• Fer ajustaments en el funcionament del bot
• Valorar les respostes del xatbot de manera ràpida i senzilla

Les enquestes de satisfacció poden incloure preguntes sobre la qualitat de les respostes o incloure l’ús d’estrelles, punts o altres mètriques per indicar el grau de satisfacció amb la resposta rebuda.

Per garantir que el xatbot compleix amb les expectatives de l’organització, és necessari establir un sistema d’avaluació constant. Això inclou la definició d’indicadors de rendiment clau (KPIs) com la taxa d’èxit, el temps de resposta i la reducció de tiquets de suport. També és important establir comparacions periòdiques amb altres canals d’atenció per avaluar si el xatbot està proporcionant un valor afegit.

Es poden dur a terme proves pilot en diferents moments de l’any per identificar possibles millores en la seva funcionalitat i garantir que l’experiència de l’usuari sigui sempre satisfactòria.

Per complementar aquest procés s’ha de crear:

• Una metodologia d’avaluació periòdica en què es revisin converses reals dels usuaris per detectar errors recurrents.
• Analitzar la qualitat de les respostes (punt 6 de la guia).
• Implementar ajustos que millorin el rendiment global del xatbot (punt 6 de la guia)

8.1 Reducció de tiquets de suport i comparacions periòdiques amb altres canals d’atenció

Cal tenir en compte que el bot amb intel·ligència artificial també és un mecanisme de suport que amplia els canals de comunicació tradicionals. Tenir un bot amb IA en cap cas substituirà per complet el suport humà, sinó que afegeix una capa prèvia (propera i amigable) a aquest suport humà.

La reducció de tiquets de suport és un indicador que mesura l’efectivitat del xatbot en la resolució de consultes sense la necessitat d’intervenció humana. Una reducció significativa en el nombre de tiquets de suport indica que el xatbot està proporcionant un valor afegit a l’organització, millorant l’eficiència operativa i reduint la càrrega de treball dels agents humans.

En el cas de l’AOC, si bé es cert que no es pot afirmar que hagi sigut exclusivament pel xatbot ja que s’han implementat altres millores de suport, l’any 2024 les peticions de suport s’han vist reduïdes de 93.000 el 2023 a 65.000 el 2024. Així mateix, mentre les peticions de suport han disminuït, en el mateix període s’han duplicat les transaccions i el nombre de consultes[6].

Il·lustració 22 Evolució de les peticions de suport

Fer unes comparacions periòdiques amb altres canals d’atenció com l’atenció telefònica, correu electrònic o xat amb un agent permet identificar les fortaleses i debilitats del xatbot i determinar si està proporcionant un valor afegit en comparació amb altres canals.

Aquestes comparacions també permeten identificar si s’estan donant noves incidències no previstes pel bot per tal d’ajustar les intencions generatives o la millora de la biblioteca de coneixement.

L’objectiu és assegurar que el xatbot ofereix una experiència d’usuari satisfactòria i que està alineada amb les expectatives de l’organització.

8.2 Metodologia d’avaluació periòdica

8.2.1 Revisió de converses reals

Per garantir que el xatbot compleix amb les expectatives de l’organització, s’ha d’establir una metodologia d’avaluació periòdica en què es revisin converses reals dels usuaris. Fer això permet detectar errors recurrents, analitzar la qualitat de les respostes i implementar ajustos que millorin el rendiment global del xatbot.

És important deixar constància d’aquesta metodologia juntament amb la forma en que s’analitzaran aquestes converses. En el cas de l’AOC, la metodologia que es segueix és la següent:

• Període de revisió: Mensual
• Número de converses a revisar: 150 converses
• Freqüència de revisió: 5 converses aleatòries per cada un dels 30 dies del mes.
• Franges horàries de revisió diària: Es revisa 1 conversa aleatòria dintre de l’horari de matí, migdia, tarda, vespre i nit.
• Pregunta per valorar la resposta: El bot ha resolt correctament el problema del ciutadà? SI / NO
  • SI: Quan el bot hagi contestat correctament a tot el que ha demanat l’usuari.
  • NO: Quan el bot hagi contestat incorrectament o no respongui el que l’usuari ha demanat.
• En cas de converses de més d’una interacció, es valorarà el còmput total de les respostes del bot per concloure si el bot ha ajudat el ciutadà o no. Si una de les interaccions ha estat errònia per part del bot, es valora amb un NO la conversa.
• És important deixar constància de les interaccions que hagin estat fora de la competència del xatbot  per quantificar quantes consultes no arriben a ser tractables pel bot.
• Cal apuntar el servei/producte pel qual el xatbot ha donat ajuda.

Aquestes revisions de converses ajuda a identificar noves necessitats dels usuaris i a adaptar el xatbot per satisfer-les.

1. Blog AOC – L’aoc implementa un xatbot capdavanter d’atenció ciutadana utilitzant IA generativa (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Servei d’un assistent conversacional virtual (xatbot)(Informació de la publicació – Plataforma de Serveis de Contractació Pública)
4. Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) nº 300/2008, (UE) nº 167/2013, (UE) nº 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Transparència algorísmica: Xatbots amb IA generativa de l’AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. L’innovador xatbot d’IA generativa permet a l’AOC duplicar el nombre de peticions gestionades pel servei de suport (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)