AOC

Repte

Com podem mesurar amb rigor la satisfacció de la ciutadania en l’ús dels serveis públics digitals.

Problemàtica

Des del Consorci AOC impulsem l’elaboració d’indicadors que permetin als responsables polítics i directius públics conèixer el retorn social de les iniciatives d’administració digital i govern obert, i així avaluar de forma sistemàtica i rigorosa la seva efectivitat i eficiència, per tal que els responsables polítics i directius públics puguin decidir prioritats i prendre les millors decisions.

És molt important avaluar la percepció de la satisfacció de la ciutadania.

Atès que l’objectiu final de l’administració pública és oferir serveis que donin resposta a les necessitats i expectatives de la ciutadania, és molt important avaluar la percepció de la seva satisfacció.

Però, algú ho mesura?

El Consorci AOC ha estudiat com es mesura la satisfacció ciutadana dels serveis públics en general (no restringit al nivell digital) a governs d’arreu del món. També es va contactar amb els organismes referents en temes d’avaluació: iValua, Ajuntament de Barcelona, Diputació de Barcelona, Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (avui ja no existeix) i webs internacionals.

Les conclusions van ser decebedores:

  • A nivell general, molt poques administracions públiques mesuren la satisfacció de la ciutadania i, encara menys, publiquen els resultats obertament.
  • Existeixen diferents metodologies d’avaluació de la satisfacció ciutadana que s’utilitzen majoritàriament al sector privat. No hem sabut trobar cap metodologia que es pugui considerar un estàndard pel sector públic.
  • La Diputació de Barcelona realitzava per als seus ajuntaments, sota demanda, un molt bon informe anomenat “Imatge i balanç de la gestió municipal”. Però fa temps que l’ha deixat de fer.
  • L’Ajuntament de Barcelona realitza uns excel·lents estudis de satisfacció ciutadana utilitzant la metodologia d’avaluació de les expectatives. Aquest mètode és molt avançat però molt complex i costós per a ser utilitzat pel Consorci AOC, perquè implica la mesura de la diferència de les expectatives abans d’utilitzar el servei públic i el resultat posterior.
  • Les enquestes amb preguntes genèriques sobre la satisfacció donen resultats que no són fàcilment interpretables, ni comparables, i tenen poc valor de per si. Per exemple, obtenir una puntuació d’un 7 (sobre 10) pot ser bona en alguns contexts o tipus de pregunta, i dolenta en altres. A més, les respostes sovint es fan de forma frívola i no reflexionada.
  • En el sector privat es va detectar que la principal metodologia utilitzada per les principals companyies del món és la Net Promoter Score (NPS).

NPS al rescat

Hi ha nombrosos estudis que han corroborat que la Net promoter Score (NPS) mesura molt bé el boca-orella (word-of-mouth) en base a una pregunta específica “com de probable és que recomanis aquest Servei a un company o amic?”. Aquesta pregunta té l’efecte psicològic que es demana una recomanació i instintivament les persones som més rigoroses en la resposta perquè no ens agrada fer una mala recomanació a algú proper.

En una escala de 0 a 10, es consideren:

  • Promotors: els que valoren amb un 9 o 10, estan molt satisfets del servei o producte i parlaran entusiàsticament d’ell i de forma proactiva
  • Passius: els que valoren amb un 7 o 8, estan satisfets amb el servei o producte i en parlaran en positiu si se’ls demana però no ho faran entusiàsticament
  • Detractors: els que valoren entre 0 i 6, no estan satisfets amb el servei o producte i en parlaran negativament

Els estudis demostren una elevada correlació entre aquests resultats i els comentaris verbals posteriors. L’AOC hem validat que les valoracions tenen una elevada correlació amb els comentaris per escrit que demanem als usuaris en l’enquesta digital.

Al sector privat, els resultats del NPS s’utilitzen com una mesura de la fidelització dels clients i de les seves futures compres. Els promotors són clients fidels i els detractors són clients que no hi tornaran a comprar mai més. Al sector públic, no té sentit de parlar de fidelització dels clients perquè els serveis públics són, amb caràcter general “monopolístics” i no hi ha competència entre administracions públiques.

Al 2016, però, es va publicar l’estudi “Adapting Net Promoter thinking in public sector organizations”, Juho Hakola, de la Universitat de Jyväskylä (Finlàndia) que explica com es pot aplicar la metodologia NPS al sector públic.

Solució aplicada

Utilitzar la metodologia NPS adaptada al sector públic segons l’estudi “Adapting Net Promoter thinking in public sector organizations” de Juho Hakola, per a avaluar la satisfacció dels ciutadans en l’ús dels serveis públics digitals.

Aquest adaptació és molt fàcil d’entendre i ens informa del % de ciutadans que:

  • Estan molt satisfets (9-10) i parlaran molt bé del servei
  • Satisfets (8-9) i parlaran bé del servei
  • Insatisfets (0-6) i parlaran malament del servei

Aquesta metodologia s’ha implantat tant per a ciutadans com per a empleats públics que utilitzen els serveis AOC. S’ha aplicat en un context que ha facilitat molt obtenir un volum elevat d’enquestes i garantir que hi ha una mostra prou representativa. Concretament estem recollint més de 30.000 enquestes mensuals de tots els serveis digitals.

Criteris per recollir les respostes

  • Les enquestes de satisfacció es presenten en un moment “calent” del procés i de forma immediata. Per exemple: amb a l’hora de fer un tràmit, l’enquesta es presenta al final del tràmit.
  • Les enquestes es presenten amb una finestra emergent que convida a participar (call to action).
  • Les enquestes són molt breus. Tenen una durada mitjana de menys de 1 minut i tenen generalment unes poques preguntes molt seleccionades:
    1. NPS on valora de 0 a 10 la recomanació del servei públic
    2. Pregunta oberta del per què de la valoració
    3. Pregunta si vol fer una proposta de millora o suggeriment
  • Les enquestes no són invasives. Els usuaris que responen a una enquesta d’un servei concret, no se’ls torna a presentar l’enquesta fins al cap d’uns mesos.

Amb aquesta metodologia hem aconseguit recopilar una important informació quantitativa sobre la satisfacció ciutadana dels serveis públics digitals. Ara bé, tenim encara reptes a resoldre…

Reptes pendents

  1. Analitzar l’enorme volum de comentaris recollits fins ara
    A banda de la recomanació entre 0 i 10, disposem d’aproximadament 10.000 comentaris mensuals sobre la valoració realitzada pels usuaris que ens pot donar informació qualitativa important però que no podem analitzar amb recursos humans. Hem fet un pilot d’anàlisi amb algorismes d’interpretació de llenguatge natural per analitzar les enquestes del servei eNotum amb resultats satisfactoris i ens cal sistematitzar-ho i extrapolar-ho a la resta de serveis.
  2. No disposem de la “fotografia” sencera
    Les enquestes de satisfacció només es presenten quan s’acaba el procés. No estem recollint la valoració dels usuaris que han iniciat una actuació o tràmit amb un servei AOC i no l’han pogut acabar. Tenim pendent explorar com podem detectar aquests casos atès que no és gens fàcil saber quan es produeix per un problema del servei o bé perquè l’usuari, voluntàriament, desisteix.

Estat del projecte

  • En producció i aplicant-se a tots els serveis digitals del Consorci AOC.
  • També realitzem enquestes de satisfacció als assistents a les Jornades AOC i altres esdeveniments en què col·laborem.