L’IMD, una eina clau d’avaluació i millora contínua

Repte

Com podem mesurar el grau de maduresa digital d’un ens i d’un territori perquè quasevol administració pugui accelerar la seva transformació per aconseguir millorar la vida de les persones?

Problemàtica 

La transformació digital d’un ens és un procés complex que requereix una avaluació constant dels avenços realitzats. Ara bé, desenvolupar un instrument que permeti mesurar el grau de maduresa digital suposa una sèrie de dificultats:

• no hi ha una definició precisa del concepte de govern digital que determini de forma inequívoca les seves dimensions i els indicadors que el defineixen;
• els processos de recol·lecció i integració de les dades necessàries per elaborar aquests indicadors presenten dificultats;
• no sempre es disposa de dades suficients o de qualitat, cosa que porta a haver de descartar alguns indicadors de l’anàlisi;
• ha de satisfer les necessitats de tots els ajuntaments per igual i permetre establir comparacions, independentment de la seva mida. Això no és trivial, ja que la població condiciona el conjunt de serveis a prestar i el volum potencial d’activitat dels serveis digitals que presta.

A la complexitat que comporta mesurar el grau de transformació digital d’un ens, se suma el fet que la majoria dels municipis de Catalunya són petits o mitjans i tenen limitacions de tota mena per afrontar aquest repte, com ara:

1. recursos econòmics molt limitats;
2. dificultats d’accés a les dades;
3. manca de capacitats sobre com definir i generar els indicadors clau digitals;
4. impossibilitat de poder fer comparacions amb altres administracions similars per dificultat d’accés a les dades i manca d’estàndards de dades; i
5. treballadors públics sense habilitats analítiques avançades.

Les administracions locals necessiten, doncs, una solució “claus en mà” que els permeti avaluar el seu procés de canvi amb un mínim esforç i prendre decisions les més encertades possibles basant-se en dades. Per donar resposta a aquesta necessitat, l’AOC ha creat l’Índex de Maduresa Digital (d’ara endavant, IMD), una eina que avalua el grau de transformació digital de les administracions locals catalanes i permet a les administracions comparar-se entre elles.

Solució proposada

L’IMD és una eina que ens aporta coneixement per dissenyar una estratègia de transformació digital per al conjunt de les APC, així com planificar les actuacions necessàries que caldrà dur a terme.

No és un indicador més. És un sistema d’informació (“relaciona indicadors”) que permet:

• Conèixer el grau de digitalització d’un ens públic (punts forts i punts febles de cada ens) i comprendre l’avenç del seu procés de transformació.
• Comparar i agafar perspectiva. La maduresa digital de cada ens es fa més evident quan es compara (es contrasta) amb els altres. A més, permet conèixer el grau de maduresa digital d’un territori, ja sigui tota Catalunya, una província o una comarca.
• Obtenir una visió de conjunt (qui va capdavanter i qui necessita ajuda) i entendre el context de la digitalització del sector públic (punts forts i àmbits de millora).
• Altres: crear una cultura basada en les dades, identificar les millors pràctiques, posar en valor el treball realitzat.

A més, és especialment útil per als organismes que han de prestar suport en la transformació digital de les entitats locals (com l’AOC!), ja que permet identificar els objectius sobre els que actuar i facilita el disseny i anàlisi de la efectivitat de les polítiques de digitalització.

Fins el 2018, l’AOC calculava el grau de digitalització dels ens locals a partir dels  indicadors del Mapa d’Administració Electrònica. Aquests indicadors s’obtenien a partir de les dades d’implantació dels serveis AOC i de l’anàlisi de les webs municipals. Tots eren indicadors de tipus “atribut”, és a dir, indiquen qualitats o estats que l’ens analitzat pot complir o no (p. ex. disposa de carpeta del ciutadà, seu-e, perfil del contractant…; ofereix tràmits en línia, envia notificacions-e, accepta factures-e…; intercanvia dades amb altres administracions, és entitat de registre T-CAT o idCAT, ha aprovat normativa en matèria d’administració-e, s’ha adherit al servei FUE, etc.). Amb el temps vam anar constatant que l’adopció de serveis digitals per part dels ens locals s’anava generalitzant i que avaluar el grau d’implantació no era suficient. Calia buscar nous indicadors que reflectissin l’avenç en la transformació digital, com ara l’ús que els ens feien d’aquests serveis digitals.

L’any 2018 es van introduir els indicadors d’activitat, és a dir, “variables” que es poden quantificar, com ara:

• Consultes a Via Oberta
• Tràmits EACAT (o Tràmits SIR)
• Tràmits e-TRAM (incloent-t’hi la tramesa genèrica i el canal FUE)
• Factures e-FACT
• Notificacions e-NOTUM
• Ús de les T-CAT (Validador)
• Publicacions a l’e-TAULER
• Publicacions al perfil del Contractant (licitacions electròniques)
• Publicacions/actualitzacions al portal de transparència
• Trameses de l’IVTM i/o TESTRA

Ara bé, en un context tan canviant com l’actual, la forma d’avaluar el govern electrònic ha d’evolucionar contínuament per seguir sent efectiva i incorporar nous aspectes que responguin a la realitat del moment, basats en l’evidència empírica. El projecte dels informes i mapes sobre l’e-Administració va entrar així en una nova fase a finals de 2019 i va ser substituït per un índex que vam batejar com l’Índex de Maduresa Digital.

Gràcies a la implantació de l’analítica de negoci (Business Analytics) en la gestió dels serveis AOC, es va poder automatitzar la recollida i integració dels indicadors d’activitat de l’índex i presentar la informació mitjançant una visualització interactiva de les dades. A més, a l’edició 2020 es va realitzar una millora significativa en l’avaluació de l’ús dels serveis digitals: en comptes de valorar l’ús d’un servei digital a partir del número absolut de transaccions, vam començar a mesurar la digitalització associada a l’ús del servei; és a dir, el càlcul com el nombre de transaccions digitals respecte al nombre de transaccions total, incloent-hi les presencials (per exemple, les entrades electròniques respecte les entrades totals, o els contractes licitats electrònicament respecte els contractes licitats totals).

L’IMD, una eina col·laborativa en constant evolució

Per tal que l’IMD sigui útil i informatiu s’ha de tenir sempre present que només s’han d’incloure els indicadors més rellevants del moment en què ens trobem, els que marquen la diferència entre un ens que considerem digitalment madur i un altre que no ho és. I cal determinar amb molta cura les ponderacions de cada atribut o variable dins de l’índex. Per dotar l’IMD d’una metodologia de càlcul rigorosa i flexible (capaç d’adaptar-se al moment present), es va crear un grup de treball de persones expertes en gestió pública i el resultat es va compartir i debatre amb les diputacions, consells comarcals i ajuntaments.

A més, periòdicament s’organitzen activitats i trobades de personal del món local per revisar i fer evolucionar l’IMD, com el taller que es va dur a terme al Congrés Govern Digital 2021, en què van participar més de 50 representants d’administracions locals catalanes i on es van recollir propostes de millora, algunes de les quals ja hem incorporat a l’IMD del 2023, o el taller celebrat el novembre de 2023 amb representants d’ajuntaments i diputacions, per revisar i millorar l’IMD.

Per tant, l’IMD és el resultat del treball col·laboratiu, aplicant sempre un enfocament de millora contínua amb els comentaris del personal públic i la inversió contínua en la creació d’un datawarehouse que integra les dades provinents de diferents fonts.

Metodologia de càlcul de l’IMD 

L’IMD és un índex o indicador compost format per més de 30 indicadors organitzats en tres dimensions i nou subdimensions que s’agreguen de manera ponderada per obtenir un valor comparable. Actualment es calcula per a 947 ajuntaments i 41 consells comarcals.

L’IMD es divideix conceptualment en tres dimensions:

— Drets digitals. Avaluem la disponibilitat de serveis públics digitals que permeten a la ciutadania exercir els seus drets digitals i el compliment de la normativa que regula aquests drets.

— Activitat dels serveis digitals. Avaluem l’ús dels serveis digitals per part de la ciutadania, empreses, associacions i empleats públics. Concretament, mesurem la digitalització en la relació amb les persones usuàries, la digitalització dels processos interns i la interoperabilitat entre administracions públiques.

— Govern obert. Avaluem l’aplicació pràctica dels principis de govern obert: transparència, drets d’accés, dades oberts i participació ciutadana.

La següent figura mostra de forma esquemàtica les tres dimensions de l’IMD, així com les seves subdimensions i els indicadors que les componen:

L’IMD és la suma ponderada dels valors dels indicadors en cadascuna de les tres dimensions:

Cada indicador té assignada un pes i una puntuació màxima en funció de la seva importància. Els diferents pesos s’han assignat per 1) reconèixer (o penalitzar) les dimensions i subdimensions que contribueixen en major (o menor) mesura a la transformació digital, segons l’opinió de persones; i 2) reflectir la qualitat estadística de les dades.

Vegeu ANNEX. Fonts de dades i tipus d’indicadors.

Presentació dels resultats

L’IMD es presenta mitjançant un conjunt de quadres de comandament i informes destinats als diferents perfils implicats en la presa de decisions d’un ens local.

• El quadre de comandament «Fem un país digital» mostra els indicadors clau d’un territori concret de forma agregada (tot Catalunya, una província o una comarca). A més dels indicadors propis de l’IMD, mostra altres que se’n deriven, com el percentatge d’ens que tramiten electrònicament o que disposen de portal de transparència.

• El quadre de comandament «El teu ens – Visió global» proporciona una visió ràpida i clara de l’estat de cada ens amb l’objectiu que els càrrecs electes municipals puguin prendre decisions basades en dades. A més de la puntuació total de l’IMD i les seves dimensions, mostra el valor dels indicadors clau i els compara amb el valor mitjà de les entitats locals de la mateixa franja de població.

• L’informe «El teu ens – Visió detallada» proporciona la fotografia completa de l’IMD. Mostra el valor de tots els indicadors d’un ens local i també els situa en el context dels municipis de la seva franja de població. Està destinat a personal directiu i personal tècnic municipal perquè identifiquin els punts forts i àrees de millora sobre les quals actuar.

• L’informe «Comparativa general» ofereix una visió global del grau de maduresa digital d’un territori. Permet als ens supramunicipals identificar on cal desplegar polítiques de transformació digital per a cadascuna de les tres dimensions principals de l’índex.

Reconeixements Administració Oberta

Utilitzem la puntuació obtinguda a l’IMD per atorgar cada any els Reconeixements Administració Oberta a les administracions capdavanteres en transformació digital, dividides en set categories segons el rang de població.

Més informació sobre els Reconeixements Administració Oberta.

Conclusions

La sostenibilitat d’aquesta iniciativa es basa en promoure que tota la informació requerida per elaborar l’Índex estigui disponible en formats de dades obertes basades en estàndards, de manera que puguin obtenir-se i integrar-se fàcilment. Actualment, el 95% de la informació necessària compleix aquests requisits.

L’IMD és una iniciativa col·laborativa en què participen diferents nivells de govern. Les quatre diputacions de Catalunya i tots els consells comarcals catalans participen en la validació de la metodologia i els resultats de l’MD. La bona governança és essencial en aquest projecte. Pel que fa a la utilitat de l’IMD, hem comprovat que la publicació dels resultats, i especialment els reconeixements anuals, serveixen d’estímul a les administracions locals per identificar els seus àmbits de millora i avançar en el procés de transformació digital.

Estat del projecte (en producció)

Cada any, des de 2019, l’AOC analitza la maduresa digital del ens públics locals aplicant la metodologia IMD. El resultat es pot consultar en la pàgina web de l’Índex de Maduresa Digital.

Més informació

• Article “Índice de madurez digital de las Administraciones locales: una herramienta clave de evaluación y mejora continua” publicat en la Revista Vasca de Gestión de Personas y Organizaciones Públicas del IVA (desembre 2022)
• Metodologia dels Reconeixements Administració Oberta: https://www.aoc.cat/reconeixements-administracio-oberta-metodologia/
• Informes d’e-administració (de 2010 a 2018):  https://www.aoc.cat/indicadors/informes-d-eadministracio-a-catalunya/

ANNEX. Fonts de dades i tipus d’indicadors

Fonts de dades

L’IMD es calcula a partir de dades públiques, objectivables i contrastables obtingudes de les fonts d’informació següents:

• Les pàgines web de les pròpies administracions locals.
• Les dades d’activitat dels serveis digitals de l’AOC disponibles al Portal Dades Obertes de l’AOC.
• Les dades d’activitat dels serveis de l’AGE disponibles al portal Data OBSAE de l’Observatori d’Administració Electrònica (Secretaria General d’Administració Digital).
• Les dades d’activitat de serveis digitals facilitats per les pròpies entitats locals i pels proveïdors de plataformes de mercat, que són sotmesos a un procés de revisió per contrastar-ne la qualitat.
• Les dades de l’Índex Infoparticipa de la Universitat Autònoma de Catalunya i de l’Índex d’Exposició de Ciberseguretat de l’Agència de Ciberseguretat de Catalunya.
• Les dades publicades al cercador d’informació i documentació oficial de la Diputació de Barcelona (CIDO).
• Les dades de contractació facilitades per la Junta Consultiva de Contractació de Catalunya.
• Les dades de participació ciutadana facilitades pels prestadors de plataformes de participació electrònica públiques (Diputacions de Barcelona i Girona) i de mercat (empreses proveïdores).

En el cas de dades mancants, s’utilitzen variables intermèdies (per exemple, en cas de no disposar del nombre total d’entrades de registre d’un Ajuntament, obtenim la dada a partir del nombre d’habitants i un coeficient de correlació). Tots els mètodes d’imputació de dades que falten utilitzats han estat validats a partir de les seves propietats estadístiques.

Indicadors de l’IMD

A continuació es detalla què s’analitza i com s’obté la puntuació de cada un dels indicadors:

Drets digitals

• Carpeta ciutadana:
  • Si l’ens disposa de carpeta ciutadana
  • 2,44 punts si l’ens en disposa i 0 punts en cas contrari
• Cercador municipal:
  • Si l’ens disposa de cercador en el seu web municipal
  • 1,63 punts si l’ens en disposa i 0 punts en cas contrari
• Instància en línia:
  • Si l’ens disposa d’una instància genèrica per fer tràmits en línia
  • 4,07 punts si l’ens l’ofereix i 0 punts en cas contrari
• Padró en línia:
  • Si l’ens permet realitzar consultes d’interoperabilitat al seu padró
  • 4,07 punts si l’ens l’ofereix i 0 punts en cas contrari
• Visor cartogràfic:
  • Si l’ens disposa de visor cartogràfic al web municipal
  • 0,81 punts si l’ens en disposa i 0 punts en cas contrari
• Visor urbanístic:
  • Si l’ens disposa de visor urbanístic al web municipal
  • 0,81 punts si l’ens en disposa i 0 punts en cas contrari
• ER idCAT:
  • Si l’ens és entitat de registre idCAT
  • 2,44 punts si l’ens és entitat de registre i ha emès certificats idCAT durant l’any de càlcul de l’índex, i 0 punts en cas contrari
• FUE:
  • Si l’ens disposa de Finestreta Única Empresarial
  • 1,63 punts si l’ens ofereix el número màxim de tràmits i la puntuació proporcional en cas contrari
• MUX:
  • Si l’ens està integrat amb el servei MUX Registre de l’AOC
  • 2,44 punts si l’ens està integrat amb MUX Registre i 0 punts en cas contrari
• Hub carpeta ciutadana:
  • Si l’ens està integrat amb El meu espai
  • 2,44 punts si l’ens ha integrat el seu gestor d’expedients amb El meu espai, 0,81 si té integrats els serveis AOC i 0 punts si no té cap integració
• Bústia Accessibilitat:
  • Si l’ens disposa d’una bústia de tramitació electrònica per temes d’accessibilitat
  • 0,81 punts si l’ens en disposa i 0 punts en cas contrari
• Segell Accessibilitat:
  • Si l’ens ha publicat una declaració d’accessibilitat al web municipal
  • 0,81 punts si l’ens l’ha publicat al web municipal i 0 punts en cas contrari
• ENI:
  • Si l’ens ha publicat un certificat de compliment de l’ENI al web municipal
  • 2,44 punts si l’ens ha publicat un certificat de compliment de l’ENI i 0 punts en cas contrari
• ENS:
  • Si la plataforma d’administració electrònica disposa d’un certificat de compliment de l’ENS al web municipal o en el Centro Criptológico Nacional
  • 2,44 punts si l’ens ha publicat un certificat de compliment de l’ENS i 0 punts en cas contrari
• Ordenança reguladora:
  • Si l’ens ha aprovat una ordenança d’administració electrònica
  • 1,63 punts si l’ens l’ha aprovat i 0 punts en cas contrari
• Vulnerabilitat ciberseguretat:
  • Puntuació del Nivell de vulnerabilitat calculat per l’Agència de Ciberseguretat de Catalunya.
  • 2,44 punts si l’indicador és 1 (nivell d’exposició nul) i la puntuació proporcional en cas contrari (la relació entre el nivell d’exposició calculat per l’ACC i el valor de l’indicador en l’IMD és la següent: nul =1, baix = 0,75, mig = 0,5, alt = 0,25 i crític = 0)
• Delegat de protecció de dades:
  • Si l’ens disposa de delegat de protecció de dades i l’ha comunicat a l’APDCat.
  • 0,81 si l’ens disposa de delegat de protecció de dades i l’ha comunicat a l’APDCat i 0 en cas contrari
• Representa:
  • Si l’ens disposa de registre d’apoderaments
  • 0,81 si l’ens disposa de registre d’apoderaments i 0 en cas contrari

Activitat dels serveis

• Digitalització entrada:
  • Percentatge d’entrades electròniques respecte el número d’entrades total (Tràmits en línia e-TRAM (o sistema propi) + Factures-e e-FACT + Trameses EACAT rebudes / entrades totals)
  • 8,10 punts si el percentatge és del 80% i la puntuació proporcional en cas contrari
• Digitalització sortida:
  • Percentatge de sortides electròniques respecte el número de sortides total (Notificacions-e e-NOTUM + Trameses EACAT enviats / sortides totals)
  • 5,40 punts si el percentatge és del 100% i la puntuació proporcional en cas contrari
• Signatures-e internes:
  • Rati de signatures de treballador públic respecte el número d’entrades
  • 6,75 punts si el rati està en el percentil més alt de la franja de població de l’ens i la puntuació proporcional en cas contrari (per cada franja de població s’estableixen 10 percentils)
• Consultes Via Oberta:
  • Rati de consultes realitzades a Via Oberta per habitant
  • 12,60 punts si el rati de consultes de Via Oberta està en el percentil més alt de la franja de població de l’ens i la puntuació proporcional en cas contrari (per cada franja de població s’estableixen 10 percentils)
• Serveis de Via Oberta:
  • Percentatge de serveis de Via Oberta actius respecte a l’obligatori
  • 5,40 punts si el percentatge és del 100% i la puntuació proporcional en cas contrari.
• Licitacions-e:
  • Percentatge de licitacions electròniques de contractes oberts respecte al total
  • 4,05 punts si el si el percentatge és del 100% i la puntuació proporcional en cas contrari
• Publicacions al Perfil del Contractant:
  • Rati de publicacions al perfil del contractant per habitant
  • 2,03 punts si el rati està en el percentil més alt de la franja de població de l’ens i la puntuació proporcional en cas contrari (per cada franja de població s’estableixen 3 percentils)
• Publicacions al Registre de Contractes:
  • Rati de publicacions al registre públic de contractes per habitant
  • 0,68 punts si el rati està en el percentil més alt de la franja de població de l’ens i la puntuació proporcional en cas contrari (per cada franja de població s’estableixen 3 percentils)

Govern Obert

• Compliment de transparència:
  • Puntuació rebuda a Infoparticipa
  • 8,13 punts si la puntuació d’infoparticipa és del 100% i la puntuació proporcional en cas contrari
• Dades Obertes:
  • Si l’ens publica dades obertes pròpies
  • 1,63 punts si l’ens en publica i 0 punts en cas contrari
• Participació ciutadana:
  • Número de processos de participació ciutadana per mitjans electrònics realitzats per l’ens
  • 1,63 punts si l’ens ha fet més de 7 processo participatius, 0,98 si ha fet entre 4 i 6 processos, 0,49 si ha fet entre 1 i 3 processos i 0 si no n’ha fet cap
• Vot electrònic:
  • Si l’ens ha utilitzat el vot electrònic en algun procés de participació ciutadana
  • 0,49 punts s’ l’ens l’ha utilitzat i 0 punts en cas contrari
• Portal transparència:
  • Si l’ens disposa de portal de transparència
  • 3,25 punts s’ l’ens en disposa i 0 en cas contrari
• Tauler electrònic:
  • Si l’ens disposa de tauler d’anuncis electrònic
  • 0,81 punts si l’ens en disposa i 0 en cas contrari
• Canal d’alertes:
  • Si l’ens disposa d’un canal d’alertes internes.
  • 2,44 punts si l’ens en disposa i 0 en cas contrari
• Accés a la informació pública:
  • Si l’ens disposa d’un tràmit electrònic específic de sol·licituds d’accés a la informació públic
  • 1,63 si l’ens en disposa d’un tràmit electrònic específic de sol·licituds d’accés a la informació pública.