AOC

Repte

Com aconseguir la confiança dels usuaris en els serveis d’administració digital que utilitzen dades i algorismes d’intel·ligència artificial, tot garantint-ne un ús responsable, segur i just. 

Problemàtica i context actual

La intel·ligència artificial (IA) ha esdevingut part integrant de la nostra vida quotidiana. Els governs la fan servir per millorar l’accessibilitat i l’experiència dels serveis públics, optimitzar processos o gestionar l’espai públic, per exemple.

Els algorismes són la base dels sistemes d’IA i sovint succeeix que es comporten com “caixes negres” per a les persones que els fan servir i afecten. Perquè això no passi, és imprescindible que els algorismes puguin ser entesos pels usuaris, que aquests puguin comprendre com s’ha arribat a una determinada decisió i per què es pren aquesta decisió. Més encara en el cas del govern, que només pot funcionar quan hi ha confiança entre aquest i la ciutadania. Una bona administració ha de permetre a tots els ciutadans comprendre els motius de les decisions i tenir la possibilitat d’impugnar-les.

Als governs democràtics, la confiança es garanteix mitjançant nombroses salvaguardes legals. Pel que fa a l’obligació de fer transparents els algorismes d’IA que s’usen als serveis d’administració digital, la llei estableix el dret de les persones a obtenir una explicació de les decisions automatitzades (RGPD) i preveu la creació de “mecanismes” perquè els algorismes involucrats en la presa de decisions tinguin en compte criteris de transparència i explicabilitat (Llei 5/2023 integral per a la igualtat de tracte i la no discriminació), però no estableix cap mecanisme o instrument jurídic concret per fer-ho. Només dona recomanacions i deixa a criteri dels organismes trobar l’eina més adient per:

  • facilitar informació significativa sobre la lògica dels algorismes emprats així com de les conseqüències previstes, que sigui clara i que faci ús d’un llenguatge entenedor,
  • permetre a les persones entendre per què un algorisme ha donat un determinat resultat, així com indicar l’òrgan davant del qual es podran recórrer les seves decisions particulars o impugnar el seu funcionament general,
  • obrir els algorismes al control democràtic.

En vista de la manca de concreció de mecanismes, tècniques o mètodes per aconseguir la transparència algorísmica, l’AOC ha realitzat un estudi per bé de cercar formes normalitzades de transparència i donar prioritat a la comprensió dels algorismes que apliquem als nostres serveis d’administració digital.

D’aquí sorgeix la iniciativa de transparència algorísmica que presentem.

Solució proposada 

La transparència en el desenvolupament i ús de la IA és una qüestió crucial per garantir que aquesta tecnologia sigui emprada de manera responsable i justa envers la societat.

Com a mitjà per assolir la transparència algorísmica, l’AOC proposa la publicació al Portal de Transparència de fitxes entenedores per a cada algorisme d’IA aplicat als serveis d’administració digital.

Aquesta iniciativa pretén ser una eina per:

  • ajudar les persones a comprendre com funcionen els algorismes utilitzats a les administracions locals i quin és el seu propòsit,
  • proporcionar una transparència significativa de forma estandarditzada i permetre la comparació entre diferents algorismes,
  • facilitar que tothom pugui donar la seva opinió i participar en la creació d’algorismes centrats en les persones.

Contingut de la fitxa

Cada fitxa de transparència algorísmica conté:

  • el problema a resoldre amb l’algorisme d’IA en qüestió,
  • l’explicació de les característiques de l’algorisme així com el seu funcionament,
  • els col·lectius que es poden veure afectats per l’algorisme,
  • l’anàlisi de riscos o l’avaluació d’impacte de protecció de dades que s’ha fet (segons pertoqui) per determinar els possibles biaixos discriminatoris de l’algorisme,
  • l’anàlisi de riscos de seguretat del sistema que s’ha fet per identificar les possibles contingències de disponibilitat i seguretat del sistema que conté l’algorisme,
  • la gestió de riscos feta i les mesures aplicades per garantir el compliment dels drets fonamentals, 
  • l’òrgan davant del qual es podrà recórrer contra les decisions particulars de l’algorisme o impugnar el seu funcionament general quan la llei ho exigeix,
  • les dades de contacte del responsable i del proveïdor de l’algorisme.

→ Vegeu el model de fitxa de transparència algorísmica de l’AOC (pdf)

Com s’ha arribat a determinar el contingut de la fitxa

Per determinar el contingut de les fitxes de transparència algorísmica, l’equip d’Innovació i Dades amb el suport dels serveis jurídics de l’AOC, ha dut a terme un estudi que inclou:  

  1. Una anàlisi de la normativa existent en què s’aborda el tema de la transparència de les decisions automatitzades preses pels algorismes d’IA, posant especial atenció a:  
  • Reglament europeu de protecció de dades (RGPD)
  • Reglament sobre l’ús de la intel·ligència artificial del Consell d’Europa (AI Act)
  • Llei 40/2015 de Règim Jurídic del Sector Públic (LRJSP) i Reglament d’actuació i funcionament del Sector Públic per mitjans electrònics (RD 203/2021)
  • Llei 15/2022 integral per a la igualtat de tracte i la no discriminació 
  1. Documents que ofereixen directrius i orientacions per aconseguir una IA segura i fiable. Cal destacar: 
  • Directrius ètiques per a una IA fiable, del grup d’experts d’alt nivell sobre IA de la Comissió Europea (abril 2019) 
  • Informe “Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights” del Comissionat per als Drets Humans del Consell d’Europa (maig 2019)
  • Principis per a la gestió responsable d’una IA fiable de la Recomanació del Consell sobre Intel·ligència Artificial de l’OCDE (maig 2019)
  • Informe “Decisions Automatitzades a Catalunya” de l’APDCAT (gener 2020)  
  • Declaració Europea sobre els Drets i principis digitals per a la Dècada Digital (gener 2023)
  • Eina marc de gestió de Riscos de la Intel·ligència Artificial del NIST (gener 2023)
  1. També s’han explorat iniciatives de transparència algorísmica de diferents administracions, les quals es troben en fase de desenvolupament. Cal destacar: 
  • Registre d’Algorismes de la ciutat d’Amsterdam – implementat
  • Registre d’Intel·ligència Artificial de la ciutat de Hèlsinki – implementat
  • Estàndard de transparència algorísmica d’Eurocities, basat en l’estàndard del Regne Unit – implementat
  • Registre d’Algorismes municipal de l’Ajuntament de Barcelona 
  • Registre d’Algorismes de la Fundació TIC Salut Social 
  • Radar d’algorismes d’IA de la Taula d’entitats del Tercer Sector Social de Catalunya
  • Proposta d’un marc de treball d’ètica dels algorismes de la Generalitat de Catalunya

Conclusions de l’estudi

Els estats membres de la Unió Europea es comprometen, a través de la Declaració Europea sobre els Drets i Principis Digitals per a la Dècada Digital, a vetllar per un nivell adequat de transparència en l’ús dels algorismes i la intel·ligència artificial i perquè les persones estiguin informades i capacitades per utilitzar-los quan hi interactuïn.

Per donar compliment al requisit de transparència dels sistemes d’IA de les administracions públiques, la normativa actual especifica la informació que cal donar segons els casos [1], però no defineix un mecanisme, format normalitzat o instrument jurídic “concret” per fer-ho; si bé: 

  • el Reglament d’IA estableix el requisit de portar un registre de la tota la informació pertinent dels sistemes d’IA d’alt risc (art 17);
  • la Llei 15/2022 integral per a la igualtat de tracte i la no discriminació parla d’afavorir la posada en marxa de “mecanismes” perquè els algorismes involucrats en la presa de decisions tinguin en compte criteris de minimització de biaixos, transparència i rendició de comptes (art 23);
  • el Reglament d’actuació i funcionament del Sector Públic per mitjans electrònics estableix l’obligació de publicar a la seu-e la relació d’actuacions administratives automatitzades (AAA) –que poden implicar o no l’ús d’algorismes d’IA–, i acompanyar cada AAA amb la descripció del seu disseny i funcionament (art 11). 

Hem explorat diferents iniciatives que estan impulsant els governs locals i regionals europeus, a fi de trobar una forma normalitzada que ens permeti donar compliment al requisit de transparència dels algorismes d’IA que apliquem als nostres serveis d’administració digital.

D’entre totes les iniciatives explorades i d’acord amb les obligacions legals vigents, hem arribat a la conclusió que la publicació de fitxes de transparència algorísmica al Portal de Transparència és una solució àgil i senzilla que facilita el compliment del requisit de transparència establert a la normativa i permet aconseguir la confiança dels usuaris en els sistemes d’IA de les administracions públiques.

L’estudi també ens ha permès determinar quina és la informació rellevant que cal donar dels serveis públics basats en IA per tal que els usuaris puguin comprendre com els algorismes prenen les decisions i com es verifiquen aquestes decisions. Altrament, l’estudi ens ha portat a desenvolupar una metodologia àgil i pràctica per identificar i analitzar els riscos més probables que comporta l’ús d’algorismes d’IA en relació amb els drets fonamentals, i connectar-los amb les mesures que caldrà aplicar en cada cas per garantir el compliment d’aquests drets.

Metodologia de gestió de riscos centrada en la protecció dels drets fonamentals

Per garantir una IA fiable, ètica i segura en els serveis públics, l’AOC ha desenvolupat una metodologia pròpia de gestió de riscos. Aquesta metodologia, centrada en la protecció dels drets fonamentals, aborda els possibles riscos que poden afectar la ciutadania i detalla com poden mitigar-se o minimitzar-se. La metodologia consta de tres passos principals, cadascun amb bases sòlides en normatives i directrius internacionals.

  • Pas 1: Identificació dels principis i drets fonamentals a protegir
    Per assegurar una IA que respecti els valors democràtics, ens hem basat en la Carta de Drets Fonamentals de la Unió Europea, la qual ens ajuda a definir les principals famílies de drets i principis que poden veure’s afectats per la IA. Aquests són:

    • A) Igualtat i no discriminació
    • B) Protecció de dades i privacitat
    • C) Seguretat i robustesa
    • D) Transparència i explicabilitat
    • E) Retiment de comptes i auditabilitat
    • F) Desenvolupament sostenible i solidaritat

  • Pas 2: Identificació dels riscos associats i la seva relació amb els principis i drets a protegir
    Per identificar els riscos més comuns en l’ús de la IA, l’AOC ha adoptat l’Artificial Intelligence Risk Management Framework (AI RMF 1.0) del NIST, que relaciona els riscos potencials amb els principis i drets esmentats. Aquest enfocament permet determinar quins riscos poden posar en perill cadascuna de les famílies de drets fonamentals, ajudant així a anticipar i gestionar problemes com la discriminació, la privacitat o la seguretat.

  • Pas 3: Determinació de les mesures de gestió de riscos
    Per identificar els mecanismes i salvaguardes que poden ser més adequats i eficaços en cada cas per evitar la vulneració dels principis i els drets fonamentals, ens hem basat en el capítol II de les Directrius Ètiques per a una IA fiable de la Comissió Europea, i en el Reglament d’IA recentment aprovat (d’obligada aplicació a partir del 2/8/2026), de manera que els mecanismes es determinen en funció del nivell de risc del sistema d’IA i per a determinats sistemes o models d’IA. Per exemple:
    • Risc alt: subjecte a requisits específics de seguretat i transparència, i a la obligació de realitzar una avaluació d’impacte relativa als drets fonamentals abans de desplegar el sistema (art 27)
    • Risc limitat: obligacions mínimes de transparència per permetre que els usuaris prenguin decisions informades i siguin conscients quan interactuen amb una IA.

Aquesta metodologia ens ajuda a mantenir un sistema d’IA transparent, segur i compromès amb la protecció dels drets fonamentals.

→ A la presentació (PPT, 7/11/2024) podeu veure una taula síntesi dels tres passos de la metodologia de gestió de riscos de l’AOC.

FITXES PUBLICADES:

Estat del projecte

En Producció. S’han publicat les tres primeres fitxes de transparència algorísmica.

Mes informació

Casos pràctics implementats:

Casos en fase de desenvolupament:

Referències bibliogràfiques:

Obligacions legals:

Marc europeu

  • Reglament (UE) 2016/679 del Parlament Europeu i del Consell, de 27 d’abril de 2016, relatiu a la protecció de les persones físiques pel que fa al tractament de dades personals i a la lliure circulació d’aquestes dades i pel qual es deroga la Directiva 95/46/CE (“RGPD”). Enllaç
  • Directrius sobre decisions individuals automatitzades i elaboració de perfils als efectes del Reglament 2016/679. Adoptades el 3 d’octubre de 2017 i revisades per darrer cop i adoptades el 6 de febrer de 2018. Grup de treball sobre protecció de dades de l’article 29 de la Directiva 95/46/CE. Enllaç
  • Reglament del Parlament Europeu i el Consell pel qual s’estableixen normes harmonitzades en matèria d’intel·ligència artificial (AI Act) i es modifiquen determinats actes legislatius de la Unió. 12/7/2024. Enllaç 

Marc estatal

  • Llei orgànica 3/2018, de 5 de desembre, de protecció de dades personals i garantia dels drets digitals (“LOPDGDD”). Enllaç
  • Adequació al RGPD de tractaments que incorporen Intel·ligència Artificial. Una introducció. Febrer de 2020. AEPD. Enllaç
  • Llei 15/2022, de 12 de juliol, integral per a la igualtat de tracte i la no discriminació. Enllaç

Marc català

  • Llei 19/2014, del 29 de desembre, de transparència, accés a la informació pública i bon govern. Enllaç
  • Decret 76/2020, de 4 d’agost, d’Administració digital. Enllaç

[1] Per exemple, el Reglament d’IA especifica la informació que s’ha de donar en relació amb determinats sistema d’IA (art 50); el RGPD determina la informació que cal facilitar a la persona interessada quan existeixen decisions automatitzades (art 13); i la LRJSP estableix l’obligació d’informar sobre l’òrgan responsable d’una actuació administrativa automatitzada a la seu electrònica, a efectes d’impugnació (art 41).