AOC

Repte

Com extraure més informació i coneixement dels continguts audiovisuals del Congrés Govern Digital i com fer-los més accessibles als usuaris.

Problemàtica actual

Les jornades, seminaris, tallers i altres activitats de caràcter divulgatiu que organitza l’AOC per promoure la transformació digital i la innovació de les administracions públiques catalanes genera una gran quantitat de contingut audiovisual que no sempre s’aprofita bé per extraure informació i coneixement.

Aquest fet s’ha vist agreujat per la pandèmia que ens ha obligat a canviar d’un dia per l’altre els nostres hàbits, rutines i maneres de relacionar-nos, de manera que, en poc temps, el nombre d’activitats en línia (reunions, conferències i congressos) s’ha multiplicat exponencialment i ara disposem d’una quantitat ingent de vídeos, notes de veu i textos que no tenim temps de processar.

A més de la pandèmia, hi ha altres factors que han accelerat el procés de digitalització dels esdeveniments i activitats:

  • La facilitat d’accedir als meetings, la comoditat i la reducció de costos d’organització gràcies a una logística molt més simple.
  • Els avenços tecnològics que fan que l’experiència d’usuari en línia sigui cada vegada millor, permetent fer una anàlisi precisa de l’audiència i tenir les dades controlades.
  • La reducció d’emissions de carboni a consecuencia d’evitar els desplaçaments dels assistents.

Tant és que el 2021 el Congrés Govern Digital que organitza l’AOC cada dos anys, va passar de ser 100% presencial a un format híbrid, amb presentadors i ponents en plató i audiència virtual.

De seguida ens vam adonar que una simple plataforma de “Video on Demand”, com per exemple Youtube, no seria suficient per treure profit de la gran quantitat de contingut audiovisual que es generaria abans, durant i després del congrés, ni per a fer el coneixement més accessible. També hi havia un repte que era la recollida de dades dels usuaris i dels seus interessos a partir de la seva navegació, a fi de poder entendre millor les seves necessitats i expectatives i poder redissenyar el programa de continguts de cara a futurs esdeveniments.

Així, doncs, vam posar fil a l’agulla per descobrir si existia alguna eina o servei de mercat capaç de processar i analitzar vídeos, notes de veu i textos, mitjançant tècniques d’intel·ligència artificial, per extraure informació i coneixement i fer-lo més accessible.

Solució proposada

La solució aplicada va venir de la mà d’Omnios, una startup catalana tecnològica nascuda a  Barcelona l’any 2019 que ha desenvolupat un servei de processament intel·ligent de la informació que fa accessibles grans quantitats de contingut audiovisual; Winnow by Omnios: The intelligent Video On Demand platform.

Què és Winnow?

Una plataforma de vídeo intel·ligent que t’ajuda a navegar pel contingut multimèdia. Els vídeos i les presentacions que hi conté es processen prèviament mitjançant tècniques d’intel·ligència artificial com ara el reconeixement de veu i persones, la mineria de textos i la categorització de continguts; a fi d’extreure’n coneixement i poder establir relacions entre els conceptes de què se’n parla.

Principals funcionalitats:

La plataforma ofereix:

  • Mapes intel·ligents de coneixements.

    Quan es puja un vídeo, automàticament el sistema genera mapes interactius. Aquests mapes són l’extracció del contingut i poden servir tant per comparar el que ha dit cada ponent, com per navegar comparant els vídeos i les temàtiques. La mida del cercle depèn bàsicament de la freqüència i importància que el concepte té respecte el vídeo, i les fletxes signifiquen una relació directa entre ponents i conceptes. Els mapes es poden explorar segons Paraules clau | Marques o entitats | Ubicacions | Persones.

Què són els Mapes de Coneixement de Winnow?

Gràfics interactius que ajuden a entendre el coneixement que Winnow extrau automàticament dels continguts que processa (vídeos i presentacions). El sistema comprèn com diferentes ponències es relacionen entre elles, troba vincles entre conceptes i persones, i explora connexions noves i més profundes.

També ofereix:

  • Un cercador intel·ligent per poder buscar, a través de paraules clau, el moment exacte on es parla d’un tema en concret, estalviant així temps ociós cercant en parts del vídeo que no interessen.
  • Reconeixement de veu dels ponents: Mitjançant la intel·ligència artificial, la plataforma és capaç de reconèixer qui parla en cada moment i això permet segmentar el discurs i assignar cada tros a una persona determinada.
  • Descàrrega de la transcripció del vídeo en diferents llengues. La plataforma té la capacitat d’entendre el vídeo o nota de veu i permet descarregar tota la transcripció en català, castellà i anglès, en format de document o bé mitjançant subtítols.
  • Classificació intel·ligent de tots els vídeos i “tagging” automàtic.
  • Analítiques de contingut i d’usuaris (by Google Analytics): es poden utilitzar per conèixer millor els usuaris a partir de la seva navegació; entendre el que demanen i volen.

Prova de concepte i pilot

El Consorci AOC va posar en marxa un projecte pilot per comprovar els avantatges i els beneficis de la IA aplicada als continguts audiovisuals del CGD2021, tot processant els vídeos i les presentacions resultants del congrés amb el servei Winnow.

Es van processar un total 162 continguts, entre vídeos de les sessions (80) i documents de suport de les presentacions en format pdf.

El 25/11/2021 es va habilitar un accés al servei Winnow a través de la plataforma del CGD 2021 que va estar operatiu 6 mesos.

Resultats

Durant el temps que el pilot ha estat operatiu han accedit a la plataforma 167 usuaris únics, una xifra modesta tenint en compte que el número d’inscrits al congrés va ser de 2.000.

El nombre de continguts visualitzats ha estat de 354.

El gràfic 1 mostra com, una vegada publicitat l’accés a la plataforma Winnow, 150 usuaris únics van utilitzar-la el primer dia, aconseguint un total de 874 visites en els primers tres mesos.

Gràfic 1

Al gràfic 2 podem observar com el temps mig que els usuaris passen navegant en la plataforma és de 4 minuts aproximadament. Amb aquesta informació podem corroborar que s’ha aconseguit l’objectiu d’optimitzar al màxim el temps de cerca en un vídeo i reduir el temps ociós, ja que els usuaris van directament al vídeo que els interessa i aconsegueixen anar al punt que conté la informació rellevant ràpidament.

Gràfic 2

El gràfic 3 mostra el nombre d’usuaris que han utilitzat la barra de cerca de la plataforma.

Gràfic 3

Les paraules clau que més s’han buscat a través de la barra de cerca intel·ligent han anat canviant amb el temps. Durant els 3 primers mesos del pilot la paraula més buscada va ser “intel·ligència artificial”. Al final del pilot la paraula més buscada ha estat “dades”.

Conclussions

Les mètriques obtingudes demostren que l’aplicació d’intel·ligència artificial als continguts multimèdia d’un esdeveniment permet:

  • Facilitar la navegació dins dels continguts i que els usuaris trobin el que busquen ràpidament
  • Automatitzar resums dins del contingut audiovisual
  • Recollir dades dels usuaris per analitzar el seu comportament i entendre els seus interessos

Ara bé, la plataforma on s’allotgen els continguts també ha de ser de fàcil d’accés per a tothom, ja siguin les persones que vulguin tornar a veure un vídeo concret o bé aquelles que no van poder assistir al congrés i volen fer-ne un visionat “intel·ligent”.

En el nostre cas, l’accés a la plataforma Winnow havia de ser logat (per requeriment d’Omnios, la startup desenvolupadora) i creiem que això va desincentivar l’ús del servei perquè la gent no recorda els passwords, encara menys si sap que els continguts estan disponibles a Youtube, una web de fàcil accés i que tothom coneix.

Un altre handicap que ens hem trobat a l’hora d’extraure coneixement dels continguts audiovisuals del congrés és la llengua. La llengua majoritària del congrés és el català, però la plataforma Winnow encara està en fase de millorar els algoritmes d’interpretació de llenguatge natural d’aquesta llengua. Hem pogut comprovar que els diccionaris i taxonomies d’anglès i castellà estan força més desenvolupats.

Per tant, l’experiència pilot amb el servei Winnow ha estat positiva, però la falta de rodatge del català i l’escàs ús que s’ha fet del servei no ens ha permès recollir suficients dades dels usuaris per fer una anàlisi exhaustiva del seu comportament a fi d’entendre les seves necessitats i interessos i poder redissenyar el programa de continguts del pròxim Congrés Govern Digital 2023.

Estat del projecte

Pilot finalitzat

Més informació