Gli elementi innovativi della piattaforma I-Media-Cities (IMC) non sono circoscritti al solo fatto di convogliare i contenuti audiovisivi e fotografici di ben nove archivi verso un unico raccoglitore e punto di accesso, ma comprende soprattutto una serie avanzata di soluzioni fornite all’attività di ricerca svolta sul materiale stesso.

Una volta raccolto il materiale audiovideo, infatti, questo è stato elaborato con una serie di procedure numeriche che hanno provveduto ad arricchirlo automaticamente con un buon set di metadati. Al giorno d’oggi è attività comune delle persone contribuire all’arricchimento dei contenuti del web con dati di vario genere, in particolare attraverso i social media. Tuttavia, questa attività manuale è un processo estremamente laborioso; soprattutto quando si tratta, come nel caso del progetto IMC, di annotare video a livello di shot o di singolo frame. La metadatazione automatica, invece, pur non raggiungendo ancora la precisione di un arricchimento di tipo manuale, è in grado di aggiungere moltissime informazioni. A tal fine, il processo di lavoro di IMC ha integrato una serie di strumenti forniti da Fraunhofer-Institut für Digitale Medientechnologie IDMT, l’altro partner tecnico del progetto europeo, per l’analisi automatica di video ed immagini. Questi algoritmi sono in grado di fornire informazioni sulla qualità dei video, individuare i movimenti di camera, come lo zoom o il pan, segmentare i video nelle varie scene ( shot), ed individuare e riconoscere oggetti ed elementi vari ( object detection) che appaiono nelle scene dei video conferiti alla piattaforma.

Lo strumento di object detection, grazie a tecniche di deep learning, è in grado di individuare nelle scene la presenza, per esempio, di persone o mezzi di trasporto o elementi architettonici o urbani, differenziando tra uomo o donna, o adulto o bambino; capire se è un tram o una carrozza o una bicicletta; se siamo in una piazza o di fronte ad una fontana, e così via. Si tratta di una procedura particolarmente interessante e complessa, che si trova a dover gestire l’analisi di pellicole già digitalizzate, anche diversi anni fa, risalenti dalla fine dell‘Ottocento ai giorni nostri, e che portano spesso i segni del tempo trascorso.
Dal momento che gli strumenti automatici hanno comunque un certo margine di errore, è stato predisposto un raffinato strumento di analisi frame by frame on-line per la correzione manuale delle inesattezze e l’integrazione, sempre manuale, con ulteriori metadati.

Il risultato di questo processo si esprime nella creazione di molti dati che vengono trasformati in dati semantici direttamente comprensibili da parte delle persone e, anche, dai calcolatori. Il modello di metadati di IMC riassume i metadati descrittivi provenienti dagli archivi, e quindi caricati direttamente insieme ai materiali audiovisivi, basati eminentemente sullo standard CEN EN19507 ( http://filmstandards.org/fsc/index.php/Main_Page); ed i dati generati una volta che il materiale è stato caricato sulla piattaforma. Come detto questi metadati possono essere frutto di un processo di arricchimento automatico o manuale, modellato usando il W3C Web annotation Data Model (WADM).

In I-Media-Cities è stato sviluppato un motore di ricerca semantico che elabora le richieste provenienti dall’interfaccia utente e, analizzando tutti i metadati disponibili, fornisce all’utente, ricercatore o cittadino, i risultati della ricerca effettuata.
Il sistema di metadatazione comprende diverse tipologie di annotazione associate a dettagli diversi di contenuto:

• metadati originari del contenuto, video o immagine, forniscono informazioni a livello dell’intero contenuto;
• annotazioni automatiche a livello di singolo segmento del video (scena o shot);
• annotazioni manuali a livello del singolo segmento del video (scena o shot), tag e geotag (annotazione geolocalizzata) con cui è stato arricchito il contenuto.

In particolare le annotazioni automatiche e manuali, essendo collegate al singolo segmento del video (scena o shot), permettono una raccolta di scene appartenenti a video diversi dove sia rintracciabile lo stesso elemento: ad esempio i tram e il traffico di inizio del Novecento in più città europee.
Le annotazioni automatiche garantiscono che tutto il materiale audiovisivo sia analizzato e annotato in maniera omogenea almeno su un set comune di aspetti, mentre le annotazioni manuali prevedono un arricchimento di informazioni dettagliate, anche in forma di appunti testuali, di referenze bibliografiche, di collegamenti ad altro materiale simile, sia interno che esterno ad I-Media-Cities.

Le performance della piattaforma IMC sono rese possibili grazie alle risorse di calcolo ad alte prestazioni di Cineca (HPC), che consentono l’uso delle architetture hardware più adatte rispetto ai differenti algoritmi di analisi applicati.

Per presentare in modo adeguato i contenuti della ricerca si sta prestando particolare attenzione allo sviluppo dell’interfaccia visuale, che permette anche di eseguire ricerche a partire direttamente dalla mappa su cui si geolocalizzano tutti i contenuti audiovideo, delimitando la selezione attraverso una barra del tempo. In relazione a questi aspetti viene applicato un processo di valutazione della user experience, in accordo con la metodologia “Agile”, che pervade il progetto.

La fase finale del progetto prevedere poi l’apertura della piattaforma anche al pubblico più ampio, e non solo ai ricercatori, in modo che l’arricchimento dei contenuti possa approfittare del crowdsourcing, ovviamente previo controllo da parte dei ricercatori e degli archivi della validità delle informazioni aggiunte. I risultati delle ricerche potranno infine essere presentati dagli archivi e dai ricercatori come mostre virtuali, allestite in un ambiente 3D Web interno alla piattaforma stessa.

Quanto sviluppato nell’ambito del progetto I-Media-Cities potrà essere adattato in futuro ad altri contesti, oltre ad essere arricchito con nuovi algoritmi.