European Large Open Multi-Modal Foundation Models For Robust Generalization On Arbitrary Data Streams

Per migliorare le capacità dei modelli di intelligenza artificiale generalisti e per estenderne l’applicabilità a domini in cui la dimensione temporale – tra le varie – riveste un ruolo importante, ci proponiamo di sviluppare la prossima generazione di Multimodal SpaceTime Foundation Models (MSTFM). Questi modelli combineranno la comprensione spazio-temporale – fondamentale anche per modalità, come quella visiva, già introdotte nei grandi modelli generativi – con la gestione efficace di nuove modalità sensibili al tempo, che non sono ancora supportate nei modelli fondamentali, come le serie temporali industriali, i dati da telerilevamento e le misurazioni in ambito sanitario. Verranno utilizzati sia dati reali sia sintetici – per mitigare la scarsità di dati – al fine di addestrare MSTFM generalisti e di adattarli ulteriormente a specifici compiti applicativi. I dati reali impiegati per l’addestramento includeranno sia quelli forniti direttamente dai membri del consorzio sia quelli provenienti dagli European Data Spaces di riferimento, mentre i dati sintetici complementari saranno generati sfruttando le capacità dell’IA generativa esistenti, oltre a quelle che verranno sviluppate nell’ambito del progetto. L’infrastruttura europea di HPC è direttamente coinvolta nel consorzio per garantire la disponibilità delle risorse computazionali necessarie.