DataHub
Un espacio de datos compartido para el almacenamiento, procesamiento y acceso a grandes volumenes de datos
DataHub es una infraestructura de investigación y experimentación que permite almacenar y procesar grandes cantidades de datos de manera rápida y segura.
Esta infraestructura está formada por tres tipos de componentes:
Componentes de Control: permiten controlar el status y configurar la infraestructura acorde a los requerimientos de cada momento.
Componentes de Almacenamiento: guardan la información en un espacio de datos compartido con requerimientos de eficiencia y seguridad acordes al volumen y tipo de datos a almacenar.
Componentes de Cálculo: procesan la información contenida en los componentes de almacenamiento utilizando procesadores de cálculo CPU y GPU de forma combinada.
Esto permite una ejecución eficiente de tareas que requieren mucho poder de cálculo y almacenamiento, como la inteligencia artificial y el procesamiento de grandes volúmenes de datos. Su finalidad es generar un Espacio de Datos compartido universal y accesible a cualquier entidad, independientemente de sus características.
Algunos de los proyectos en los que se utiliza el DATA HUB:
MODERATE: Utilización del nodo GPU para el desarrollo de modelos ML, tanto desde CTIC como socios europeos del proyecto, siendo la Universidad de Viena su mayor exponente.
GAIA-X: El uso del Datahub permite el desarrollo y despliegue de la solución para la creación de Espacios de Datos, alineados con los estándares de la iniciativa GAIA-X, y es la base tecnológica para el despliegue de Espacios de datos en el ámbito Agroalimentario.
AI4ES: Data HUB se utiliza para el entrenamiento distribuido de modelos de inteligencia artificial y para el desarrollo de modelos STT (conversión de voz a texto).
CEL.IA: En el nodo GPU se desarrollaron y siguen en funcionamiento los modelos NPL Procesamiento del Lenguaje Natural (speech to text).
AI.MEE: Data Hub permite da soporte de computación para el "Laboratorio de IA Generativa" de CTIC, permitiendo el despliegue y operación de Modelos Masivos de Lenguaje (LLMs), entre los que se encuentra la aplicación de desarrollo interno denominada AI.MEE, basada en IA generativa para la explotación de bases de conocimiento privadas.
CTIC-DATAHUB es una infraestructura que ha sido financiada por el Programa Asturias del Gobierno del Principado de Asturias.