CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi...
Transcript of CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi...
![Page 1: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/1.jpg)
Septiembre 2017
CESGA: Infraestructuras para servicios marinos y reanálisis
Pablo Rey
Técnico de Sistemas
Aurelio Rodríguez
Técnico de Aplicaciones
![Page 2: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/2.jpg)
• Descripción del CESGA
• Uso de los recursos de cálculo
• Ejemplos de uso
• Soporte Aplicaciones
• Servicios
• Aplicaciones más usadas
• Entorno y disponibilidad del software
• Monitorización de rendimiento
• A mejorar …
Agenda
![Page 3: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/3.jpg)
![Page 4: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/4.jpg)
• Institución pública (Xunta de Galicia y CSIC)
• Aloja el 2º supercomputador más grande de España
• Infraestructura Científica y Técnica Singular (Finis Terrae II)
• Provee servicios de HPC, comunicaciones y más para la investigación
• >500 investigadores en el 2016
Datos básicos del CESGA
![Page 5: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/5.jpg)
Áreas de actividad del CESGA
![Page 6: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/6.jpg)
Usuarios del CESGA
Universidades gallegas
Centros de I+D+I en Galicia CSIC (de toda España) Otras Institucións Estatales e Internacionales:
Hospitales (Dpto. de I+D) Empresas Centros y Plataformas Tecnológicas
Clusters Empresariales Otros centros de I+D+I sin ánimo de lucro
![Page 7: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/7.jpg)
Recursos del CESGA
![Page 8: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/8.jpg)
Septiembre 2017
CESGA: Infraestructuras para servicios marinos y reanálisis
Uso de los recursos
de cálculo
![Page 9: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/9.jpg)
Los recursos de cálculo son de uso compartido por todos nuestros usuarios, por lo
que necesitamos un sistema de colas para gestionar como serán usados
Diferentes formas de uso:
Normal: Los usuarios envían sus trabajos y entrarán en ejecución según vaya
habiendo recursos disponibles.
Uso por defecto en la mayoría de los casos
Priorizado: Trabajos que tendrán una mayor prioridad dentro de la cola
Usuarios de la RES
Usuarios con convenios o contratos
Se pueden priorizar trabajos de forma puntual
Reservas: Recursos dedicados para operativas diarias
Puertos del Estado, MeteoGalicia
Uso de los recursos de cálculo
![Page 10: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/10.jpg)
El uso de las reservas nos permite garantizar la disponibilidad de los recursos
necesarios para la ejecución de trabajos que necesitan ser ejecutados en ciertos
momentos concretos: operativas diarias o semanales
Problemas de las reservas: ¿Qué sucede con los recursos una vez finalizada la
reserva?. Ejemplo:
Operativa que utiliza todos los días X nodos entre las 07:00 y las 10:00.
Los nodos quedarían libres entre las 10:00 y las 07:00 del siguiente día.
Uso para trabajos cortos que finalicen antes del inicio de la próxima reserva
(07:00). Partición cola-corta.
Pero no siempre existen ese tipo de trabajos => Sobrecoste
Uso de los recursos de cálculo:
Reservas
![Page 11: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/11.jpg)
Septiembre 2017
CESGA: Infraestructuras para servicios marinos y reanálisis
Ejemplos de uso:
Operativas
![Page 12: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/12.jpg)
Recursos de cálculo: Hacen uso de las reservas.
Las reservas se hacen con 1 semana de antelación.
Se hacen por más tiempo del inicialmente necesario por si hubiese algún
problema.
Diferentes operativas => Diferentes reservas.
Almacenamiento: Este tipo de operativas necesitan bastante espacio y dado que
es imposible asignarles el espacio que necesitarían para almacenar todo el
histórico de datos, hay que implementar una política de backup a cinta y/o disco.
Diseminación: Necesidad de dar acceso a los datos obtenidos a sus usuarios:
Thredds, Motu, FTP, … Uso de los recursos de Cloud.
Monitorización: Podemos seguir el estado de la operativa
Ejemplo de uso: Operativas
![Page 13: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/13.jpg)
Ejemplo de uso: Reservas
ene-17 feb-17 mar-17 abr-17 may-17 jun-17 jul-17 ago-17 sep-17 * Total
Nº de
reservas 533 788 1.031 1.045 1.090 1.090 1.114 1.219 684 8.594
Tiempo
reservado 336.470 262.398 269.852 750.686 724.713 486.677 476.432 539.718 251.247 4.098.197 **
* Datos hasta mediados de mes
** Entorno al 10% del Tiempo reservado total
![Page 14: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/14.jpg)
Usamos Máquinas Virtuales (Cloud) para la diseminación de los datos obtenidos
(servidor thredds, Motu, FTP, …)
Posibilidad de disponer de varias máquinas a la vez: nuevo software, nuevos
conjuntos de datos, tests, …
Ejemplo de uso: Diseminación
![Page 15: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/15.jpg)
Fichero de estado -> ICINGA -> Grafana
Datos del sistema -> ICINGA -> Grafana
Ejemplo de uso: Monitorización
![Page 16: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/16.jpg)
Septiembre 2017
CESGA: Infraestructuras para servicios marinos y reanálisis
Soporte Aplicaciones
![Page 17: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/17.jpg)
Instalación de aplicaciones para los usuarios.
Soporte a los usuarios en aplicaciones científico-técnicas.
Formación.
Adaptación, Programación e Optimización de aplicaciones científicas.
Mantenemento de aplicaciones, librerías, compiladores e utilidades (mái de
200).
Actividad 2016:
490 actividades de soporte
216 nuevas versiones instaladas
Servicios
![Page 18: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/18.jpg)
Aplicaciones más usadas
cfitsio yaxt netcdf-fortran netcdf4-python cairo
cdo sqlite netcdf jasper grib_api curl ncview
gdal mupdf gcc anaconda2 anaconda3 geos mkl fox
meld-core openmpi proj pympi os-devel python
xfe bullxmpi graphicsmagick ferret libemos
nco gmt openjpeg parallel vim-X11 qt impi
intel jdk hdf5 fftw openssl ncl_ncarg szip
netcdf-c pixman gsl udunits
![Page 19: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/19.jpg)
Configuración del entorno: Uso de módulos (LMOD).
Compatibilidad de librerías.
Uso de las versiones adecuadas.
Pequeñas guías de ayuda
Disponibilidad del software: Software instalado de forma centralizada con un
acceso adecuado desde todos los nodos de ejecución.
Entorno y disponibilidad del
software
![Page 20: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/20.jpg)
Monitorización de rendimiento
![Page 21: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/21.jpg)
En resumen:
![Page 22: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/22.jpg)
Soporte de herramientas para la implementación de workflows:
ecFlow
Python dask, Apache Airflow, Luigi, Celery …
A mejorar …
![Page 23: CESGA Infraestructuras para servicios marinos y reanálisis Rey.pdfmeld-core open mpi proj pympi os-devel python xfe bullxmpi graphicsmagick ferret libemos nco gmt openjpeg parallel](https://reader030.fdocuments.mx/reader030/viewer/2022040403/5e8e0d9b1f1ddf35c8383f1c/html5/thumbnails/23.jpg)
Gracias
Pablo Rey
Técnico de Sistemas
Aurelio Rodríguez
Técnico de Aplicaciones