grupo de astrofísica y cosmología computacional

16
Grupo de Grupo de Astrofísica y Astrofísica y Cosmología Cosmología Computacional Computacional WP6 WP6 PI.: Prof. Gustavo Yepes Alonso PI.: Prof. Gustavo Yepes Alonso Summary of activities of 2010 Summary of activities of 2010 Supercomputación y e-Ciencia Supercomputación y e-Ciencia 25/10/2011 25/10/2011 1 Reunión Consolider 2011 Reunión Consolider 2011

Upload: declan

Post on 06-Jan-2016

30 views

Category:

Documents


0 download

DESCRIPTION

Grupo de Astrofísica y Cosmología Computacional. WP6 PI.: Prof. Gustavo Yepes Alonso Summary of activities of 2010 Supercomputación y e-Ciencia. PARTICIPANTES. Profesores Permanentes : Rosa Domínguez Tenreiro (CU- UAM) Gustavo Yepes Alonso (TU –UAM) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Grupo de Astrofísica y Cosmología Computacional

Grupo de Astrofísica Grupo de Astrofísica y Cosmología y Cosmología

ComputacionalComputacional

WP6WP6PI.: Prof. Gustavo Yepes AlonsoPI.: Prof. Gustavo Yepes AlonsoSummary of activities of 2010Summary of activities of 2010Supercomputación y e-CienciaSupercomputación y e-Ciencia

25/10/201125/10/201111Reunión Consolider 2011Reunión Consolider 2011

Page 2: Grupo de Astrofísica y Cosmología Computacional

PARTICIPANTESPARTICIPANTESProfesores Permanentes:Profesores Permanentes:

Rosa Domínguez Tenreiro (CU- UAM)Rosa Domínguez Tenreiro (CU- UAM)Gustavo Yepes Alonso (TU –UAM)Gustavo Yepes Alonso (TU –UAM)Arturo Serna Ballester (TU- UMH)Arturo Serna Ballester (TU- UMH)Fernando Atrio Barandela (TU-USAL)Fernando Atrio Barandela (TU-USAL)M. Angeles Gómez- Flechoso (UC M)M. Angeles Gómez- Flechoso (UC M)

Postdocs:Postdocs:José Oñorbe Bernis (UCI)José Oñorbe Bernis (UCI)A. César González García (IAC)A. César González García (IAC)Steffen Knollmann (SyeC-UAM)Steffen Knollmann (SyeC-UAM)Tobias Goerdt (UAM)Tobias Goerdt (UAM)A. Knebe ( RyC- UAM)A. Knebe ( RyC- UAM)Francisco J. Martínez Serrano (UMH)Francisco J. Martínez Serrano (UMH)D. Ceverino (JdC – UAM)D. Ceverino (JdC – UAM)O. Zamora (SyeC – UAM)O. Zamora (SyeC – UAM)

Estudiantes de Estudiantes de doctorado:doctorado:

F. Sembolini (UAM)P. Alprese (UAM)A. C. Obreja (UAM)S. Robles (UAM)I. de Martino (USAL)J. Vega (UAM)E. Carlesi (UAM)A. di Cinntio (UAM)J. Casado (UAM)

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 22

Page 3: Grupo de Astrofísica y Cosmología Computacional

TEMAS DE TEMAS DE INVESTIGACIÓNINVESTIGACIÓN

Simulaciones cosmológicas Simulaciones cosmológicas de la formación de de la formación de estructuras en el Universo estructuras en el Universo a distintas escalas a distintas escalas Supercúmulos, filamentos, vacíos etc.Supercúmulos, filamentos, vacíos etc.

(> 10 Mpc)(> 10 Mpc)

Cúmulos y Grupos de Galaxias ( 1-10 Cúmulos y Grupos de Galaxias ( 1-10 Mpc)Mpc)

Galaxias ( < 1 Mpc)Galaxias ( < 1 Mpc)

Galaxias espiralesGalaxias espirales

Galaxias elípticasGalaxias elípticas

Galaxias enanasGalaxias enanas

El Universo LocalEl Universo Local::

Proyecto CLUESProyecto CLUES

Colab. con Consolider Colab. con Consolider MULTIDARKMULTIDARK

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 33

Page 4: Grupo de Astrofísica y Cosmología Computacional

Proyectos de Proyectos de Investigación Investigación

Large Scale Structure (LSS) Simulations:Large Scale Structure (LSS) Simulations:JubiLEE: (CubeP3M N-body simulations in Juropa)JubiLEE: (CubeP3M N-body simulations in Juropa)

P.I: Gottlober, S. Yepes G., Iliev, I. Martinez-Gonzalez, E. Diego, P.I: Gottlober, S. Yepes G., Iliev, I. Martinez-Gonzalez, E. Diego, J.)J.)(6 Gpc)(6 Gpc)33 Volume and 6000 Volume and 600033 (216 billions) particles. (216 billions) particles. Goal: Measure the Integrated Sach-Wolf effect + LSS clustering Goal: Measure the Integrated Sach-Wolf effect + LSS clustering simultaneously for the first time in simulations simultaneously for the first time in simulations Simulations done:Simulations done:

3072 Mpc volume with 30723072 Mpc volume with 307233 particles completed particles completed60003 Mpc volume with 600060003 Mpc volume with 600033 particles up to z=1 particles up to z=1

MUCKBOSS: (GADGET N-body simulations in SuperMUC)MUCKBOSS: (GADGET N-body simulations in SuperMUC)P.I.: F. Prada, G. Yepes, A. Klypin, S. Gottlober, S: KnollmannP.I.: F. Prada, G. Yepes, A. Klypin, S. Gottlober, S: KnollmannGOAL: Make mock catalogs to compare with BOSS (SSDS III) GOAL: Make mock catalogs to compare with BOSS (SSDS III) results on galaxy clustering and B.A.Oresults on galaxy clustering and B.A.O

2.5 Gpc volumes with variable particle resolutions: 12802.5 Gpc volumes with variable particle resolutions: 128033 2560 256033 and and 5120512033

Collaboration between Collaboration between SyeC and MULTIDARK Consolider SyeC and MULTIDARK Consolider membersmembers

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 44

Page 5: Grupo de Astrofísica y Cosmología Computacional

Proyectos de Proyectos de Investigación Investigación

Cosmic Microwave Background AnisotropiesCosmic Microwave Background AnisotropiesPLANCK collaboration PLANCK collaboration ( F. Atrio-Barandela)( F. Atrio-Barandela)

Implementation of a pipeline to estimate the residal Implementation of a pipeline to estimate the residal dipole in galaxy clusters from WMAP and PLANCK data. dipole in galaxy clusters from WMAP and PLANCK data. Numerical Method to estimate the power spectrum of Numerical Method to estimate the power spectrum of density fluctuations in dark energy models from the density fluctuations in dark energy models from the LCDM model.LCDM model.

Galaxy Cluster SimulationsGalaxy Cluster SimulationsMUSIC (Multidark Simulations of galaxy Clusters)MUSIC (Multidark Simulations of galaxy Clusters)

PI: G. Yepes, S. Gottolober, F. Sembolini, J. Vega, M. de PI: G. Yepes, S. Gottolober, F. Sembolini, J. Vega, M. de Petris)Petris)GOAL: Complete volume limited sample of resimulated GOAL: Complete volume limited sample of resimulated galaxy clusters from MULTIDARK simulation (galaxy clusters from MULTIDARK simulation (http://www.multidark.org))

More than 500 clusters resimulated with gas physics and More than 500 clusters resimulated with gas physics and radiative modeling. radiative modeling. MULTIHYDRO: Large database of numerical clusters that MULTIHYDRO: Large database of numerical clusters that will be make publicly available thru: will be make publicly available thru: http://multihydro.ft.uam.es

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 55

Page 6: Grupo de Astrofísica y Cosmología Computacional

Proyectos de Proyectos de InvestigaciónInvestigación

Ly-Ly- and Ly-Break galaxies at High Redshift and Ly-Break galaxies at High Redshift

(CURIE+ MARENOSTRUM )(CURIE+ MARENOSTRUM )P.I: G. Yepes, S. Knollmann, S. Gottlober, D: Ceverino, J. P.I: G. Yepes, S. Knollmann, S. Gottlober, D: Ceverino, J. Forero, F. Prada, T. Goerdt, A. Knebe.Forero, F. Prada, T. Goerdt, A. Knebe.5 Million hours in CURIE5 Million hours in CURIECODES: (GINNUGAGAP + GADGET + ART + CLARA(RT CODES: (GINNUGAGAP + GADGET + ART + CLARA(RT code)code)GOAL: Simulate from the first galaxies in the universe up GOAL: Simulate from the first galaxies in the universe up to z=3. Compare with High-z Lya and Lyb galaxies using a to z=3. Compare with High-z Lya and Lyb galaxies using a large statistical sample of simulated objectslarge statistical sample of simulated objects200 Mpc Volume. Zooming technique to resimulate a 200 Mpc Volume. Zooming technique to resimulate a complete volume limited sample of individual objects complete volume limited sample of individual objects down to a maximum resolution of 16384down to a maximum resolution of 1638433 effective effective particles.particles.STATUS: Generation of initial conditions in CURIE using STATUS: Generation of initial conditions in CURIE using GINNUGAGAP.GINNUGAGAP.Full box simulation done in dark matter only up to z=0 Full box simulation done in dark matter only up to z=0 with 1024with 102433 particles. particles. 25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 66

Page 7: Grupo de Astrofísica y Cosmología Computacional

Proyectos de Proyectos de Investigación Investigación

Galaxy Formation Simulations:Galaxy Formation Simulations:

http://www.clues-http://www.clues-project.org)project.org)

Juropa, Pleiades, SuperMUC, MareNostrum, + DECI Juropa, Pleiades, SuperMUC, MareNostrum, + DECI proposalsproposalsP.Is: G. Yepes, S. Gottlober and Y. HoffmanP.Is: G. Yepes, S. Gottlober and Y. HoffmanGOAL: Simulations of the Formation of the Local Group GOAL: Simulations of the Formation of the Local Group and Local Universe.and Local Universe.CODES (GAGDET- ART hydro codes +SFR modeling)CODES (GAGDET- ART hydro codes +SFR modeling)

Different models to account for radiative processes Different models to account for radiative processes

GALFOBS + GALACTICA ( BSC ALTIX 4700 system + DECI GALFOBS + GALACTICA ( BSC ALTIX 4700 system + DECI proposal )proposal )

P.I. R. Domínguez Tenreiro, J. Oñorbe, A. Serna, F. P.I. R. Domínguez Tenreiro, J. Oñorbe, A. Serna, F. Martinez-SerranoMartinez-SerranoGOAL: Simulations of galaxy formation in an 80 Mpc box GOAL: Simulations of galaxy formation in an 80 Mpc box with different resolutions using zooming techniques.with different resolutions using zooming techniques.CODE: OpenMP P-DEVA SPH code.CODE: OpenMP P-DEVA SPH code.

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 77

Page 8: Grupo de Astrofísica y Cosmología Computacional

HERRAMIENTAS HERRAMIENTAS SOFTWARE SOFTWARE

GENERADOR DE CONDICIONES INICIALES TOTALMENTE GENERADOR DE CONDICIONES INICIALES TOTALMENTE PARALELO:PARALELO:

GINNUNGAGAPGINNUNGAGAP (full MPI cosmological intial conditions generator) S. (full MPI cosmological intial conditions generator) S. KnollmannKnollmann

CODIGOS DE SIMULACIONCODIGOS DE SIMULACION::Public domain GADGET (MPI) RAMSES(AMR)Public domain GADGET (MPI) RAMSES(AMR)Propietario: PDEVA (OPENMP), ARTPropietario: PDEVA (OPENMP), ART

procesos gravitatorios (N-cuerpos)procesos gravitatorios (N-cuerpos)dinámica de gases (SPH)dinámica de gases (SPH)otros procesos astrofísicos otros procesos astrofísicos

(enfriamiento radiativo, fotoionizacion, formacion estelar(enfriamiento radiativo, fotoionizacion, formacion estelar

ANÁLISIS Y VISUALIZACIÓN DE SIMULACIONES: ANÁLISIS Y VISUALIZACIÓN DE SIMULACIONES: AHF (Amiga Halo Finder): Codigo de identificacion de halos en SimulacionesJUMP: Detector Algorithm, para encontrar con precisión posiciones y masas estelares de satélites dentro de halos.

Public access mediante bases de datos MySQL. Public access mediante bases de datos MySQL.

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 88

Page 9: Grupo de Astrofísica y Cosmología Computacional

TAREAS TAREAS REALIZADASREALIZADAS

PARALELIZACIÓN CON MPI:PARALELIZACIÓN CON MPI:GENERADOR DE CONDICIONES INICIALES:GENERADOR DE CONDICIONES INICIALES:

Romper la barrera de 4096Romper la barrera de 409633 particulas. Máximo particulas. Máximo numero posible con OpenMP en SMP.numero posible con OpenMP en SMP.Con MPI en Con MPI en MareNostrumMareNostrum se alcanzarían 16,000 se alcanzarían 16,0003 3

( 4 billones de particulas). ( 4 billones de particulas). Simulaciones factible de hacer en maquinas Simulaciones factible de hacer en maquinas petaflop de PRACE. (JUGENE, CURIE, SuperMUC…)petaflop de PRACE. (JUGENE, CURIE, SuperMUC…)

Hay que alimentar a los códigos Hay que alimentar a los códigos numéricos paralelos.numéricos paralelos.

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 99

Page 10: Grupo de Astrofísica y Cosmología Computacional

GINNUNGAGAPGINNUNGAGAPNuevo código de generación de condiciones iniciales cosmológicas: Nuevo código de generación de condiciones iniciales cosmológicas:

Escrito totalmente desde scratch por Escrito totalmente desde scratch por S. KnollmannS. Knollmann (SyeC- UAM) (SyeC- UAM)

Principales Principales ventajas:ventajas:Random Number: SPRNG Library (Modified Lagged Fibonnaci algorithm) Random Number: SPRNG Library (Modified Lagged Fibonnaci algorithm) totalmente MPI parallel y con secuencia de 2totalmente MPI parallel y con secuencia de 21310 1310 y un número de y un número de streams de 2streams de 23964839648

Desarrollo de una nueva rutina para FFT 3D:Desarrollo de una nueva rutina para FFT 3D:MPI/OpenMP /serial FFTW MPI/OpenMP /serial FFTW con pencil decompositioncon pencil decomposition Puede usar distintas librerías de 1D FFT ( FFTW3, ESSL, MKL).Puede usar distintas librerías de 1D FFT ( FFTW3, ESSL, MKL).Soporta solape entre comunicaciones y FFT. Soporta solape entre comunicaciones y FFT.

2011: Realizadas pruebas de escalamiento con gran número de 2011: Realizadas pruebas de escalamiento con gran número de procesadores en MareNostrum, JUGENE, Juropa, SuperMUC y procesadores en MareNostrum, JUGENE, Juropa, SuperMUC y CURIE.CURIE.

Production runs: C.I. Con 5200Production runs: C.I. Con 520033 particulas en SuperMUC @ LRZ particulas en SuperMUC @ LRZ

Una herramienta indispensable para poder realizar futuras Una herramienta indispensable para poder realizar futuras simulaciones en máquinas petaflops de PRACE. simulaciones en máquinas petaflops de PRACE.

Objetivo 2012: Llegar a producir C.I. para 16500Objetivo 2012: Llegar a producir C.I. para 1650033 particulas en particulas en CURIE @ CeACURIE @ CeA

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1010

Page 11: Grupo de Astrofísica y Cosmología Computacional

MPI P- DEVAMPI P- DEVAPARALELIZACIÓN CON MPI:PARALELIZACIÓN CON MPI:

CÓDIGO DE SIMULACIÓN P-DEVA:CÓDIGO DE SIMULACIÓN P-DEVA:Codigo de N-cuerpos (AP3M) + SPH desarrollado por miembros Codigo de N-cuerpos (AP3M) + SPH desarrollado por miembros del grupo (Serna, Dominguez-Tenreiro, Saiz, 2003). del grupo (Serna, Dominguez-Tenreiro, Saiz, 2003). Implentación reciente de modelos de evolución química. La Implentación reciente de modelos de evolución química. La version serie ha producido simulaciones de galaxias realistas version serie ha producido simulaciones de galaxias realistas al comparalos con las observaciones.al comparalos con las observaciones.Paralelizado a OpenMp para sistemas de memoria compartida.Paralelizado a OpenMp para sistemas de memoria compartida.Proyecto DECI para realizar simulaciones en sistemas ALTIX de Proyecto DECI para realizar simulaciones en sistemas ALTIX de memoria compartida (LRZ)memoria compartida (LRZ)Proyecto de la RES para realizar simulaciones en el ALTIX del Proyecto de la RES para realizar simulaciones en el ALTIX del BSC.BSC. Portabilidad a MPI para poder realizar simulaciones de mayor Portabilidad a MPI para poder realizar simulaciones de mayor volumen y número de partículas volumen y número de partículas

Nuevo código de N-cuerpos MPI paralelo: GRACOS (AP3M Nuevo código de N-cuerpos MPI paralelo: GRACOS (AP3M algorithm)algorithm)Implementación de SPH sobre GRACOS:Implementación de SPH sobre GRACOS:

Olga Zamora . Nuevo Contratado Doctor por Acción Especial UMH (A. Olga Zamora . Nuevo Contratado Doctor por Acción Especial UMH (A. Serna) -BSC (J. Cela) (6 meses) y CONSOLIDER SyeC (6 meses)Serna) -BSC (J. Cela) (6 meses) y CONSOLIDER SyeC (6 meses)

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1111

Page 12: Grupo de Astrofísica y Cosmología Computacional

OTRAS ACCIONES OTRAS ACCIONES REALIZADASREALIZADAS

VISUALIZACIÓN DE SIMULACIONES EN 3DVISUALIZACIÓN DE SIMULACIONES EN 3DAdaptacion del código de ray tracing SPLOTCH, desarrollado Adaptacion del código de ray tracing SPLOTCH, desarrollado por K. Dolag del MPA, para adaptarlo a la visualizacion de por K. Dolag del MPA, para adaptarlo a la visualizacion de simulaciones GADGET.simulaciones GADGET.

Cumulos MUSIC: Cumulos MUSIC: http://music.multidark.org

Realización de animaciones 3D de simulaciones del proyecto Realización de animaciones 3D de simulaciones del proyecto MareNostrum Numerical Cosmology Project por Carlos Tripianan MareNostrum Numerical Cosmology Project por Carlos Tripianan (BSC)(BSC)

PARARELIZACION MPI DE CODIGO DE PARARELIZACION MPI DE CODIGO DE IDENTIFICACION DE OBJETOS EN SIMULACIONES 3DIDENTIFICACION DE OBJETOS EN SIMULACIONES 3D

Desarrollados de S. Knollmann del codigo AHF. Desarrollados de S. Knollmann del codigo AHF. Version mixta OpenMP –MPI adaptada a la lectura de datos Version mixta OpenMP –MPI adaptada a la lectura de datos procedentes de diversos codigos numericos (GADGET, RAMSES, procedentes de diversos codigos numericos (GADGET, RAMSES, DEVA, GASOLINE..)DEVA, GASOLINE..)

Desarrollo de JUMP: Detector de objetos estelares en Halos.Desarrollo de JUMP: Detector de objetos estelares en Halos.

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1212

Page 13: Grupo de Astrofísica y Cosmología Computacional

Acceso a recursos Acceso a recursos computacionalescomputacionales

en 2011en 2011PRACE:PRACE:

Simulations of High-z Universe. (P.I. G. Yepes) (5 Millones horas concedidas en Simulations of High-z Universe. (P.I. G. Yepes) (5 Millones horas concedidas en CURIE)CURIE)

Red Española SupercomputaciónRed Española Supercomputación::Marenostrum Numerical Cosmology Project (MNCP) (P.I. G. Yepes) Marenostrum Numerical Cosmology Project (MNCP) (P.I. G. Yepes)

( > 4 Millones cpu hours en 2011 en MN)( > 4 Millones cpu hours en 2011 en MN)

GALFOBS ( P.I. R. Domíguez Tenreiro). (400 K horas en BSC Altix)GALFOBS ( P.I. R. Domíguez Tenreiro). (400 K horas en BSC Altix)

GALACTICA ( P.I. R. Domíguez Tenreiro). (200 K horas en BSC Altix)GALACTICA ( P.I. R. Domíguez Tenreiro). (200 K horas en BSC Altix)

Leibnitz RechenZentrum (LRZ).Leibnitz RechenZentrum (LRZ).The Short Scales structure problem of CDM: (P.I. S. Gottlöber, AIP). (1 Million hours The Short Scales structure problem of CDM: (P.I. S. Gottlöber, AIP). (1 Million hours in SuperMUC )in SuperMUC )

Jülich Supercomputer Center (FZJ)Jülich Supercomputer Center (FZJ)The CLUES project ( S. Gottlober, G. Yepes, Y. Hoffman) (1 M hours in Juropa)The CLUES project ( S. Gottlober, G. Yepes, Y. Hoffman) (1 M hours in Juropa)

The JuBiLEE project. (S. Gottlober, G. Yepes, I. Iliev et al). A 6000The JuBiLEE project. (S. Gottlober, G. Yepes, I. Iliev et al). A 60003 3 particle particle simulation in 6 Gpc volume. (2.5 Million hours in SuperMUC)simulation in 6 Gpc volume. (2.5 Million hours in SuperMUC)

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1313

Page 14: Grupo de Astrofísica y Cosmología Computacional

Publications (2011)Publications (2011)

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1414

Page 15: Grupo de Astrofísica y Cosmología Computacional

Other activitiesOther activities

25/10/201125/10/20111515Reunión Consolider 2011Reunión Consolider 2011

Interaction with other CONSOLIDER groups:Interaction with other CONSOLIDER groups:•The The MPI paralelization of the P-Deva code is being carried out in code is being carried out in collaboration with the group of collaboration with the group of J.M. Cela at BSCJ.M. Cela at BSC. .

•The scaling tests of the new The scaling tests of the new ginnungagapginnungagap i.c. program has been i.c. program has been done in Marenostrum in coll. With the BSC group.done in Marenostrum in coll. With the BSC group.

Contracts financed under the CSD2007-00050Contracts financed under the CSD2007-00050::•Dr. Steffen KnollmanDr. Steffen Knollman. Senior Postdoc. Fully employed bu Consolider. . Senior Postdoc. Fully employed bu Consolider. Since May 2009.Since May 2009.•Dr Olga ZamoraDr Olga Zamora. Recent Postdoc. Partially employed by Consolider. . Recent Postdoc. Partially employed by Consolider. 6 months.6 months.

Page 16: Grupo de Astrofísica y Cosmología Computacional

Activities for 2012Activities for 2012Improving the new GINNUGAGAP IC code by Improving the new GINNUGAGAP IC code by adding a routine for the generation of zoomed adding a routine for the generation of zoomed simulations of variable mass resolution. simulations of variable mass resolution.

Continue with the development of the MPI Continue with the development of the MPI version of P-DEVA in collaboration with BSC version of P-DEVA in collaboration with BSC group.group.

Development of an interactive database of Development of an interactive database of grand challenge simulation results.grand challenge simulation results.

Creation of a web site that will make the data Creation of a web site that will make the data publicly available to the astrophysics community publicly available to the astrophysics community through web interface as in the V.O.through web interface as in the V.O.

25/10/201125/10/2011Reunión Consolider 2011Reunión Consolider 2011 1616