Pasar al contenido principal

Hardware | Laboratorio Nacional de Supercomputo

Especificaciones

Especificaciones de la supercomputadora

 La supercomputadora Cuetlaxcoapan del LNS está compuesta por un clúster estándar de cálculo con procesadores Intel Xeon y un clúster con procesadores Intel Xeon Phi Knights Landing.

Características del clúster Intel Xeon:

228 nodos de cálculo Thin (5472 núcleos totales)

Cada nodo contiene:

  • 2 procesadores Intel Xeon E5-2680 v3 (Haswell) a 2.5 GHz
  • 12 núcleos por procesador / 24 núcleos totales
  • 128 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

20 nodos de cálculo Fat (480 núcleos totales)

Cada nodo contiene:

  • 2 procesadores Intel Xeon E5-2680 v3 (Haswell) a 2.5 GHz
  • 12 núcleos por procesador / 24 núcleos totales
  • 512 GB de memoria RAM DDR4 a 2133 MHz
  • 4 TB de almacenamiento local
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

20 nodos de cálculo semi Fat (480 núcleos totales)

Cada nodo contiene:

  • 2 procesadores Intel Xeon E5-2680 v3 (Haswell) a 2.5 GHz
  • 12 núcleos por procesador / 24 núcleos totales
  • 256 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

2 nodos de cálculo ultra Fat (120 núcleos totales)

Cada nodo contiene:

  • 4 procesadores Intel Xeon E7-4870 v2 (Ivy Bridge) a 2.3 GHz
  • 15 núcleos por procesador / 60 núcleos totales
  • 1 TB de memoria RAM DDR3 a 1600 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

2 nodos de cálculo con GPU (48 núcleos CPU y 11520 núcleos CUDA totales)

Cada nodo contiene:

  • 2 procesadores Intel Xeon E5-2680 v3 (Haswell) a 2.5 GHz por nodo
  • 12 núcleos por procesador / 24 núcleos totales
  • 128 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps
  • 2 tarjetas GPU NVIDIA Tesla K40
    • 2880 núcleos CUDA por GPU / 5769 núcleos CUDA totales
    • 12 GB de memoria RAM DDR5 por GPU

2 nodos de cálculo con MIC (48 núcleos CPU, 244 núcleos MIC totales)

Cada nodo contiene:

  • 2 procesadores Intel Xeon E5-2680 v3 (Haswell) a 2.5 GHz por nodo
  • 12 núcleos por procesador / 24 núcleos totales
  • 128 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps
  • 2 coprocesadores MIC Intel Xeon Phi 7120P
    • 61 núcleos MIC por coprocesador / 122 núcleos MIC totales
    • 16 GB de memoria RAM DDR5 por MIC

6 servidores de gestión (login, colas y aprovisionamiento)

Servidor de login:

  • 2 procesadores Intel Xeon E5-2630 v3 (Haswell) a 2.4 GHz
  • 8 núcleos por procesador / 16 núcleos totales
  • 256 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

Servidor de colas:

  • 2 procesadores Intel Xeon E5-2630 v3 (Haswell) a 2.4 GHz
  • 8 núcleos por procesador / 16 núcleos totales
  • 64 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

Servidor de aprovisionamiento:

  • 2 procesadores Intel Xeon E5-2630 v3 (Haswell) a 2.4 GHz
  • 8 núcleos por procesador / 16 núcleos totales
  • 64 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red InfiniBand FDR a 56 Gbps

Cada uno de estos servidores cuenta con un servidor de redundancia para el servicio respectivo (tres en total) con las siguientes características:

  • 1 procesador Intel Xeon E5-2630 v4 (Broadwell) a 2.2 GHz
  • 10 núcleos por procesador / 10 núcleos totales
  • 64 GB de memoria RAM DDR4 a 2133 MHz
  • 2 interfaces de red Ethernet Gigabit

Almacenamiento:

Se dispone de 1.2 PB de espacio total para almacenamiento en disco y 1.2 PB de almacenamiento en cinta, distribuído de la siguiente forma:

Servicio NFS:

Compuesto por:

  • 1 servidor NFS
  • 1 unidad de almacenamiento de 200 TB

Provee la partición /home para el almacenamiento de los scripts y datos de los usuarios para la utilización de la supercomputadora.

Cluster LUSTRE:

Compuesto por:

  • 6 servidores OSS
  • 2 servidores MDS
  • 1 servidor de almacenamiento MDT de 40 TB
  • 3 servidores de almacenamiento OST de 320 TB cada uno

Provee la partición /scratch para el almacenamiento de los resultados de los cálculos de los usuarios en la supercomputadora.

Un robot de cintas:

Compuesto por:

  • 1 servidor de gestión
  • 1 unidad lectora con bandeja de 80 cintas LTO 7 de 6 TB cada una (480 TB de almacenamiento en formato estándar, 1.2 TB de almacenamiento en formato comprimido 2.5:1).

Redes de Comunicaciones

Se dispone de:

  • Una red Ethernet Gigabit para gestión del hardware de la supercomputadora y el aprovisionamiento de software a los nodos.
  • Una red Infiniband FDR (56 Gpbs) para comunicación rápida entre nodos de cálculo.

Características del clúster Intel Xeon Phi Knights Landing:

45 nodos de cálculo (3060 núcleos totales)

Cada nodo contiene:

  • 1 procesador Intel Xeon Phi Knights Landing 7250
  • 68 núcleos por procesador / 4 hilos por núcleo
  • 208 GB de memoria RAM DDR4 a 2400 MHz
  • 2 interfaces de red Ethernet Gigabit
  • 1 interface de red Intel Omnipath a 100 Gbps

2 servidores de gestión (login y aprovisionamiento)

Servidor de login:

  • 2 procesadores Intel Xeon E5-2630 v4 (Broadwell) a 2.2 GHz
  • 10 núcleos por procesador / 20 núcleos totales
  • 128 GB de memoria RAM DDR4 a 2400 MHz
  • 4 interfaces de red Ethernet Gigabit
  • 1 interface de red Intel Omnipath a 100 Gbps

Servidor de aprovisionamiento:

  • 2 procesadores Intel Xeon E5-2630 v4 (Haswell) a 2.2 GHz
  • 10 núcleos por procesador / 20 núcleos totales
  • 128 GB de memoria RAM DDR4 a 2400 MHz
  • 4 interfaces de red Ethernet Gigabit
  • 1 interface de red Intel Omnipath a 100 Gbps

1 Sistema de almacenamiento LUSTRE de 500 TB

Conectado a la red Omnipath y compuesto por:

  • 2 servidores OSS
  • 1 servidores MDS
  • 1 servidor de almacenamiento MDT
  • 2 servidores de almacenamiento OST