GPU es el acrónimo de Graphics Processing Unit, o unidad de procesamiento de gráficos. Este componente juega un papel central en el Machine Learning, o aprendizaje automático. Las CPU simplemente no funcionan para estas tareas. Hubert Yoshida, de Hitachi, explicó que las CPU están diseñadas para un solo propósito, como el procesamiento de transacciones. Por su parte, las GPU fueron diseñadas para múltiples fines, por lo que son capaces de procesar tareas y funciones en paralelo.
En el mercado de las tarjetas gráficas GPU, Google ha desarrollado su propio producto llamado Cloud TPU. Por su parte, Microsoft Azure ha creado instancias de NV4 alimentadas por AMD para la partición de GPU. Sin embargo, el gigante de la industria es Nvidia.
El alquiler de GPU con proveedores de la nube es una propuesta costosa para muchas organizaciones. La buena noticia es que hay muchas opciones de GPU disponibles para construir tu propia estación de trabajo de Inteligencia Artificial (IA) y así poder realizar entrenamientos, pruebas y ejecutar modelos de ML.
Si el aprendizaje profundo está involucrado, se requerirá una tarjeta gráfica GPU más pesada porque se trata de un modelo con uso intensivo de cómputo. Algunos modelos de aprendizaje profundo requieren millones de cálculos y actualizaciones de parámetros en tiempo de ejecución. Por USD 2.500, un ingeniero puede adquirir una GPU con 4.680 núcleos y 576 núcleos tensoriales. En este sentido, los núcleos tensoriales son capaces de mejorar las operaciones de una matriz grande y hacer que una “matriz de precisión mixta multiplique y acumule cálculos en una sola operación”.
Nvidia llamó Turing a su última arquitectura de GPU, que sería el “mayor salto desde la invención de CUDA GPU” en 2006. Al menos eso es lo que dicen. Una característica interesante es el monitoreo en tiempo real, capaz de proyectar entornos 3D. La Nvidia Titan RTX viene con 42 GB de memoria GDDR6, 576 núcleos tensoriales y admite 672 GB/s de ancho de banda de memoria. Además, las funciones de NVLink permiten que las tarjetas estén encadenadas. A continuación se muestra una lista de Quadro de las tarjetas gráficas GPU de Nvidia, GeForce.
NVIDIA | Titan RTX | Geforce | Geforce | Quadro | Quadro | Quadro | Quadro |
Especificaciones | Titan RTX | RTX 2080 Ti | RTX 2080 Super | RTX 8000 | RTX 6000 | RTX 5000 | GV100 |
GPU | TU102 | TU102 | TU104 | TU102 | TU102 | TU102 | Volta |
Núcleos CUDA | 4608 | 4352 | 3072 | 4608 | 4608 | 3072 | 5120 |
Núcleos tensoriales | 576 | 544 | 384 | 576 | 576 | 384 | 640 |
Memoria | 24 GB | 11 GB | 8GB | 48 GB | 24 GB | 16GB | 32 GB |
NVLink | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
TFLOPS de precisión simple | 16,3 | 13.4 | 11.15 | 16,3 | 16,3 | 11,2 | 14.8 |
Base Clock (Reloj Base) | 1350Mhz | 1350Mhz | 1650Mhz | 1395Mhz | 1440Mhz | 1620Mhz | 1132Mhz |
Boost Clock (Reloj de impulso) | 1770Mhz | 1545Mhz | 1815Mhz | 1770Mhz | 1770Mhz | 1815Mhz | 1627Mhz |
Ancho de banda de la memoria | 672 GB/s | 616 GB/s | 496 GB/s | 672 GB/s | 672 GB/s | 448 GB/s | 868 GB/s |
Potencia | 280W | 260w | 250 W | 295W | 295W | 265W | 250 W |
Precio | $ 2.595 | $1.199 | 699€ | $5,500 | $4.000 | $2,400 | $ 11,083 |