La nueva y colosal inteligencia artificial que contendrá todo el conocimiento científico de la humanidad será una de las más complejas jamás creadas con un billón de parámetros. Su objetivo final es acelerar la investigación científica de forma exponencial y revolucionar campos enteros, integrando información de todas las ramas del saber en un solo ‘cerebro casi omnisciente’, un semidios científico capaz de mostrar conexiones ocultas, analizar datos y responder cualquier pregunta imaginable.
Si todo sale como piensan sus desarrolladores, está destinada a convertirse en una herramienta revolucionaria para todos los científicos del planeta que podrán realizar consultas, accediendo a todo el saber humano, interrelacionado de una forma que hasta ahora era imposible, desde un solo punto y en una conversación con un oráculo que nadie habría podido preveer apenas hace un par de años.
Acelerar la investigación
Su nombre será AuroraGPT. El proyecto —una iniciativa conjunta del Argonne National Laboratory (ANL) e Intel— es un gran avance en el campo de la inteligencia artificial aplicada a la ciencia. El modelo se está entrenando en el superordenador Aurora de ANL, que supera el medio exaflop de potencia gracias a las GPU Ponte Vecchio de Intel.
El propósito de Aurora GPT es integrar una cantidad masiva de información científica, incluyendo todos los textos, código, resultados de investigaciones y documentos académicos publicados en el mundo. Ogi Brkic, vicepresidente y gerente general de soluciones para centros de datos y computación de alto rendimiento de Intel, lo llama Science GPT: “Es un modelo que la ciencia puede usar para acelerar la investigación”.
Colaboración internacional
El desarrollo de Aurora GPT no solo es un proyecto de ANL e Intel: Cuenta con la colaboración de otros laboratorios en Estados Unidos y alrededor del mundo. Su meta es hacer de la inteligencia artificial científica una realidad tangible y accesible para investigadores en diversas áreas, desde la biología y la investigación del cáncer hasta el cambio climático.
El proyecto está ahora en sus primeras etapas, con pruebas iniciales en hardware y la preparación para el entrenamiento a gran escala. El proceso de entrenamiento ya ha comenzado y durará varios meses. La esperanza es que, una vez en línea, Aurora GPT se convierta en una herramienta esencial para la comunidad científica global.
Entrenamiento muy complejo
El entrenamiento de Aurora GPT es un proceso complejo que consumirá grandes recursos computacionales. Inicialmente, la fase inicial de pruebas del modelo de un billón de parámetros se está realizando en una cadena de 64 nodos de Aurora. Esta cantidad de nodos es menor de lo que típicamente se ve en modelos de lenguaje de gran tamaño, debido al diseño único de Aurora.
Después crecerá a 256 nodos del superordenador y más tarde se escalará para utilizar los aproximadamente 10,000 nodos disponibles. La estrategia escalonada es crucial para gestionar los desafíos inherentes al entrenamiento de un modelo de inteligencia artificial de esta magnitud.
Eficiencia energética
Uno de los retos más significativos en el entrenamiento de este tipo de modelos de lenguaje de gran tamaño es el gran requerimiento de memoria. El sistema usa una tecnología de Microsoft llamada Megatron/DeepSpeed que, según el laboratorio e Intel, permite el entrenamiento paralelo y distribuido del modelo a través de múltiples unidades de proceso gráfico. Según Brkic, «el número de nodos es menor de lo que normalmente vemos en estos grandes modelos de lenguaje… debido al diseño único del supercomputador Aurora».
El objetivo final, afirman, no es sólo lograr una escalabilidad lineal aumentando el rendimiento del entrenamiento a medida que aumente el número de nodos sino también que esto resulte en un incremento de la eficiencia, ya que una de las críticas a este tipo de sistemas es su gran consumo de recursos energéticos.
Conectando todas las ramas del saber
Una vez el modelo esté terminado, éste se hará público para que toda la comunidad científica mundial pueda interactuar con ella para acelerar sus propias investigaciones.
El gran potencial de AuroraGPT para llevar a la humanidad al siguiente nivel estará en su capacidad de conectar las diferentes ramas del saber, lo que permitirá descubrir nexos y relaciones de causalidad hasta ahora ocultos por la inabarcable cantidad de datos que hemos generado en el último siglo. Si todo sale como piensan, los momentos “‘¡eureka!” de laboratorios de todo el mundo están a unos meses de dispararse, llevándonos a una nueva era en el mundo científico y tecnológico. Esperemos que así sea.
/psg
