El equipo de PyTorch ha lanzado oficialmente PyTorch 2.0, que se anunció en diciembre de 2022 en la PyTorch Conference.
PyTorch es un framework de aprendizaje automático de la Linux Foundation que fue desarrollado originalmente por Meta (Facebook) y que se ha convertido en algo casi intrínseco al mundo del Machine Learning.
Esta nueva versión incluye una implementación de alto rendimiento de la API para implementar modelos de tipo Transformer. Ahora admite más casos de uso, como por ejemplo, modelos que usan Cross-Attention, Transformer Decoders y modelos de entrenamiento. El objetivo de lanzar esta nueva API es hacer que el entrenamiento y el despliegue de los modelos basados en Transformer sean más rentables y más asequibles.
PyTorch 2.0 también presenta Torch.compile como la API principal para envolver modelos y obtener un modelo compilado. Esta es una característica opcional, añadida a lo ya existente, que mantiene por tanto la compatibilidad con versiones anteriores. Torch.compile se basa en otras cuatro nuevas tecnologías:
- TorchDynamo: que utiliza Python Frame Evaluation Hooks para capturar de forma segura los programas PyTorch
- AOTAutogram: que se puede utilizar para generar trazas hacia atrás con anticipación (Ahead-of-Time)
- PrimTorch: que condensa más de 2.000 operadores de PyTorch en un conjunto de 250 que se pueden orientar para construir un backend completo con PyTorch, lo que reduce significativamente la barrera de entrada
- TorchInductor: que es un compilador de aprendizaje profundo (Deep Learning) que utiliza el lenguaje open source de alto nivel Triton de OpenAI para sacar partido a las GPUs CUDA
“Hemos logrado importantes mejoras de velocidad a la hora de entrenar modelos de transformadores y, en particular, modelos de lenguaje grande (LLMs, como GPT-4) con Accelerated PyTorch 2 Transformers, usando una combinación de kernels personalizados y torch.compile()”, asegura el equipo de PyTorch en el anuncio de su blog.
Esta versión también añade soporte para 60 nuevos operadores al backend Metal Performance Shaders (MPS), que brinda entrenamiento acelerado por GPU en plataformas macOS. Esto eleva la cobertura a un total de 300 operadores hasta la fecha.
Los clientes de AWS verán un rendimiento mejorado en AWS Graviton en comparación con versiones anteriores. Estas mejoras se centran en los kernels de tipo GEMM, la compatibilidad con bfloat16, el almacenamiento en caché primitivo y el asignador de memoria.
Esta versión también incluye varias actualizaciones beta para las bibliotecas de dominio de PyTorch (un conjunto de bibliotecas construidas sobre PyTorch que ofrecen funcionalidad adicional para dominios específicos, como visión por computadora, procesamiento de lenguaje natural y sistemas de recomendación), que incluyen actualizaciones para TorchAudio, TorchVision y TorchText.
Fecha de publicación: