12.1.1.6 : Machine Learning / Deep Learning

• The Energy-Based view of Self-Supervised Learning (Yann Lecun)
  • Faire le plus possible d'apprentissage non supervisé
  • 10 min de non supervisé pour faire pareil que 100h supervisé pour la reconnaissance du langage
• The Challenges in Hardware Aware Inference Optimization for Deep Learning
• Fast and FuriousA GPU Inference Acceleration for State-of-the-Art YOLO v4 Model
• Starting a Deep Learning team with DGX Station A100 and Cnvrg.io Presented by Microway Inc.
• GPU Performance for Recommendation DNNs
  • A100 80 GB => 2TB/s bandwidth (10 processors to stream)
  • NVlink 300GB/s bandwidth (in both direction). Je sais, ils annoncent 500 GB/s dans une autre présentation mais ce n'est que dans un sens à la fois.
  • PCIe Gen 4 31Gb/s bandwidth
  • On peut avoir des problèmes d'accès mémoire si l'utilisateur regarde des items très éloignés en mémoire
  • Ils entraînent leur model avec des batch de 8k éléments (au lieu de 256), mais ils utilisent des algo comme LARS, LAMB, etc, qui permettent d'avoir de bonne performances de convergence même avec de gros batch
• NVIDIA DALI: GPU-Powered Data Preprocessing
  • DALI : pour optimiser le preprocessing des données
  • CPU bottleneck : pas assez rapide pour fournir des données au GPU (encore pire avec la précision mixte, qui fait que les GPU sont encore plus rapide)
  • Ils arrivent à avoir $96\%$ du pic de performance
  • Meme si les données sont compressées
  • Ils utilisent Triton, et DALI n'est qu'un backend pour simplifier la vie des développeurs
  • Ils arrivent à avoir $97\%$ du pic de performance sur ResNet50v1.5
  • Il gère les labeling, le contenu, les vidéos, l'audio, l'augmentation des données avec bounding box
• High Performance Scalable Distributed Deep Learning with MVAPICH2-GDR [S31646]
• Profiling PyTorch Models for NVIDIA GPUs
• NCCL: High-Speed Inter-GPU Communication for Large-Scale Training [S31880]
• Accelerating Large-Scale AI and HPC in the Cloud [S31582]
• Fusing HPC and AI on the Exascale for Matter Under Extreme Conditions [E31939]
• Composable A100 and NVIDIA Intelligent Networking: Adaptive Architecture for AI-Driven Computing (Presented by Liqid Inc.) [SS33102]