点击上方“Deephub Imba”,关注公众号,好文章不错过 !深度学习模型参数量和训练数据集的爆炸式增长，以 Llama 3.1 为例：4050 亿参数、15.6 万亿 token 的训练量，如果仅靠单 GPU可能需要数百年才能跑完，或者根本无法加载模型。并行计算（Parallelism）通过将训练任务分发到多个 ...

PyTorch作为深度学习研究与工程领域的主流框架，拥有强大的性能潜力，但许多高级性能特性往往隐藏在文档深处，未被充分利用。本文基于对多种模型架构、不同PyTorch版本和容器环境的实证测试，系统总结了PyTorch性能调优的关键技术，旨在帮助开发者构建高效 ...

深度学习需要大量的计算。它通常包含具有许多节点的神经网络，并且每个节点都有许多需要在学习过程中必须不断更新的连接。换句话说，神经网络的每一层都有成百上千个相同的人工神经元在执行相同的计算。因此，神经网络的结构适用于GPU（图形处理单元 ...

本文为雷锋字幕组编译的技术博客，原标题Accelerating deep neural networks with tensor decompositions，作者为Jacob。 在这篇文章中，我将介绍几种低秩张量分解方法，用于在现有的深度学习模型中进行分层并使其更紧凑。我也将分享PyTorch代码，它使用Tensorly来进行在卷积层 ...

在计算机视觉与模式识别大会(CVPR) 上，NVIDIA率先展示了Apex技术的早期版本——这是一款帮助用户利用NVIDIA Volta GPU实现深度学习训练性能最大化的开源式PyTorch扩展。 在转换网络、情感分析和图像分类中的先进混合精度训练的启发下，NVIDIA PyTorch开发者创造出了 ...

快科技11月28日消息，摩尔线程正式发布了PyTorch深度学习框架的最新版MUSA扩展库—— Torch-MUSA v2.7.0 ，在功能集成、性能优化、硬件支持上都实现了进一步突破。 目前，T orch-MUSA专属支持的算子总数已超过1050个 ...

PyTorch公开2024 H2发展路线图，增透明度。 【导读】最近，PyTorch团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。 如果你在AI领域用Python开发，想必PyTorch一定是你的老朋友之一。2017年，Meta AI发布了这个机器 ...