AI银河猎人加剧全球GPU短缺危机

天文学家利用人工智能和 GPU 来发现遥远的星系,加剧了全球半导体短缺。了解这如何影响科技行业。
天文学界越来越多地转向人工智能和图形处理单元 (GPU) 来识别广阔宇宙中的遥远星系,从而导致需求意外激增,进一步加剧本已不稳定的全球 GPU 紧缺。当研究人员试图解开宇宙的秘密时,他们发现自己正在与科技公司、游戏制造商和加密货币矿工争夺有限的 GPU 资源,这种情况在过去几年中变得越来越严重。
随着强大的GPU加速计算技术的出现,现代天文学发生了巨大的变化。世界各地的望远镜,包括詹姆斯·韦伯太空望远镜和各种地面天文台,产生了前所未有的海量天文数据。研究人员现在必须处理数 TB 的图像和光谱信息来识别和分类星系,这是使用传统计算方法几乎不可能完成的任务。这种数据洪流的规模使得GPU 技术对于当代天文学研究至关重要。
天文学家将他们的挑战形容为银河大海捞针。宇宙包含数千亿个星系,识别新星系需要复杂的模式识别和机器学习算法,而这些算法需要大量的计算能力。配备 GPU 的系统擅长这些并行计算,同时处理数百万个像素比较,以区分真正的天文物体与噪声、伪影和仪器误差。如果无法获得足够的 GPU 资源,天文学家的研究时间将面临严重延误。
自 2020 年开始并持续多年的半导体短缺造成了瓶颈,影响了几乎所有依赖计算机芯片的行业。最初为游戏和图形渲染而开发的图形处理单元对于科学计算、人工智能训练和加密货币操作变得非常宝贵。多个行业的需求突然扩大,对有限的 GPU 供应造成了前所未有的竞争,推动价格上涨,并将交付时间延长至创纪录的水平。
对于天文机构来说,容纳 GPU 计算基础设施的数据中心的安全变得越来越困难。学术预算虽然数额巨大,但无法与谷歌、Meta 和微软等科技巨头竞争,这些巨头已投资数十亿美元为其机器学习计划购买 GPU 库存。尽管某些地区受到监管审查,加密货币挖矿业务仍继续大规模购买 GPU,进一步限制了科学研究的可用性。这种经济现实迫使许多天文团队优先考虑 GPU 的使用并开发更高效的算法。
研究机构已开始采用创新策略来最大限度地提高计算效率。一些大学建立了可供多个研究小组访问的共享 GPU 集群,汇集资源以提高整体容量。其他人则转向云计算平台,以按次付费的方式提供 GPU 访问,从而使天文学家能够根据特定的项目要求扩展其计算需求。这些方法虽然有用,但仍然不足以满足该领域不断增长的需求。
人工智能驱动的天文学的影响超出了单个研究机构的范围。大型协作项目,例如斯隆数字巡天和即将推出的 Vera C. Rubin 天文台遗产时空巡天,在很大程度上依赖 GPU 资源来处理其前所未有的数据量。这些项目涉及多个机构和国家的数百名研究人员,每个项目都在争夺计算资源。这些雄心勃勃的科学事业的成功与 GPU 的可用性直接相关,这使得半导体供应成为增进我们对宇宙了解的关键因素。
用于星系分类的机器学习模型变得越来越复杂,需要更多的计算能力来训练和操作。卷积神经网络擅长图像识别任务,可以非常准确地识别区分不同星系类型的细微形态特征。然而,在数百万张天文图像上训练这些模型所需的 GPU 资源远远超过传统基于 CPU 的系统所能提供的资源。因此,现代机器学习算法的扩展要求与 GPU 供应限制直接相关。
GPU 制造商一直在努力跟上所有行业的总需求。 NVIDIA作为GPU市场的主导者,优先将产能分配给最大的客户和最赚钱的应用程序。尽管该公司已投资扩大制造能力,但半导体生产时间延长到未来数年,这使得快速提高产能变得困难。这种结构性限制意味着在可预见的未来,GPU 供应相对于需求可能仍将受到限制。
科学界已开始倡导采取政策干预措施来解决 GPU 短缺问题。一些研究人员认为,政府应该优先将半导体分配给学术和科学研究,认识到天文发现和技术进步的长期利益。国际科学组织对 GPU 短缺可能会阻碍星系形成、暗物质和宇宙学等基础研究问题的进展表示担忧。这些宣传工作反映出人们对基于商业回报而不是科学价值来分配计算资源的市场动态越来越感到沮丧。
我们正在探索替代计算架构,以减少对传统 GPU 硬件的依赖。专为特定天文任务而设计的现场可编程门阵列 (FPGA) 和专用集成电路 (ASIC) 在某些应用中显示出了前景。此外,受生物神经网络启发的神经形态计算方法最终可能会提供传统 GPU 的节能替代方案。然而,这些新兴技术在很大程度上仍处于实验阶段,尚无法满足天文计算的全部需求。
GPU资源的竞争在天文学和其他科学学科之间创造了意想不到的合作。材料科学、结构生物学、气候建模和药物研究都依赖于GPU 加速计算来实现关键应用。这种融合促进了关于优化资源分配和共享基础设施开发的讨论。大学和研究机构越来越认识到 GPU 访问构成了一项基础研究能力,类似于前几代的图书馆或实验室设施。
展望未来,天文学界面临着有关研究优先顺序和计算策略的艰难决定。一些机构正在转向更高效的算法,这些算法可以在降低 GPU 需求的情况下获得可比的结果。其他人正在投资开发针对特定天文应用的定制硬件解决方案。这些调整虽然具有创新性,但代表了与理想场景的背离,在理想场景中,研究人员可以不受限制地轻松获取其科学所需的计算能力。
天文学中的人工智能与全球 GPU 短缺的交叉表明,科学在资源日益紧张的环境中面临着更广泛的挑战。尽管技术进步极大地扩展了我们探索宇宙的能力,但利用这些技术所需的基础设施仍然分布不均,并且受到科学界无法控制的市场力量的影响。随着天文学家继续开发用于星系发现和分类的更复杂的人工智能工具,他们将同时解决半导体稀缺带来的实际限制,最终塑造未来几年天文学研究的步伐和方向。
来源: TechCrunch


