【AI快讯分析】DeepMind 科研开支曝光：一篇 ICML 论文耗资高达 1290 万美元

【原文大意】来源：网上搜集DeepMind最近在ICML 2024上发表的一篇论文揭示了其在大型语言模型（LLM）规模扩展时对算法和架构细节的广泛实证研究。这篇63页的论文涉及数以万计的模型，包括多种优化器、参数化方案、对齐假设、学习率和参数规模。一位读者估算了复现这些实验的成本，高达1290万美元，这显示了进行此类研究的巨...