Meta / Llama 最新动态

我不断看到关于 TPU 的东西，有什么实质性的新进展吗？ 没有证据表明 Google 曾在非 TPU 硬件上训练过 Gemini，这可以追溯到多年前 GPT 之前的模型，比如 BERT。TPU 比 Nvidia 自己的张量核心还要早。 Anthropic（以及 Character、SSI 和 Midjourney……）长期以来一直在使用 TPU，如果 Meta *没有* 在考虑它们，我会感到惊讶。 Nvidia 的护城河对大型实验室来说从来都不深——看看 OpenAI 决定它可以做得比 CUDA 更好，转而投资 Triton，在基准测试中经常胜过 CUDNN。这一切都没有什么神奇或结构性的东西，只是优秀的工程师在做优秀的工作。 TPU 并不比 GPU 高效多少，而微小的性能/功耗差异与 Meta 是否拥有正确的内核/系统工程人才来做到这一点相比，简直微不足道。Nvidia 和 Google 的护城河都很小，我们仍然处于个别优秀工程师就能扭转整个平衡的阶段。见下面的旧帖。 这难道……没有被定价进去吗？这些都是超级古老的公开信息。