公众号记得加星标⭐️，第一时间看推送不会错过。
来源 ：内容 编译自nextplatform 。
每两年晶体管数量增加一倍，从而将晶体管价格降低一半，因为可以在给定面积上塞入两倍的晶体管，这在 CMOS 芯片时代改变了计算方式并推动了它的发展。
但摩尔定律的数学意义还在于此。每次略微提高功率预算，就能将设备性能每年提升 40%。对于计算引擎而言，这意味着每年的升级频率足以满足大多数公司事务性和分析性工作负载的增长需求。而对于那些需要更多性能的公司，对称多处理 (SMP) 和非均匀内存访问 (NUMA) 集群技术可以使多个设备看起来像一个大设备——我们称之为“纵向扩展”。
随着 20 世纪 90 年代末 Web 2.0 互联网时代的到来，一台机器即使配备了 SMP 或 NUMA，这种所谓的通过共享内存扩展来提高计算能力的做法也显得力不从心。（有趣的是，巧合的是，当时超级计算中奇特的联邦 NUMA 配置（如今我们可以使用现成的 PCI-Express 交换机轻松构建）也不足以支持传统的 HPC 仿真和建模工作负载，但其规模要大得多，对于企业和像谷歌这样尚未进入超大规模的网络公司来说成本太高。）因此，在这两种情况下，在具有数百到数千个节点的分布式计算集群之间进行扩展很快成为让机器同时完成更多工作或在更短时间内完成相同工作的唯一方法。
此时，网络真正成为了计算机。从那时起，网络就一直是瓶颈，在 GenAI 时代更是雪上加霜。售价 3 万、4 万或 5 万美元的 GPU 的计算能力可能只达到了 25% 到 35%，因为它们需要在 AI 集群中等
