随着任何新技术的出现，人类的第一次尝试通常是通过蛮力实现的。随着技术的发展，我们尝试进行优化，并为这一突破性突破提出更优雅的解决方案。随着人工智能（AI）的最新进展，尤其是大型语言模型（LLM）的开发，我们近年来取得了长足的进步，展现了令人印象深刻的能力。但是，这些进步在很大程度上仍处于这种技术演变的蛮力阶段。我们已经看到了寒武纪类变形金刚模型的爆炸式增长，推出了参数范围高达数万亿个的大型模型。这非常类似于内燃机向更高效的电动继任者的过渡。这种转变是在轿车和我最喜欢的业余玩具：赛车中观察到的。这始于20世纪60年代，庞蒂亚克GTO、Shelby Cobra 427或Dodge Charger R/T等车型展示了底特律的肌肉，配备了大型缸体发动机，耗油量在10秒内达到0至60英里/小时的街道Hemi发动机，汽油里程从每加仑（MPG）7-14英里（MPG）不等。如今，有了最新的电动汽车，例如Rimac的电动汽车 冰箱，你可以在 1.74 秒内达到 0 到 60 英里/小时，同时达到 54mpGe。早期的蛮力是催化随之而来的效率的必要步骤。

在我看来，历史需要在大型语言模型中重演；我们正处于从野蛮尝试转向更优雅的解决人工智能模型的解决方案的风口浪尖；特别是从更大、更复杂的语言模型（我们的现代相当于GTO、Cobra和Hemi引擎）转向更小、更高效的模型。坦率地说，在过去的几年中，提高这样的效率一直是我的重点。与一支出色的同事团队合作，我很幸运能在人工智能和计算的交汇处担任最近的职务，设计加速机器并共同设计 Meta 的人工智能基础架构。什么时候 Babak Pahlavan 我着手建立我们目前的合资企业—— NinjaTech AI — 我们将我们的技术DNA的一个关键基础融入了公司的文化——从第一天起我们的情报平台的有效执行和运营。NinjaTech正在构建人工智能行政助理，通过承担日程安排、费用和差旅预订等消耗大量时间的管理任务，提高专业人员的工作效率。

在研究语言模型超过数千亿个参数的自回归和生成模型时，我很清楚需要一种更高效、更简单的方法来完成这些管理任务。如果你想回答 “生命的意义是什么” 的问题，或者要求你的模型为自动音乐制作人编写 python 代码，那是一回事。对于许多管理任务，更简单、不太复杂的模型就足够了。我们已经对此进行了测试，利用各种模型大小来执行各种管理任务，其中一些任务非常小巧高效，可以在 CPU 上运行！这不仅可以防止我们花很多钱去做高成本的大规模训练任务，而且不需要昂贵的 GPU 实例和大量内存占用空间来为我们的模型提供服务，从而节省了我们的推理时间。就像上面的燃烧转电的例子一样，我们的效率正在提高，但速度非常快！

我们很高兴看到行业和研究界向更高效的运营转变。其中一个例子包括 Meta 美洲驼 发布哪个 展示 通过在数量级较小的模型上训练更多数据，他们的 13B 参数模型在大多数基准测试中表现优于 GPT-3 (175B)。因此，Meta 研究再次超越了自己 利马 （Less Is More For Alignment）利用1000个 “多样化” 提示作为一种巧妙的预训练方法来实现高质量的结果。这确实非常了不起，对于遏制我们对人工智能的计算需求势在必行。人工智能继续呈指数级增长，并且由于人工智能的碳足迹，可能会对我们的星球产生不利影响。为了透视事物， 麻省理工学院的一项研究 证明，只有6500万个参数的小型变压器模型在训练时最多可以消耗27kWh和26磅的二氧化碳当量。当查看诸如GPT3之类的大型模型时，这个数字可能会急剧增长，最多可达 ~502 吨 仅在2022年的碳当量排放量中。此外，虽然推理的计算密集度低于模型发布后的训练，但与利用推理进行服务时的训练相比，推理在其生命周期内的排放量开始飙升10—100倍。

人工智能的巨大可能性只是冰山一角；但是，要在更小的占地面积和考虑到集群规模和预算的情况下做更多的事情，必须考虑我们的运营效率。我们需要遏制Hemi的耗气量，并采用更高效的小型模型——这将改善运营，降低成本并显著减少人工智能的碳足迹。