埃隆·马斯克称 Rust 是一种 AGI 语言，为什么？

为什么不选择Python？

当前的LLM应用程序，包括推理和代理应用程序，大多是用Python编写的。但这种情况即将改变。对于新一波的开发人员来说，Python 太慢、太臃肿，而且不够轻量。事实上，LLVM、Clang 和 Swift 的发明者 Chris Lattner[1] 表明 Python 可能比编译语言慢 35,000 倍 - 这是 Mojo 的观点[2] 由于语言原因，我想替换Python。

根据 Chris Lattner 的说法，编译语言可以比 Python 快 35,000 倍。

这迫使开发人员推动越来越多的应用程序逻辑以本机编译 C、C++ 和 Rust 代码。例如，非常流行的项目 llama.cpp[3]、whisper.cpp[4] 和 llama2.c 都是用 C[5] 编写的和 C++ 是的，没有 Python 依赖项。

OpenAI 联合创始人和总裁 Greg Brockman 也认为 Python 太慢了。 https://twitter.com/gdb/status/1676726449934331904[6]

这也破坏了Python开发人员的体验。事实上，管理基于云的 Python 安装已成为一项重大挑战。维基媒体机器学习负责人 Chris Albon 甚至表示，他很难理解“现代”Python。 https://twitter.com/santiviquez/status/1676677829751177219[7]

也就是说，Python对于LLM来说不仅非常用，而且还非常难用。应用。

Rust！

Python 的挑战为高性能编译语言创造了机会。当 Rust 在开发者社区与 C 和 C++ 对抗时，Elon Musk 提出 Rust 可以成为 AGI 时代的语言。

让我们来消化一下这些事实吧！ （双关语：让沉下去吧）https://twitter.com/elonmusk/status/1649603943033450496[8]

Rust 连续 7 年被 StackOverflow 评为开发者中最受欢迎的编程语言♻ [9]，市场占有率持续稳步提升。

Rust + Wasm 世界上最好的

但是，将 Rust 直接编译为本机机器代码时还存在其他问题。

• 安全。本机二进制文件可能会使整个系统崩溃。
• 便携性。本机二进制文件特定于底层操作系统和硬件。
• 性能。由于安全性和可移植性要求，通常需要在 Linux 容器中运行本机二进制文件。容器给程序增加了大量的初始化和运行时开销，从而显着减少了它。

Wasm 作为 Rust 应用程序的安全运行时环境而出现，它希望解决这些问题。借助 WasmEdge[10]，开发人员现在可以在 LLM 应用程序堆栈的每一层使用高性能 Rust 作为 Python 的高性能替代方案。

用 Rust + Wasm 替换 Python，以提高性能、减少占用空间并提高安全性

• 代理层 ：网络密集型任务，用于接收网络事件、连接数据库和调用其他 Web 服务。 Rust 和 WasmEdge 提供异步和非阻塞 I/O，以支持密集且高性能的代理应用程序。示例：flows.network[11]。
• 推理层：CPU密集型任务，将数据（例如单词和句子）处理成数字，并将数字处理成句子或结构化JSON数据。这些函数可以用 Rust 编写以获得最佳性能，并在 WasmEdge 中运行以实现安全性和可移植性。示例：mediapipe-rs[12]。
• 张量层：通过 WasmEdge 的 WASI-NN 插件将 GPU 密集型任务从 Wasm 传递到本机张量库（例如 llama.cpp、PyTorch 和 Tensorflow）。

结论

Rust 和 Wasm 对于开发人员来说是 Python 的良好替代品。

• 两者都具有与底层 GPU 张量库（也用 C/C++/Rust 编写）更好的集成。
• 两者在实现特定于应用程序的数据预处理和后处理功能方面都更加高效，这些功能占推理工作负载的大部分。
• 在执行 LLM Agent 所需的网络密集型和长时间运行任务时， 都更加高效 。与 Python 镜像相比，
• 容器镜像大小小（几 MB vs 数百 MB）。
• 由于软件供应链有限且暴露的攻击面较少，因此两者都比 Python 容器更安全。
• 与Python程序相比，两者都更容易安装和管理依赖项。

参考

“上面还有很多空间：摩尔定律之后什么将推动计算机性能？” [13] MIT 的 Leiserson 和 Thompson 等人，《科学》，2020 年，第 368 卷，第 6495 期。它表明 Python 可以比 C 慢 62,000 多个优化程序。作者预测，设备软件从Python到编译语言将引发一场新的计算革命。

“无服务器功能即服务的轻量级设计”[14] Long、Tai、Hsieh 和 Yuan，《IEEE软件》，2021 年，第 38 卷，第 7 期，第 7 期。这表明 Wasm 应用程序经过 AOT 优化的应用程序在启动和运行时的性能可以显着优于 Linux 容器应用程序。

WasmEdge WASI-NN 插件[15]允许 WasmEdge 中的 Rust 程序运行 Pytorch 和 Tensorflow 推理应用程序。库

mediapipe-rs[16] 是一个 Rust 库，供开发人员使用 Google 的 mediapipe AI 模型系列构建应用程序。它针对 Wasm 进行编译并在 WasmEdge 上运行。

“在小型 WasmEdge 中运行小型 llama2.c 模型”[17] 作者 Yuan，Medium，2023。这展示了如何在 WasmEdge 中运行 llama2 模型的完整推理应用程序。

flow.network[18]是一个基于 WasmEdge 的无服务器 LLM 代理[19]（代理）平台。

关于 WasmEdge

WasmEdge 是一个轻量级、安全、高性能、可扩展、兼容 OCI 的软件容器和运行时环境。现在是CNCF沙箱项目。 WasmEdge应用于SaaS、云原生、服务网格、边缘计算、边缘云、微服务、流数据处理等领域。 ✨GitHub：https://github.com/WasmEdge/WasmEdge?官方网站：https://wasmedge.org♻‍♸群组： https ://discord.gg/U4B5sFTkFc文档：https://wasmedge/en‾♾/book