MLC LLM:大型语言模型的高性能部署解决方案

MLC LLM 利用机器学习编译技术,提供通用部署解决方案,增强AI模型的本地运行能力

直达下载
返回上一页
描述
MLC LLM 提供一个高性能的通用部署解决方案,使任何大型语言模型都能通过本地API以编译加速方式部署,旨在让每个人都能在自己的设备上开发、优化并部署AI模型。
介绍

MLC LLM(Machine Learning Compilation for Large Language Models)是一个为大型语言模型提供的高性能通用部署解决方案。该项目的使命是利用机器学习编译技术,使每个人都能在自己的设备上本地开发、优化和部署AI模型。

平台与硬件支持

MLC LLM 支持以下平台和硬件:

  • AMD GPU / NVIDIA GPU / Intel GPU:支持 Vulkan, ROCm, CUDA
  • Apple GPU:支持 macOS 上的 Metal (dGPU) 和 iOS/iPadOS 上的 Metal
  • Web Browser:支持 WebGPU 和 WASM
  • Android:支持 Adreno GPU 和 Mali GPU 的 OpenCL

index_open_MLC_LLM_1

快速开始

MLC LLM 使用 4 位量化的 8B Llama-3 模型进行演示。您可以通过以下命令尝试聊天 CLI 或使用 Python API:

    
mlc_llm chat HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLC
pythonCopy codefrom mlc_llm import MLCEngine

model = "HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLC"
engine = MLCEngine(model)
response = engine.chat.completions.create(
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
    model=model,
    stream=True
)

安装与验证

推荐在隔离的 conda 虚拟环境中安装 MLC LLM,安装后可通过以下命令验证:

    
python -c "import mlc_llm; print(mlc_llm.__path__)"

REST 服务器部署

您也可以部署一个 REST 服务器,通过 OpenAI 兼容的 API 提供服务:

    
mlc_llm serve HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1-MLC

API 支持

MLC LLM 提供多种 API 支持,包括 Python API、OpenAI 兼容的 REST-API、C++ API、JavaScript API 和 Web LLM、Swift API for iOS App、Java API 和 Android App。

通过 MLC LLM,我能够在本地设备上直接部署和运行大型语言模型,这不仅提高了运行效率,还增强了数据安全性。

收录信息
修改时间:2024年4月30日
收录时间:2024年4月30日
标签
MLC LLM MLC LLM下载 机器学习编译 MLC LLM使用 MLC LLM安装
AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群