WebLLM：浏览器内的语言模型加速技术

WebLLM 是一个利用 WebGPU 加速的 JavaScript 包，旨在直接在网页浏览器中部署和加速语言模型聊天。此包完全兼容 OpenAI API，意味着你可以在任何开源模型上本地使用与 OpenAI 相同的 API。

index_open_Web_LLM_1

安装: WebLLM 可通过 npm 包安装。建议遵循文档和入门指南来构建你的 web 应用。
```
npm install @mlc-ai/web-llm
```
npm install @mlc-ai/web-llm
简单示例: 下面的代码展示了如何在网页上生成流式响应。
```
import * as webllm from "@mlc-ai/web-llm";

async function main() {
  const initProgressCallback = (report) => {
    const label = document.getElementById("init-label");
    label.innerText = report.text;
  };
  const engine = await webllm.CreateEngine("Llama-3-8B-Instruct-q4f32_1", {initProgressCallback});
  const response = await engine.chat.completions.create({
    messages: [{"role": "user", "content": "Tell me about Pittsburgh."}]
  });
  console.log(response);
}

main();
```
import * as webllm from "@mlc-ai/web-llm"; async function main() { const initProgressCallback = (report) => { const label = document.getElementById("init-label"); label.innerText = report.text; }; const engine = await webllm.CreateEngine("Llama-3-8B-Instruct-q4f32_1", {initProgressCallback}); const response = await engine.chat.completions.create({ messages: [{"role": "user", "content": "Tell me about Pittsburgh."}] }); console.log(response); } main();