WebLLM

WebLLM 是一个高性能的浏览器端 LLM 推理引擎，基于 WebGPU 技术，让开发者和用户可以在浏览器中直接运行大型语言模型，无需依赖远程服务器。支持多种主流模型，包括 Llama、Mistral、Phi 等。GitHub 获得 18000+ 星。