WebLLM:浏览器里跑大模型,不依赖服务器

WebLLM 是 MLC 团队开源的浏览器端 LLM 推理引擎,基于 WebGPU 技术,让用户在浏览器中直接运行大语言模型。不需要远程服务器、不需要 API key、不需要联网。打开网页就能用。

项目在 GitHub 上收获了 18000+ 星,支持 Llama 3、Mistral、Phi-3、Gemma 等主流开源模型。底层用了 TVM 编译器做模型优化,推理速度比 naive WebAssembly 实现快很多。

对前端开发者来说,WebLLM 提供了一套 JavaScript SDK,可以轻松集成到 Web 应用中。比如做一个离线可用的 AI 聊天助手、一个本地代码补全工具、或者一个完全私有的文档问答系统。模型数据通过浏览器缓存存储,首次加载后后续打开速度很快。

亮点:完全离线运行,数据不出浏览器;支持多种主流开源模型;有完善的 JS SDK 和示例代码。

Kekoso:macOS 端侧语音转文字

Kekoso 是一款 macOS 语音转文字工具,所有处理都在本地完成,数据不上传到云端。支持在任意 Mac 应用中语音输入、转录音频和视频文件、录制通话、处理 YouTube 链接。

买断制,没有订阅费,没有账号注册。打开 App 就用。

对于需要频繁做语音备忘录、会议录音转文字、播客内容提取的人来说,Kekoso 提供了一个隐私安全的本地方案。比起 Google Docs 语音输入或飞书妙记这类云端方案,Kekoso 的数据完全留在你自己的设备上。

亮点:端侧处理,数据不外泄;买断制无订阅;支持音频/视频/YouTube 多格式转录。

AQ:多人协作的 AI 编程环境

AQ 是一个专为 AI 编程代理设计的多人协作开发环境。开发者可以在自己的云端同时运行多个 AI 编码代理,让它们协作完成代码编写、调试和部署任务。

和 Cursor、Windsurf 等单人 AI IDE 不同,AQ 的核心理念是"多代理协作"。你可以同时启动多个编码代理,每个代理负责不同的模块或任务,它们之间可以共享上下文、协调进度。适合团队协作或复杂项目的并行开发。

AQ 支持自托管部署,代码和数据留在你自己的基础设施上。对于关注数据安全和定制化需求的团队来说,这是一个有吸引力的选择。

亮点:多 AI 代理并行协作;支持自托管;专为团队和复杂项目设计。