Cortex 是一个兼容 openAI 的本地 AI 服务器，开发人员可以使用它来构建 LLM 应用程序。它与受 Docker 启发的命令行界面和 Typescript 客户端库打包在一起。它可以用作独立服务器，也可以作为库导入
https://github.com/janhq/cortex

GitHub

GitHub - janhq/cortex.cpp: Run and customize Local LLMs.

Run and customize Local LLMs. Contribute to janhq/cortex.cpp development by creating an account on GitHub.