GitHub 模型与推理热榜 · 本周
按近 7 天新增 GitHub Star 排名的模型与推理，每天更新。数据来自 GH Archive 与 GitHub API，中英双语简介，附排名方法。
477跟踪项目
截至 2026年10月22日，2026年10月21日 – 2026年10月22日新增 Star 最多的 GitHub 模型与推理项目是 deepseek-ai/DeepInfer（+3,838）。
显示 50 / 50 个项目
| 关注列表 | # | 项目 | 新增 Star | 总 Star |
|---|---|---|---|---|
| 1入榜 |  deepseek-ai/DeepInfer面向DeepSeek模型的开源离线推理框架，包含优化算子、并行与调度功能。近 7 天 +3,838 Star · 最近一天 +3,838 · Python · 创建于 2026-10 | +3,838 | 18,843 | |
| 2入榜 |  Comfy-Org/ComfyUI基于节点图的扩散模型本地推理界面与后端，支持图像、视频、音频和3D生成。近 7 天 +769 Star · 最近一天 +769 · Python · 创建于 2023-01 | +769 | 141,762 | |
| 3入榜 |  Niko1221/StrataStrata 是一个本地推理引擎，可在消费级硬件上运行 Qwen3.8-Flash-Next 模型。近 7 天 +744 Star · 最近一天 +744 · C++ · 创建于 2026-09 | +744 | 30,133 | |
| 4入榜 |  tashfeenahmed/freellmapi将34个免费大模型提供商的接口聚合为单一OpenAI兼容端点，支持智能路由与自动故障转移。近 7 天 +674 Star · 最近一天 +674 · TypeScript · 创建于 2026-04 | +674 | 39,146 | |
| 5入榜 |  Fractal-Compute-Orchestrations/FractalWorkspace一个面向联邦学习与边缘模型训练的分布式编排框架，支持 Android 与 Python 节点。近 7 天 +671 Star · 最近一天 +671 · Python · 创建于 2026-05 | +671 | 3,101 | |
| 6入榜 | Fractal-Compute-Orchestrations/FractalAndroid安卓边缘计算客户端，支持端侧联邦学习与分布式机器学习任务。近 7 天 +666 Star · 最近一天 +666 · Kotlin · 创建于 2025-11 | +666 | 3,010 | |
| 7入榜 |  headroomlabs-ai/headroom在内容进入大模型前本地压缩工具输出、日志、文件与RAG片段，减少token消耗。近 7 天 +564 Star · 最近一天 +564 · Python · 创建于 2026-01 | +564 | 77,434 | |
| 8入榜 |  vllm-project/vllmvLLM 是一个高吞吐、显存高效的 LLM 推理与服务引擎。近 7 天 +501 Star · 最近一天 +501 · Python · 创建于 2023-02 | +501 | 95,038 | |
| 9入榜 |  rohitg00/ai-engineering-from-scratch开源 AI 工程课程，542 节课，涵盖模型原理、检索管线与智能体运行时。近 7 天 +329 Star · 最近一天 +329 · Python · 创建于 2026-03 | +329 | 72,204 | |
| 10入榜 |  Alishahryar1/free-claude-code一个将 Claude Code 等编程代理接入 61 家模型提供方的代理工具。近 7 天 +259 Star · 最近一天 +259 · Python · 创建于 2026-01 | +259 | 62,510 | |
| 11入榜 |  lyogavin/airllmAirLLM 通过逐层加载权重，使超大语言模型能在单张低显存 GPU 上推理。近 7 天 +240 Star · 最近一天 +240 · Jupyter Notebook · 创建于 2023-06 | +240 | 40,212 | |
| 12入榜 |  ollama/ollamaOllama 是一个用于在本地或云端运行和管理开源大语言模型的工具。近 7 天 +139 Star · 最近一天 +139 · Go · 创建于 2023-06 | +139 | 184,246 | |
| 13入榜 |  p-e-w/hereticHeretic 通过方向消融与 Optuna 参数搜索，自动去除 transformer 语言模型的拒答行为。近 7 天 +125 Star · 最近一天 +125 · Python · 创建于 2025-09 | +125 | 36,155 | |
| 14入榜 |  Tencent/WeKnora开源 LLM 知识平台，将文档转化为可查询的 RAG、推理智能体与自维护 Wiki。近 7 天 +123 Star · 最近一天 +123 · Go · 创建于 2025-07 | +123 | 35,030 | |
| 15入榜 |  docling-project/doclingDocling 可将 PDF 等多种文档解析为结构化数据，供生成式 AI 与 RAG 流程使用。近 7 天 +103 Star · 最近一天 +103 · Python · 创建于 2024-07 | +103 | 69,333 | |
| 16入榜 |  mnfst/awesome-free-llm-apis汇总提供永久免费API额度和密钥的LLM服务商清单。近 7 天 +99 Star · 最近一天 +99 · JavaScript · 创建于 2026-03 | +99 | 10,934 | |
| 17入榜 |  router-for-me/CLIProxyAPI将多个 CLI 账号封装为 OpenAI、Gemini、Claude 兼容 API 的代理服务器。近 7 天 +98 Star · 最近一天 +98 · Go · 创建于 2025-07 | +98 | 55,941 | |
| 18入榜 |  microsoft/generative-ai-for-beginners微软出品的21课生成式AI入门教程，讲解构建生成式AI应用的基础知识。近 7 天 +92 Star · 最近一天 +92 · Jupyter Notebook · 创建于 2023-06 | +92 | 121,868 | |
| 19入榜 |  Wei-Shaw/sub2api基于 Go 与 Vue 的 AI API 网关，将 Claude、OpenAI、Gemini、Grok 订阅统一中转接入。近 7 天 +91 Star · 最近一天 +91 · Go · 创建于 2025-12 | +91 | 44,574 | |
| 20入榜 |  QuantumNous/new-api自托管AI网关，聚合多家大模型并转换为OpenAI等兼容接口。近 7 天 +88 Star · 最近一天 +88 · Go · 创建于 2023-11 | +88 | 50,456 | |
| 21入榜 |  BerriAI/litellm开源 AI 网关与 Python SDK，统一调用 100+ 家 LLM 提供商，并支持成本追踪与负载均衡。近 7 天 +86 Star · 最近一天 +86 · Python · 创建于 2023-07 | +86 | 61,779 | |
| 22入榜 |  rasbt/LLMs-from-scratch该书配套代码，用PyTorch从零实现GPT类大模型的构建、预训练与微调。近 7 天 +82 Star · 最近一天 +82 · Jupyter Notebook · 创建于 2023-07 | +82 | 107,079 | |
| 23入榜 |  chatanywhere/GPT_API_free提供GPT、DeepSeek、Claude等大模型的免费及付费API调用服务。近 7 天 +70 Star · 最近一天 +70 · 创建于 2023-04 | +70 | 44,647 | |
| 24入榜 |  infiniflow/ragflowRAGFlow 是一个开源 RAG 引擎，将检索增强生成与 Agent 能力结合，为 LLM 提供上下文层。近 7 天 +64 Star · 最近一天 +64 · Go · 创建于 2023-12 | +64 | 92,635 | |
| 25入榜 |  decolua/9router一个本地路由器，将AI编程工具接入40多家大模型提供商，支持自动回退与令牌压缩。近 7 天 +63 Star · 最近一天 +63 · JavaScript · 创建于 2026-01 | +63 | 31,197 | |
| 26入榜 |  datawhalechina/all-in-rag一份系统讲解RAG技术的全栈中文教程，涵盖数据处理、向量索引、检索优化与评估。近 7 天 +62 Star · 最近一天 +62 · Python · 创建于 2025-06 | +62 | 12,437 | |
| 27入榜 |  multimodal-art-projection/YuEYuE2 通过符号化规划与音频渲染，根据歌词和风格提示生成完整歌曲。近 7 天 +61 Star · 最近一天 +61 · Python · 创建于 2025-01 | +61 | 12,508 | |
| 28入榜 |  unclecode/crawl4ai开源的网页爬虫，可将网站内容转换为适合大模型和RAG使用的干净Markdown。近 7 天 +57 Star · 最近一天 +57 · Python · 创建于 2024-05 | +57 | 86,007 | |
| 29入榜 |  sgl-project/sglangSGLang 是开源的高性能大语言模型、多模态模型与扩散模型推理服务框架。近 7 天 +55 Star · 最近一天 +55 · Python · 创建于 2024-01 | +55 | 37,593 | |
| 30入榜 |  mlabonne/llm-course一个包含路线图和Colab笔记本的LLM课程，涵盖基础知识、模型构建与应用部署。近 7 天 +53 Star · 最近一天 +53 · 创建于 2023-06 | +53 | 84,580 | |
| 31入榜 |  langfuse/langfuseLangfuse 是开源 LLM 工程平台，支持追踪、评估与提示词管理。近 7 天 +49 Star · 最近一天 +49 · TypeScript · 创建于 2023-05 | +49 | 36,165 | |
| 32入榜 |  opendataloader-project/opendataloader-pdf开源PDF解析器，输出Markdown、JSON和HTML，服务AI与RAG流程，并支持PDF无障碍标签生成。近 7 天 +49 Star · 最近一天 +49 · Java · 创建于 2025-05 | +49 | 29,800 | |
| 33入榜 |  lidge-jun/opencodex本地代理，可将 Codex、Claude Code 等客户端接入任意大模型提供商。近 7 天 +49 Star · 最近一天 +49 · TypeScript · 创建于 2026-06 | +49 | 17,756 | |
| 34入榜 |  MakazhanAlpamys/Soup一款通过单个 YAML 配置微调大模型的命令行工具，支持分层流式训练。近 7 天 +48 Star · 最近一天 +48 · Python · 创建于 2026-02 | +48 | 9,540 | |
| 35入榜 |  llm-d/llm-dllm-d 是面向 Kubernetes 的高性能分布式 LLM 推理服务栈。近 7 天 +45 Star · 最近一天 +45 · Python · 创建于 2025-04 | +45 | 4,940 | |
| 36入榜 |  VectifyAI/PageIndex基于树形索引与 LLM 推理的无向量 RAG 检索引擎。近 7 天 +43 Star · 最近一天 +43 · Python · 创建于 2025-04 | +43 | 39,445 | |
| 37入榜 |  topoteretes/cogneeCognee 是开源 AI 记忆平台，将文档等数据构建为知识图谱供智能体检索。近 7 天 +42 Star · 最近一天 +42 · Python · 创建于 2023-08 | +42 | 32,648 | |
| 38入榜 |  PaddlePaddle/PaddleOCRPaddleOCR 是轻量 OCR 工具包，把 PDF/图像转为大模型可用的结构化数据。近 7 天 +41 Star · 最近一天 +41 · Python · 创建于 2020-05 | +41 | 91,497 | |
| 39入榜 |  hiyouga/LlamaFactory统一高效微调100多种大语言模型与视觉语言模型的框架。近 7 天 +39 Star · 最近一天 +39 · Python · 创建于 2023-05 | +39 | 75,650 | |
| 40入榜 |  promptfoo/promptfooPromptfoo 是用于评测、对比和红队测试大模型应用的开源命令行工具与库。近 7 天 +39 Star · 最近一天 +39 · TypeScript · 创建于 2023-04 | +39 | 26,257 | |
| 41入榜 |  bojieli/ai-infra-book《深入理解 AI Infra》开源书稿，从硬件约束与模型架构出发量化推导 LLM 推理与训练系统设计。近 7 天 +39 Star · 最近一天 +39 · Python · 创建于 2026-08 | +39 | 6,850 | |
| 42入榜 |  cactus-compute/needleNeedle 是面向小型设备的 2-bit 端侧基础模型，支持工具调用、信息抽取、嵌入和语音。近 7 天 +38 Star · 最近一天 +38 · Python · 创建于 2026-02 | +38 | 14,191 | |
| 43入榜 |  AlexsJones/llmfit检测本机硬件并推荐可运行的开源大模型的命令行工具。近 7 天 +36 Star · 最近一天 +36 · Rust · 创建于 2026-02 | +36 | 38,213 | |
| 44入榜 |  mudler/LocalAILocalAI 是开源 AI 引擎，可在任意硬件上运行大语言、视觉、语音、图像和视频模型。近 7 天 +35 Star · 最近一天 +35 · Go · 创建于 2023-03 | +35 | 49,847 | |
| 45入榜 |  huggingface/transformersHugging Face 的模型定义框架，支持文本、视觉、音频和多模态模型的训练与推理。近 7 天 +34 Star · 最近一天 +34 · Python · 创建于 2018-10 | +34 | 167,965 | |
| 46入榜 |  SYSTRAN/faster-whisper基于 CTranslate2 重实现的 Whisper 语音转录，支持量化，速度更快、内存占用更低。近 7 天 +33 Star · 最近一天 +33 · Python · 创建于 2023-02 | +33 | 26,038 | |
| 47入榜 |  comet-ml/opik开源的LLM可观测与评估平台，支持智能体追踪、自动化评测和生产监控。近 7 天 +33 Star · 最近一天 +33 · Python · 创建于 2023-05 | +33 | 22,822 | |
| 48入榜 |  maximhq/bifrost开源 AI 网关，用单一 OpenAI 兼容 API 统一接入多家 LLM 提供商，支持故障转移、负载均衡与 MCP 网关。近 7 天 +32 Star · 最近一天 +32 · Go · 创建于 2025-03 | +32 | 9,011 | |
| 49入榜 |  fishaudio/fish-speechFish Speech 是开源文本转语音系统，提供预训练模型、推理与 API 服务。近 7 天 +27 Star · 最近一天 +27 · Python · 创建于 2023-10 | +27 | 33,352 | |
| 50入榜 |  harvard-edge/cs249r_book哈佛CS249r机器学习系统开源教材系列，涵盖基础、扩展与智能体AI，配有实验和TinyTorch。近 7 天 +26 Star · 最近一天 +26 · Python · 创建于 2023-09 | +26 | 29,112 |
数据：GitHub GraphQL API 每日 Star 总数快照，新增 Star = 两次快照之差；GitHub 搜索与 GH Archive 用于发现项目。 每天北京时间 10:30 左右更新，统计到前一个完整 UTC 日。 · 整理：Kai