jingyaogong/minimind 封面
GitHub 热门
Python

jingyaogong/minimind

🧠 两小时从 0 训出你的 64M 大模型。Train your own 64M LLM from scratch in 2 hours.

6.8万↑ 847 今日语言:Python来源:GitHub Trending收录于 2026年11月21日

站内导读

中文

定位 一个从零手写约 64M 参数小语言模型的开源教程项目:只用约 3 元成本、2 小时训练,就能亲手跑通大模型全链路。 核心能力

  • 覆盖预训练、SFT、LoRA、RLHF、DPO、PPO、GRPO 与工具调用等完整流程。
  • 核心算法全部用 PyTorch 原生从零实现,不依赖高层框架封装。
  • 主线结构对齐 Qwen3 生态,提供 Dense 与 MoE 两个版本与已发布权重。
  • 兼容 transformers、vLLM、ollama 等推理引擎,并提供 OpenAI 协议服务。

适用人群 想真正理解大模型内部机制的学习者、AI 教学者,以及希望低成本复现训练流程的研究者与学生。 注意 文中「2 小时」指 SFT 阶段单张 3090 跑 1 个 epoch 的实测耗时,「3 元」指对应时段的 GPU 租用成本。

相关项目 · GitHub 热门

查看全部「GitHub 热门」项目 →