站内导读

中文

定位 这是 Unsloth 提供的 Inkling 2 Mini GGUF 量化版,把约 20GB 的原模型压到 7.8GB 起,可在 llama.cpp 与 Unsloth Desktop 上运行,兼顾体积与精度,适合消费级硬件本地部署。 核心能力

  • 提供从 IQ1_S 到 Q8_K_XL 的多档量化,体积 7.8–22.9GB
  • 4-bit 量化与参考模型 top token 一致率约 98%
  • 兼容 llama.cpp 主线版本与 Unsloth Desktop
  • 另有 Blender + MCP 的 4-bit 运行示例

适用人群 想在消费级硬件上本地跑 Inkling 2 Mini 的用户,以及用 llama.cpp 或 Unsloth Desktop 搭建本地推理的开发者。 注意 量化会损失少量精度,低比特版本一致率约 89–91%,对精度敏感的任务建议选 Q4_K_M 以上;主线 llama.cpp 需用专门上传的版本。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →