站内导读
定位 这是 Unsloth 提供的 Inkling 2 Mini GGUF 量化版,把约 20GB 的原模型压到 7.8GB 起,可在 llama.cpp 与 Unsloth Desktop 上运行,兼顾体积与精度,适合消费级硬件本地部署。 核心能力
- 提供从 IQ1_S 到 Q8_K_XL 的多档量化,体积 7.8–22.9GB
- 4-bit 量化与参考模型 top token 一致率约 98%
- 兼容 llama.cpp 主线版本与 Unsloth Desktop
- 另有 Blender + MCP 的 4-bit 运行示例
适用人群 想在消费级硬件上本地跑 Inkling 2 Mini 的用户,以及用 llama.cpp 或 Unsloth Desktop 搭建本地推理的开发者。 注意 量化会损失少量精度,低比特版本一致率约 89–91%,对精度敏感的任务建议选 Q4_K_M 以上;主线 llama.cpp 需用专门上传的版本。
概要 これは Unsloth が提供する Inkling 2 Mini の GGUF 量子化版です。約 20GB の元モデルを 7.8GB からに圧縮し、llama.cpp や Unsloth Desktop で動作します。サイズと精度のバランスが取れており、一般向けハードウェアでのローカル実行に適しています。 主な機能
- IQ1_S から Q8_K_XL まで多段階の量子化を用意し容量は 7.8~22.9GB
- 4 ビット量子化では参照モデルとの top token 一致率が約 98%
- llama.cpp のメインライン版と Unsloth Desktop に対応
- Blender + MCP での 4 ビット実行サンプルも用意
こんな人におすすめ 一般向けハードウェアで Inkling 2 Mini をローカル実行したいユーザーや、llama.cpp や Unsloth Desktop でローカル推論を構築する開発者に向いています。 注意点 量子化により多少の精度低下があります。低ビット版の一致率は約 89~91% で、精度が重要なタスクでは Q4_K_M 以上がおすすめです。メインラインの llama.cpp では専用のアップロード版を使う必要があります。
개요 이것은 Unsloth가 제공하는 Inkling 2 Mini의 GGUF 양자화 버전입니다. 약 20GB의 원본 모델을 7.8GB부터 압축해 llama.cpp와 Unsloth Desktop에서 실행할 수 있으며, 크기와 정밀도의 균형을 갖춰 일반 하드웨어의 로컬 배포에 적합합니다. 핵심 기능
- IQ1_S부터 Q8_K_XL까지 다단계 양자화를 제공하며 용량은 7.8~22.9GB
- 4비트 양자화는 참조 모델과의 top token 일치율이 약 98%
- llama.cpp 메인라인 버전과 Unsloth Desktop과 호환
- Blender + MCP 환경의 4비트 실행 예시도 제공
이런 분께 추천 일반 하드웨어에서 Inkling 2 Mini를 로컬로 실행하고 싶은 사용자, llama.cpp나 Unsloth Desktop으로 로컬 추론을 구축하는 개발자에게 적합합니다. 주의사항 양자화로 약간의 정밀도 손실이 있습니다. 저비트 버전의 일치율은 약 89~91%이며 정밀도가 중요한 작업에는 Q4_K_M 이상을 권장합니다. 메인라인 llama.cpp에서는 전용 업로드 버전을 사용해야 합니다.
What it is This is Unsloth's GGUF quantized build of Inkling 2 Mini, compressing the roughly 20GB original checkpoint down to as little as 7.76GB. It runs in llama.cpp and Unsloth Desktop, trading a small amount of precision for a much smaller footprint on consumer hardware. Key capabilities
- Quantization options from UD-IQ1_S to UD-Q8_K_XL, spanning 7.76GB to 22.87GB
- The 4-bit UD-Q4_K_M build agrees with the reference model on the top token about 98% of the time
- Works with mainline llama.cpp builds and with Unsloth Desktop
- Includes a sample of the 4-bit model running in Blender with MCP
Who it is for Users who want to run Inkling 2 Mini locally on consumer hardware, and developers building local inference setups with llama.cpp or Unsloth Desktop. Caveats Quantization costs some precision: the lowest-bit builds match the reference top token only about 89 to 91% of the time, so choose Q4_K_M or above for precision-sensitive work. Mainline llama.cpp needs the dedicated mainline upload in this repository.