SKILL·ED1C2B

quantizing-models-bitsandbytes

davila7
更新于 2 months ago
928 次查看
18,478
1,685
18,478
在 GitHub 上查看
其他OptimizationBitsandbytesQuantization8-Bit4-BitMemory OptimizationQLoRANF4INT8HuggingFaceEfficient Inference

关于

This skill quantizes LLMs to 8-bit or 4-bit precision using bitsandbytes, achieving 50-75% memory reduction with minimal accuracy loss. It's ideal for running larger models on limited GPU memory or accelerating inference, supporting formats like INT8, NF4, and FP4. The skill integrates with HuggingFace Transformers and enables QLoRA training and 8-bit optimizers.

快速安装

Claude Code

推荐
主要方式
npx skills add davila7/claude-code-templates -a claude-code
插件命令备选方式
/plugin add https://github.com/davila7/claude-code-templates
Git 克隆备选方式
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/quantizing-models-bitsandbytes

在 Claude Code 中复制并粘贴此命令以安装该技能

GitHub 仓库

davila7/claude-code-templates
路径: cli-tool/components/skills/ai-research/optimization-bitsandbytes
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

常见问题

什么是 quantizing-models-bitsandbytes Skill?

quantizing-models-bitsandbytes 是一个 Claude Skill,作者为 davila7。Skill 将 Claude 按需加载的说明和资源打包,让 Claude 无需额外提示即可执行与 quantizing-models-bitsandbytes 相关的任务。

如何安装 quantizing-models-bitsandbytes?

使用本页的安装命令:将 quantizing-models-bitsandbytes 作为插件添加到 Claude Code,或将其仓库克隆到 skills 目录,然后重启 Claude 以加载该 Skill。

quantizing-models-bitsandbytes 属于哪个分类?

quantizing-models-bitsandbytes 属于其他分类。

quantizing-models-bitsandbytes 可以免费使用吗?

可以。quantizing-models-bitsandbytes 已收录在 AIMCP,可免费安装。

相关推荐技能