huggingface-tokenizers
О программе
Этот навык обеспечивает высокопроизводительную токенизацию с использованием Rust-библиотеки от HuggingFace, обрабатывая 1 ГБ текста менее чем за 20 секунд. Он поддерживает алгоритмы BPE, WordPiece и Unigram, а также позволяет обучать пользовательские токенизаторы и отслеживать выравнивание. Используйте его, когда требуется производственно-быстрая токенизация или для создания пользовательских токенизаторов, интегрированных с экосистемой transformers.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/huggingface-tokenizersСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Часто задаваемые вопросы
Что такое Skill huggingface-tokenizers?
huggingface-tokenizers — это Claude Skill от davila7. Skills объединяют инструкции и ресурсы, которые Claude загружает по мере необходимости, чтобы выполнять задачи, связанные с huggingface-tokenizers, без дополнительных запросов.
Как установить huggingface-tokenizers?
Используйте команды установки на этой странице: добавьте huggingface-tokenizers в Claude Code как плагин или клонируйте репозиторий в каталог skills, затем перезапустите Claude, чтобы загрузить Skill.
К какой категории относится huggingface-tokenizers?
huggingface-tokenizers относится к категории Документы.
Можно ли использовать huggingface-tokenizers бесплатно?
Да. huggingface-tokenizers размещён на AIMCP и доступен для бесплатной установки.
Похожие навыки
Этот навык предоставляет рекомендации по семантическому версионированию (semver) и стандарты форматирования журнала изменений для релизов программного обеспечения. Используйте его при подготовке выпусков, чтобы правильно увеличивать номера версий (мажорные/минорные/патчи) и структурировать записи в журнале изменений. Он включает правила для идентификаторов предварительных релизов и понятные примеры для разработчиков.
Этот навык форматирует сообщения коммитов Git в соответствии со стандартом Conventional Commits. Он предоставляет шаблоны и определения типов (такие как `feat`, `fix`, `refactor`), чтобы обеспечить единообразие при написании или проверке коммитов. Используйте его в процессе создания коммитов для формирования понятной и структурированной истории изменений.
nano-pdf — это инструмент командной строки, который позволяет разработчикам редактировать PDF-файлы с помощью инструкций на естественном языке, например, изменять текст или исправлять опечатки на конкретных страницах. Он идеально подходит для быстрых программных изменений PDF прямо из терминала. Всегда проверяйте результат, так как нумерация страниц может различаться в разных версиях.
Этот CLI-инструмент суммирует веб-URL, локальные файлы (включая PDF, изображения, аудио) и ссылки YouTube с использованием различных AI-моделей. Разработчики могут применять его для быстрого извлечения контента, задавая API-ключи провайдеров и регулируя длину вывода. По умолчанию используется модель Google Gemini, а установка выполняется через Homebrew.