evaluating-llms-harness
Über
Diese Claude Skill führt den lm-evaluation-harness aus, um LLMs über 60+ standardisierte akademische Aufgaben wie MMLU und GSM8K zu benchmarken. Sie wurde für Entwickler entwickelt, um Modellqualität zu vergleichen, Trainingsfortschritt zu verfolgen oder akademische Ergebnisse zu berichten. Das Tool unterstützt verschiedene Backends, einschließlich HuggingFace- und vLLM-Modelle.
Schnellinstallation
Claude Code
Empfohlennpx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/evaluating-llms-harnessKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Häufig gestellte Fragen
Was ist der Skill evaluating-llms-harness?
evaluating-llms-harness ist ein Claude Skill von zechenzhangAGI. Skills bündeln Anweisungen und Ressourcen, die Claude bei Bedarf lädt, um Aufgaben rund um evaluating-llms-harness ohne zusätzliche Eingaben auszuführen.
Wie installiere ich evaluating-llms-harness?
Verwende die Installationsbefehle auf dieser Seite: Füge evaluating-llms-harness als Plugin zu Claude Code hinzu oder klone das Repository in dein Skills-Verzeichnis. Starte Claude danach neu, damit der Skill geladen wird.
Zu welcher Kategorie gehört evaluating-llms-harness?
evaluating-llms-harness gehört zur Kategorie Testen.
Kann ich evaluating-llms-harness kostenlos nutzen?
Ja. evaluating-llms-harness ist auf AIMCP gelistet und kann kostenlos installiert werden.
Verwandte Skills
Diese Fähigkeit bietet umfassendes Wissen zur Implementierung von Cloudflare Cron Triggers, um Workers mithilfe von Cron-Ausdrücken zu planen. Sie behandelt das Einrichten periodischer Aufgaben, Wartungsjobs und automatisierter Workflows, während häufige Probleme wie ungültige Cron-Ausdrücke und Zeitzonenprobleme behandelt werden. Entwickler können sie zum Konfigurieren geplanter Handler, zum Testen von Cron-Triggers und zur Integration mit Workflows und Green Compute verwenden.
Diese Claude Skill bietet ein Playwright-basiertes Toolkit zum Testen lokaler Webanwendungen durch Python-Skripte. Es ermöglicht Frontend-Verifizierung, UI-Debugging, Screenshot-Aufnahme und Log-Einblick bei gleichzeitiger Verwaltung von Server-Lebenszyklen. Nutzen Sie es für Browser-Automatisierungsaufgaben, führen Sie Skripte jedoch direkt aus, anstatt deren Quellcode zu lesen, um Kontextverschmutzung zu vermeiden.
Diese Fähigkeit unterstützt Entwickler dabei, abgeschlossene Arbeiten zu finalisieren, indem sie testet, ob Tests bestehen, und dann strukturierte Integrationsoptionen präsentiert. Sie leitet den Workflow für das Zusammenführen von Code, das Erstellen von PRs oder das Bereinigen von Branches nach Abschluss der Implementierung. Nutzen Sie sie, wenn Ihr Code bereit und getestet ist, um den Entwicklungsprozess systematisch abzuschließen.
Diese Claude Skill unterstützt Entwickler dabei, eine sichere npm-Veröffentlichung über GitHub Actions mittels OIDC-Trusted-Publishing anstelle von langlebigen Tokens einzurichten. Sie bietet Konfigurationen für Provenance-Attestierungen und unterstützt Monorepo-Publishing-Workflows. Nutzen Sie diese Skill, wenn Sie von NPM_TOKEN migrieren oder Trusted-Publishing mit erhöhter Sicherheit etablieren möchten.