agent-evaluation
Über
Diese Fähigkeit bietet Rahmenwerke zum Testen und Benchmarking von LLM-Agenten, mit Fokus auf Verhaltenstests, Fähigkeitsbewertungen und Zuverlässigkeitsmetriken. Sie adressiert die einzigartige Herausforderung, dass Agenten in Benchmarks gut abschneiden, aber in realen Szenarien oft versagen. Nutzen Sie sie zur Agentenbewertung, zum Benchmarking und zur Produktionsüberwachung, um Probleme vor dem Einsatz zu erkennen.
Schnellinstallation
Claude Code
Empfohlennpx skills add Claude-Code-Community-Ireland/claude-code-resources -a claude-code/plugin add https://github.com/Claude-Code-Community-Ireland/claude-code-resourcesgit clone https://github.com/Claude-Code-Community-Ireland/claude-code-resources.git ~/.claude/skills/agent-evaluationKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Häufig gestellte Fragen
Was ist der Skill agent-evaluation?
agent-evaluation ist ein Claude Skill von Claude-Code-Community-Ireland. Skills bündeln Anweisungen und Ressourcen, die Claude bei Bedarf lädt, um Aufgaben rund um agent-evaluation ohne zusätzliche Eingaben auszuführen.
Wie installiere ich agent-evaluation?
Verwende die Installationsbefehle auf dieser Seite: Füge agent-evaluation als Plugin zu Claude Code hinzu oder klone das Repository in dein Skills-Verzeichnis. Starte Claude danach neu, damit der Skill geladen wird.
Zu welcher Kategorie gehört agent-evaluation?
agent-evaluation gehört zur Kategorie Testen.
Kann ich agent-evaluation kostenlos nutzen?
Ja. agent-evaluation ist auf AIMCP gelistet und kann kostenlos installiert werden.
Verwandte Skills
Diese Claude Skill führt den lm-evaluation-harness aus, um LLMs über 60+ standardisierte akademische Aufgaben wie MMLU und GSM8K zu benchmarken. Sie wurde für Entwickler entwickelt, um Modellqualität zu vergleichen, Trainingsfortschritt zu verfolgen oder akademische Ergebnisse zu berichten. Das Tool unterstützt verschiedene Backends, einschließlich HuggingFace- und vLLM-Modelle.
Diese Fähigkeit bietet umfassendes Wissen zur Implementierung von Cloudflare Cron Triggers, um Workers mithilfe von Cron-Ausdrücken zu planen. Sie behandelt das Einrichten periodischer Aufgaben, Wartungsjobs und automatisierter Workflows, während häufige Probleme wie ungültige Cron-Ausdrücke und Zeitzonenprobleme behandelt werden. Entwickler können sie zum Konfigurieren geplanter Handler, zum Testen von Cron-Triggers und zur Integration mit Workflows und Green Compute verwenden.
Diese Claude Skill bietet ein Playwright-basiertes Toolkit zum Testen lokaler Webanwendungen durch Python-Skripte. Es ermöglicht Frontend-Verifizierung, UI-Debugging, Screenshot-Aufnahme und Log-Einblick bei gleichzeitiger Verwaltung von Server-Lebenszyklen. Nutzen Sie es für Browser-Automatisierungsaufgaben, führen Sie Skripte jedoch direkt aus, anstatt deren Quellcode zu lesen, um Kontextverschmutzung zu vermeiden.
Diese Fähigkeit unterstützt Entwickler dabei, abgeschlossene Arbeiten zu finalisieren, indem sie testet, ob Tests bestehen, und dann strukturierte Integrationsoptionen präsentiert. Sie leitet den Workflow für das Zusammenführen von Code, das Erstellen von PRs oder das Bereinigen von Branches nach Abschluss der Implementierung. Nutzen Sie sie, wenn Ihr Code bereit und getestet ist, um den Entwicklungsprozess systematisch abzuschließen.