スキル一覧に戻る

qdrant-horizontal-scaling

qdrant
更新日 5 days ago
154
18
154
GitHubで表示
デザインdesigndata

について

このスキルは、データが単一ノードの容量を超えた場合に、開発者がQdrantの水平スケーリング戦略を診断・実装するための支援を行います。シャード構成、ノード数、フォールトトレランスとパフォーマンスのためのレプリケーションに関するガイダンスを提供します。容量拡張の計画、ノードの追加、分散型Qdrantデプロイメントの最適化を行う際にご利用ください。

クイックインストール

Claude Code

推奨
メイン
npx skills add qdrant/skills -a claude-code
プラグインコマンド代替
/plugin add https://github.com/qdrant/skills
Git クローン代替
git clone https://github.com/qdrant/skills.git ~/.claude/skills/qdrant-horizontal-scaling

このコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします

ドキュメント

What to Do When Qdrant Needs More Capacity

Vertical first: simpler operations, no network overhead, good up to ~100M vectors per node depending on dimensions and quantization. Horizontal when: data exceeds single node capacity, need fault tolerance, need to isolate tenants, or IOPS-bound (more nodes = more independent IOPS).

Most basic distributed configuration

  • 3 nodes, 3 shards with replication_factor: 2 for zero-downtime scaling

Minimum of 3 nodes is important for consensus and fault tolerance. With 3 nodes, you can lose 1 node without downtime. With 2 nodes, losing 1 node causes downtime for collection operations. Replication factor of 2 means each shard has 1 replica, so you have 2 copies of data. This allows for zero-downtime scaling and maintenance. With replication_factor: 1, zero-downtime is not guaranteed even for point-level operations, and cluster maintenance requires downtime.

Choosing number of shards

Shards are the unit of data distribution. More shards allows more nodes and better distribution, but adds overhead. Fewer shards reduces overhead but limits horizontal scaling.

For cluster of 3-6 nodes the recommended shard count is 6-12. This allows for 2-4 shards per node, which balances distribution and overhead.

Changing number of shards

Use when: shard count isn't evenly divisible by node count, causing uneven distribution, or need to rebalance.

Resharding is expensive and time-consuming, it should be used as a last resort if regular data distribution is not possible. Resharding is designed to be transparent for user operations, updates and searches should still work during resharding with some small performance impact.

But resharding operation itself is time-consuming and requires to move large amounts of data between nodes.

  • Available in Qdrant Cloud Resharding
  • Resharding is not available for self-hosted deployments.

Better alternatives: over-provision shards initially, or spin up new cluster with correct config and migrate data.

What NOT to Do

  • Do not jump to horizontal before exhausting vertical (adds complexity for no gain)
  • Do not set shard_number that isn't a multiple of node count (uneven distribution)
  • Do not use replication_factor: 1 in production if you need fault tolerance
  • Do not add nodes without rebalancing shards (use shard move API to redistribute)
  • Do not scale down RAM without load testing (cache eviction causes days-long latency incidents)
  • Do not hit the collection limit by using one collection per tenant (use payload partitioning)

GitHub リポジトリ

qdrant/skills
パス: skills/qdrant-scaling/scaling-data-volume/horizontal-scaling
0
agent-skillsai-agentsclaude-codecodexcursorembeddings

関連スキル

executing-plans

デザイン

executing-plansスキルは、完全な実装計画があり、それを管理されたバッチでレビューチェックポイントを設けながら実行する場合に使用します。このスキルは計画を読み込んで批判的にレビューした後、小さなバッチ(デフォルトは3タスク)でタスクを実行し、各バッチの間に進捗状況を報告してアーキテクトのレビューを受けます。これにより、品質管理チェックポイントが組み込まれた体系的な実装が保証されます。

スキルを見る

requesting-code-review

デザイン

このスキルは、コードレビュアーサブエージェントを起動し、処理を進める前に要件に対してコード変更を分析します。タスク完了後、主要な機能の実装後、またはmainブランチへのマージ前などに使用すべきです。このレビューは、現在の実装と元の計画を比較することで、問題を早期に発見するのに役立ちます。

スキルを見る

connect-mcp-server

デザイン

このスキルは、開発者がHTTP、stdio、またはSSEトランスポートを使用してMCPサーバーをClaude Codeに接続するための包括的なガイドを提供します。GitHub、Notion、カスタムAPIなどの外部サービスを統合するためのインストール、設定、認証、セキュリティについて解説しています。MCP統合のセットアップ、外部ツールの設定、またはClaudeのModel Context Protocolを扱う際にご利用ください。

スキルを見る

web-cli-teleport

デザイン

このスキルは、タスク分析に基づいて開発者がClaude Code WebとCLIインターフェースの選択を支援し、これらの環境間でのシームレスなセッションテレポーテーションを可能にします。Web、CLI、モバイル環境を切り替える際のセッション状態とコンテキストを管理することで、ワークフローを最適化します。様々な段階で異なるツールを必要とする複雑なプロジェクトにご活用ください。

スキルを見る