本文へ移動
cccskills
無料GitHub で公開

kafka-best-practices

Apache Kafka 4.2 best practices for event streaming, topic design, and producer-consumer patterns

baekenough/second-brain
インストール方法を見る

含まれるファイル（1）

  • SKILL.md1.7 KB

SKILL.md（原文）

インストールする前に、エージェントに与えられる指示の中身を確認できます。

Apache Kafka Best Practices

Version: Kafka 4.2.0. ZooKeeper is fully removed in Kafka 4.x — use KRaft mode for all cluster deployments.

Producer Patterns

Idempotent Producer (CRITICAL)

  • Enable enable.idempotence=true
  • Prevents duplicate messages
  • Requires acks=all, retries > 0, max.in.flight.requests.per.connection <= 5

Exactly-Once Semantics

  • Use transactional API: initTransactions(), beginTransaction(), commitTransaction()
  • For exactly-once end-to-end processing

Performance

  • Batching: linger.ms (wait for batch to fill)
  • Compression: compression.type=snappy or lz4
  • batch.size: 16KB default, tune based on message size

Consumer Patterns

Offset Management

  • Auto-commit: enable.auto.commit=true (at-least-once)
  • Manual commit: commitSync() or commitAsync() (better control)

Rebalancing

  • Cooperative sticky assignor: minimal rebalancing disruption
  • session.timeout.ms and heartbeat.interval.ms tuning

At-Least-Once vs Exactly-Once

  • At-least-once: default, idempotent processing required
  • Exactly-once: transactional consumer + producer

Topic Design

Partitioning

  • Partition count: based on throughput (MB/s ÷ partition throughput)
  • Key-based partitioning for ordering guarantees
  • More partitions = higher throughput (but more overhead)

Retention

  • Time-based: retention.ms
  • Size-based: retention.bytes
  • Log compaction: for changelog topics (cleanup.policy=compact)

References

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

ログインしてレビューを書く

同じリポジトリのスキル

概要と使いどころ

action-validator

無料

Pre-action boundary checking — validates agent tool calls against declared capabilities and task contracts

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

adaptive-harness

無料

Auto-detect project context and optimize harness — deactivate unused agents/skills, suggest missing experts, generate project profile

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

adversarial-review

無料

Adversarial code review using attacker mindset — trust boundary, attack surface, business logic, and defense evaluation

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

airflow-best-practices

無料

Apache Airflow best practices for DAG authoring, testing, and production deployment

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

alembic-best-practices

無料

Alembic migration patterns for naming conventions, safety checks, expand-contract, env.py configuration, and CI integration

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

ambiguity-gate

無料

Pre-routing ambiguity analysis — scores request clarity and asks clarifying questions when needed (inspired by ouroboros)

日本語の概要は準備中です。原文の説明を表示しています。

baekenough/second-brain152026年10月8日 更新

baekenough のスキルをすべて見る

このスキルの問題を報告する