效能測試程式 (phase1)

[chia7712]

我們需要一隻程式來確認效能平衡是否有帶來更美好的事情

能使用的參數

1. --brokers: 指定目標叢集，例如 broker00:10000,broker01:111111
2. --topic: 指定目標topic名稱

• 如果目標topic不存在的話，則需要幫忙建立

3. --topicConfigs: 當目標topic不存在的時候，用來建立topic所需的參數，例如key:value,key2:value2

• partitions: 對應Kafka APis中的partitions(https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/admin/NewTopic.java#L39)
• replicas: 對應Kafka APIs中的replicationFactor(https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/admin/NewTopic.java#L40)

4. --producers: 指定要用來輸出資料的producers數量，預設值為1

• 每一個producer由一個執行緒執行

5. --consumers: 指定要用來拉取資料的consumers數量，預設值為1

• 每一個consumer由一個執行緒執行

6. --records: 指定要輸出/拉取的records數量
7. --recordSize: 指定要輸出/拉取的record大小（key + value + headers)

console輸出

• 每秒輸出以下內容
  • 讀寫 MB/second
  • 讀寫 average latency
  • 讀寫 max latency
  • 讀寫 min latency
    (注意：讀取時的延遲代表該資料從producer端到consumer端的延遲)
  • 完成百分比

使用範例

./bin/performance.sh --brokers broker00:10000 --topic abc --producers 10 --consumers 10 --records 10000 --recordSize 10

[chia7712]

@chinghongfang @garyparrot 麻煩想一下你們打算如何分工？一開始不熟悉的話，可以考慮一個人先做topic初始化的部分，另一個人做producer端的程式碼，接著再考慮consumer如何進場

[chia7712]

這隻issue相關的第一階段程式碼已經合併，後續議題 (#11 (comment)) 請開其他issues來追蹤，謝謝