JobがたまったときにSlackに通知する

[sapphi-red]

CloudWatchからlambdaでSlackに

[takonomura]

📝

• 軽く調べた限り lambda 使わなくても AWS Chatbot で Slack 通知はできそうです
• 余力があれば Slack に通知だけでなく worker のオートスケールができると良さそうという話が定例中に出た

[yfujit]

別環境でテストしましたが、以下の構成で実現できました
・CloudWatch Alarm -> SNS -> Chatbot
SQSのパラメータでCloud Watch Alarmのメトリクスで取得できる一覧は以下のURLから確認できます。
https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-available-cloudwatch-metrics.html
1分間に1度しかメトリクス取得ができないため1分以内での通知はできません

2021/8/21 のSQSのメトリックスを見るとisuxportal-activejob-prdのApproximateNumberOfMessagesVisibleのCountが増加しているように見えます
dlqにはメッセージが入っているようには見えませんでした

[sorah]

ApproximateNumberOfMessagesVisible か ApproximateAgeOfOldestMessage でひっかけるのがただしいです。

[yfujit]

ありがとうございます！
ApproximateNumberOfMessagesVisibleにてdev環境で一度構築してみます
workerのオートスケールはalarm状態 / OK状態の遷移時にCloud watch alarm -> SNS -> lambda(hako)でのスケールかなと思っています

[sorah]

ECS Service でつかえる Application Autoscaling に CloudWatch Alarm トリガーあるんでそんなに頑張らなくてもできます

[takonomura]

hako の autoscaling 設定例 https://github.com/eagletmt/hako/blob/0c7d88e1a7a8b2c847dd3dd4bb90a39ff1a4121e/examples/hello-autoscaling.jsonnet#L26-L60

[takonomura]

定例で話したこと 📝

予選でジョブが詰まったときの状況とかを見た限り、スケールアウトのしきい値は ApproximateNumberOfMessagesVisible の 1m avg が100以上とかで良さそう

[sorah]

まあこないだは単純に足りてないときはCPUはりついてたから CPU 60% とかで target tracking してもよい