FIX: Duplicated switchover event.

[brido4125]

🔗 Related Issue

• https://github.com/jam2in/arcus-works/issues/638

⌨️ What I did

findChangedGroups 로직에서 swichover의 old 형상으로 되돌리는 문제를 해결했습니다.
로직은 대략 아래와 같이 구현되어있습니다.

1. 검사하려는 node의 그룹이 alreadySwitched인지 확인
2. master / slave 여부를 제외한 groupname, ip, port 정보들 중 변경 있는지 확인
3. master / slave 여부가 old 형상으로 되돌려졌는지 확인
4. flag 원복

우선 리뷰를 위해 한글로 주석을 달아두었습니다.
추후 리뷰 완료되면 제거 또는 영어로 변경할 예정입니다.

[jhpark816]

@oliviarla @namsic
본 PR에 대해 추가 리뷰어를 지정합니다.

[brido4125]

극단적인 시나리오를 예시로 들고 있기는 하지만, 발생 확률이 낮으니 고려하지 않아도 된다는 논리는 적절하지 않아 보입니다.

@namsic 님의 제안해주신 의견이 너무 극단적이라 필요하지 않다라는 느낌의 코멘트는 아니니까 오해는 하지 말아주시고, 이렇게 이야기한 가장 큰 이유는 극단적인 case들에 대해 논의 때문에 원래 존재하는 PR의 목적을 잃는 경우가 잦아서 말씀드렸습니다.

변경된 구현에서, alreadySwitched를 포함한 기타 변수들이 다양한 시나리오에서 일관된 상태로 수렴하는 것이 보장되는지가 궁금한 것입니다.

동일한 그룹에 대해 위 시나리오에서 alreadySwitched는 아래와 같이 처리됩니다.

1. cache list 조회 시 1차, 2차 swtichover 모두 조회 하는 경우

• 캐시 서버 응답에 의한 1차 스위치 오버(flag true로 변경) (M - S)
• 캐시 서버 응답에 의한 2차 스위치 오버(flag true로 변경) (S - M)
• 1차 스위치 오버에 대한 zk event 발생 -> �old 형상(M - S)에 대한 zk 이벤트 발생 (true 값 및 현재 형상 유지)
• 2차 스위치 오버에 대한 zk event 발생 -> 형상(S - M)이 같기에 false로 변경

2. zk 이벤트 발생 후 cache list 조회 시 2차 swtichover 형상 조회(말씀하신 경우)

• 캐시 서버 응답에 의한 1차 스위치 오버(flag true로 변경) (M - S)
• 캐시 서버 2차 스위치 오버 실행
• 2차 스위치 오버에 대한 zk event 발생 (S - M) -> 최신 형상임에도 locator 입장에서는 old 형상 -> �true 유지
• 캐시 서버 응답에 의한 2차 스위치 오버(flag true로 변경) (S - M)
• 일정 시점 후에 zk 이벤트 발생 시, zk의 형상과 locator의 형상이 같아서 false로 변경

말씀하신 경우도 eventually 형상이 통일되고 flag 값도 false로 변경됩니다.

[namsic]

제가 이해한 대로 정리하면,

1. switchover 이전 형상으로 되돌아가는 경우가 여전히 있을 수 있고
2. AlreadySwitched flag가 제 때 초기화되지 않을 수 있지만
3. 위와 같은 시나리오는 여러 극단적 상황이 겹치는 코너 케이스에 해당하여 실제 운영 환경에서 발생 가능성이 아주 작습니다.
4. 또한 그 경우에도 ZK event를 더 수신하다 보면 언젠가는 최신 형상으로 전이하게 됩니다.

[oliviarla]

최종 리뷰 완료입니다.

[jhpark816]

리뷰 완료

[jhpark816]

삼중화에서 switchover 수행한 두 캐시 노드는 그대로 존재하고
나머지 1개 slave 노드가 다운된 경우, changed group으로 판별됩니다.
이 경우, 다운된 slave 노드를 제거하면서도
switchover를 원복하지 않나요?

[uhm0311]

이 부분은 코드로 확인할 수 없는 부분입니다.
운영자가 정말로 삼중화를 이중화로 변경하고 싶어서 스위치오버 수행 후 슬레이브를 하나 내린 것인지, 스위치오버 직후에 슬레이브 하나에 장애가 발생한 것인지 알 수 없습니다.

[jhpark816]

전체적으로 복잡한 구현인 데, 더 단순한 구현은 없는 지 ?

[brido4125]

별도의 해결방안으로 처리중이기에 close하겠습니다.