[Azure:Cluster] Requires /21 Subnet Instead of Default /24

[powerkimhub]

@sykim-etri

• 혹시, 필요한 정보일 수 있는 듯하여 공유 드립니다.
• Commented by @ish-hcc during the online meeting.

  서브넷 기본값 관련해서 말씀드릴 부분이 있는데, 
  Azure의 경우 기본 24비트 서브넷을 사용하면 k8s 클러스터 생성이 안되어서 
  21비트 서브넷을 새로 생성하여 진행한 적이 있습니다. 
  

[sykim-etri]

다행히(?) 현재 CB-TB 활용 테스트시에는 /18로 진행하여 문제가 없었던 상황이었네요.^^

@seokho-son
혹시 CB-TB에서 클러스터 생성시 이러한 제약도 사전에 걸러서 처리하는 것이 필요할까요?
(k8sclusterinfo.yaml 등 활용. 편의 기능이긴 합니다만.)

[seokho-son]

@sykim-etri 넵! CB-TB의 경우, 각 CSP의 상황을 숨기거나 정보를 없애지 않으면서도, 사용자에게 큰 불편함은 주지 않아야 해서.. 말씀하시 방식이 적합해보입니다.

그런데.. 제가 알기론, Azure의 경우 기본 24비트 서브넷을 사용하면 k8s 클러스터 생성이 안 된다기 보다는..

Azure에서의 AKS 네트워크가 조금 특별해서, Azure Virtual Network의 cidr과 Pod cidr, Service cidr가 엮여서 구동되다보니..
Azure Virtual Network의 cidr 가 너무 좁으면, 아마 내부적으로 지정된 Pod cidr, Service cidr와 충돌이 있지 않았을까 싶네요.

아무튼, AKS의 24비트 서브넷은 다소, 범위가 좁은 것 같습니다.

@sykim-etri 아무튼 이는 CSP의 제약이 아닐 가능성이 높으므로~ config 를 통해서 적절히 가이드해주시면 될 것 같습니다. (확실하진 않아요)

[seokho-son]

@yunkon-kim 맞나유? 예전에 한번 깊게 이야기를 나눈 기억이 있는 것 같기도.. :)

[yunkon-kim]

@ish-hcc 유용한 정보를 공유해주셔서 감사드립니다.

@seokho-son 네, 논의된 적 있습니다 :-)

지금까지 개인적으로 파악 및 공유중이던 자료를 공유드립니다. 두서 없는 Draft 버전으로 선 공개, 후 수정 방식으로 계속 업데이트 해 나갈 예정입니다. 참고 바랍니다.
https://github.com/cloud-barista/cb-coffeehouse/blob/main/docs/Cloud-Barista/exploring-csp-network-characteristics.md

Refs:

• [testclient/scripts] Need a bigger vNet's IP address range for K8s cluster in create-vNet.sh cb-tumblebug#1409
• Seem to require to reference a gateway subnet with name GatewaySubnet mc-terrarium#27

[yunkon-kim]

몇 가지 첨언을 드리자면,

• CSP의 요구사항을 "특성"으로 보고 있습니다.
• TB에 편의 기능으로서 추가되는 사항인 것에 대해서는 여전히 고민이 있습니다..
  • 정보에 기댈 수 밖에 없기 때문에, 기능이 확실하게 동작한다고 보장하기 어렵기 때문입니다 ㅠ
  • 사용자에게 오류를 그대로 노출 시기는 방법이 적절할 수도 있겠습니다.
  • 어디 까지나 공유 차원에서 개인적인 의견을 말씀드렸습니다.

[powerkimhub]

• Cluster Guide에 Azure Subnet CIDR 조건 명시
  • [제공 현황] 특이사항
• 틀린 조건 CIDR 설정시 다음과 같은 오류/가이드 메시지가 제공됨

  The subnet id not large enough to support all node pools.
  Current available IP address space: 250 addressed.
  Required 333 addresses.