diff --git a/intermediate_source/dist_tuto.rst b/intermediate_source/dist_tuto.rst index 5c3cc5929..fdd03bd09 100644 --- a/intermediate_source/dist_tuto.rst +++ b/intermediate_source/dist_tuto.rst @@ -109,7 +109,7 @@ PyTorch에 포함된 분산 패키지(예. ``torch.distributed``)는 연구자 print('Rank ', rank, ' has data ', tensor[0]) 위 예제에서 두 프로세스는 값이 0인 Tensor로 시작한 후, 0번 프로세스가 Tensor의 값을 -증가시킨 후 1번 프로세스로 보내서 둘 다 1.0으로 종료됩니다. 이 떄, 프로세스 1은 +증가시킨 후 1번 프로세스로 보내서 둘 다 1.0으로 종료됩니다. 이 때, 프로세스 1은 수신한 데이터를 저장할 메모리를 할당해두야 합니다. 또한 ``send``/``recv`` 는 모두 **블로킹** 입니다: 두 프로세스는 통신이 완료될 때까지 @@ -195,7 +195,7 @@ PyTorch에 포함된 분산 패키지(예. ``torch.distributed``)는 연구자 dist.all_reduce(tensor, op=dist.ReduceOp.SUM, group=group) print('Rank ', rank, ' has data ', tensor[0]) -그룹 내의 모든 Tensor들의 합이 필요하기 떄문에, ``dist.ReduceOp.SUM`` 을 +그룹 내의 모든 Tensor들의 합이 필요하기 때문에, ``dist.ReduceOp.SUM`` 을 리듀스(reduce) 연산자로 사용하였습니다. 일반적으로, 교환 법칙이 허용되는(commutative) 모든 수학 연산을 연산자로 사용할 수 있습니다. PyTorch는 요소별(element-wise)로 동작하는 기본적으로 4개의 연산자를 제공합니다.