mock.patch된 함수 호출을 순서 없이 테스트 하기

[cbscsm]

mock의 어서션 함수를 사용할 수 있습니다.

expected_calls = [...]
assert mock_function.call_count == len(expected_calls)
mock_function.assert_has_calls(expected_calls, any_order=True)

[장점]

• 간결하다. 의미파악이 어렵지 않다.
• 같은 call이 여러번 있어도 이를 반영하여 테스트할 수 있다.
• unhashable한 call 또는 인자에 영향을 받지 않는다.

[단점]

• assert statement가 아니다.

[제안]

저희가 pytest를 도입하면서 assert statement 사용을 권장하고 있기는 하지만
다른 assertion 함수/메서드를 assert statement로 대체하기 쉬운경우로만 이것을 한정하고, 그렇지 않을 때에는
다른 assertion 함수/메서드를 사용하는 것도 좋을 것 같습니다.
예:

• pytest.raises
• unittest.mock.Mock.assert_has_calls
• 기타 프로젝트 내 커스텀 assertion 함수

---

고려되었던 다른 방법들

set 활용하기

assert set(mock_function.call_args_list) == set(expected_calls)

• 중복에 대응할 수 없습니다. -> multi-set인 Counter를 사용하면 해결됩니다.
• mock.call은 unhashable합니다.
  • mock.call.args와 mock.call.kwargs를 사용하면 일단 해결되지만, 역시 인자가 unhashable할 때에는 재귀적인 freeze hash가 필요해집니다.

정렬하여 검사하기

assert sorted(mock_function.call_args_list) == sorted(expected_calls)

• call 끼리 정렬될 때 그 원소들을 비교하는데, 같은 위치에 있는 인자의 타입이 서로 대소비교가 불가능한 경우 에러가 발생합니다.

for문을 돌며 소유 검사하기

assert mock_function.call_count == len(expected_calls)
for call_ in expected_calls:
    assert call_ in mock_function.call_args_list

• 중복에 대응할 수 없습니다.

for문을 돌며 원소 마크하기

call_list = list(mock_function.call_args_list)  # shallow copy 목적
assert len(mock_function.call_args_list) == len(expected_calls)
for call_ in expected_calls:
    try:
        call_list.remove(call_)
    except ValueError:
        pytest.fail(...)

• 이미 표준 라이브러리에 있는 로직과 같습니다.
• 인라인화 하기에는 복잡한 코드입니다.

[cbscsm]

이것과 별개로, 유닛테스트에서 순서의 비결정성에 의해 테스트 결과가 불확실해지는 경우 무조건 순서를 무시하는 assertion으로 대체할 것이 아니라 테스트 결과를 결정적으로 만드는 것에 대한 검토가 반드시 선행되어야 한다고 생각합니다. 특히, SUT의 스펙이 순서를 의미있게 생각할 때는 무조건 assertion이 아닌 arrange나 action이 수정되는 것이 맞다고 생각합니다.