Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

test(react-ui): update flaky screens ie11 #3087

Merged
merged 2 commits into from
Jan 17, 2023
Merged

test(react-ui): update flaky screens ie11 #3087

merged 2 commits into from
Jan 17, 2023

Conversation

lossir
Copy link
Member

@lossir lossir commented Jan 16, 2023

Проблема

С 27 декабря начали падать некоторые скриншотные тесты в IE11.

Детали

Во всех тестах причиной было изменение рендера сочетаний символов: дд, дл, ут, es, fi, rt, 44, tt.
В тестах используется контуровский шрифт - "Lab Grotesque K".

Но в одном из упавших тестов используется “Times New Roman”. И там тоже проблема была в сочетаниях символов: im, an.

Скрины:
N screen
1 image
2 image
3 image

С толку сбивало, что тесты помечена как flaky, но в мастере это почти всегда 111 тестов.
Я прогнал тесты на коммите до 27 декабря и результат повторился: ±111 тестов "мигает".

image

Сама метка flaky в нашем случае означает - слишком частое изменение статуса теста за последние 7 дней (значение по-умолчанию). В терминологии teamcity это называется "Flip Rate".

Т.е. создавалось впечатление, что обновлять скриншоты нет смысла, ведь они мигают даже после 10 дней.

Но я прочитал в доке, что вычисление "Flip Rate" основывается на некоторой эвристике.
А также существует известные проблемы (при определённых условиях), когда "Flip Rate" считается некорректно.

Хотя в нашем случае эти условие не соблюдаются, но я решил попробовать просто обновить все скриншоты и прогнать тесты.

Решение

По итогу я просто обновил все "мигающие" скриншоты.
Тесты стабильно проходят и не мигают.

Ссылки

Дока teamcity

Чек-лист перед запросом ревью

  1. Добавлены тесты на все изменения
    ⬜ unit-тесты для логики
    ⬜ скриншоты для верстки и кросс-браузерности
    ✅ нерелевантно

  2. Добавлена (обновлена) документация
    ⬜ styleguidist для пропов и примеров использования компонентов
    ⬜ jsdoc для утилит и хелперов
    ⬜ комментарии для неочевидных мест в коде
    ⬜ прочие инструкции (README.md, contributing.md и др.)
    ✅ нерелевантно

  3. Изменения корректно типизированы
    ⬜ без использования any (см. PR 2856)
    ✅ нерелевантно

  4. Прочее
    ✅ все тесты и линтеры на CI проходят
    ✅ в коде нет лишних изменений
    ✅ заголовок PR кратко и доступно отражает суть изменений (он попадет в changelog)

@lossir lossir requested a review from zhzz January 16, 2023 11:08
@lossir lossir marked this pull request as ready for review January 16, 2023 11:11
Copy link
Member

@zhzz zhzz left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

👍

@zhzz zhzz merged commit c6bcfe3 into master Jan 17, 2023
@zhzz zhzz deleted the IF-942-screens-ie11 branch January 17, 2023 06:36
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Development

Successfully merging this pull request may close these issues.

2 participants