test(react-ui): update flaky screens ie11 #3087
Merged
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Проблема
С 27 декабря начали падать некоторые скриншотные тесты в IE11.
Детали
Во всех тестах причиной было изменение рендера сочетаний символов:
дд
,дл
,ут
,es
,fi
,rt
,44
,tt
.В тестах используется контуровский шрифт - "Lab Grotesque K".
Но в одном из упавших тестов используется “Times New Roman”. И там тоже проблема была в сочетаниях символов:
im
,an
.Скрины:
С толку сбивало, что тесты помечена как
flaky
, но в мастере это почти всегда 111 тестов.Я прогнал тесты на коммите до 27 декабря и результат повторился: ±111 тестов "мигает".
Сама метка
flaky
в нашем случае означает - слишком частое изменение статуса теста за последние 7 дней (значение по-умолчанию). В терминологии teamcity это называется "Flip Rate".Т.е. создавалось впечатление, что обновлять скриншоты нет смысла, ведь они мигают даже после 10 дней.
Но я прочитал в доке, что вычисление "Flip Rate" основывается на некоторой эвристике.
А также существует известные проблемы (при определённых условиях), когда "Flip Rate" считается некорректно.
Хотя в нашем случае эти условие не соблюдаются, но я решил попробовать просто обновить все скриншоты и прогнать тесты.
Решение
По итогу я просто обновил все "мигающие" скриншоты.
Тесты стабильно проходят и не мигают.
Ссылки
Дока teamcity
Чек-лист перед запросом ревью
Добавлены тесты на все изменения
⬜ unit-тесты для логики
⬜ скриншоты для верстки и кросс-браузерности
✅ нерелевантно
Добавлена (обновлена) документация
⬜ styleguidist для пропов и примеров использования компонентов
⬜ jsdoc для утилит и хелперов
⬜ комментарии для неочевидных мест в коде
⬜ прочие инструкции (
README.md
,contributing.md
и др.)✅ нерелевантно
Изменения корректно типизированы
⬜ без использования
any
(см. PR2856
)✅ нерелевантно
Прочее
✅ все тесты и линтеры на CI проходят
✅ в коде нет лишних изменений
✅ заголовок PR кратко и доступно отражает суть изменений (он попадет в changelog)