Выделить тест-раннер как отдельное приложение/библиотеку

[artbear]

В продолжение #27

[kuntashov]

Переношу значимую информацию из обсуждения https://bitbucket.org/EvilBeaver/1script/issues/207/tests-testrunneros

Найденные баги/недочеты/фичи, которые надо учесть в новом приложении:

• код для проверок (assertions) в testrunner.os - свой, а надо чтобы использовался модуль asserts и дублирования не было
• то же самое про работу с ком. строкой (разбор аргументов)
• модуль asserts/xunit отстает по возможностям от модуля asserts/bdd, в частности нет методов ВыбрасываетИсключение() и некторых других: надо привести функционал к единому виду, если сравнивать с xUnitFor1C - то от него отставание по функционалу еще больше (хотя сужу поверхностно - смотрю просто на общее количество методов-проверок, пока внимательно не анализировал, какие вообще имеет смысл переносить, очевидно, что не все);
• Не обнаружил проверок ПроверитьСтруктурыИдентичны и ПроверитьСоответствияИдентичны или аналогичных нигде (поправьте, если ошибаюсь), даже в xUnitFor1C их не нашел. Не возникало такой потребности?
• Если в ком. строке testrunner.os передать в качестве аргумента имя конкретного теста, но такого тестового метода пока нет (-run tests/yadisk-test.os "Тест_ЭтогоТестаНет"), то скрипт будет выполнять все методы, а ожидается, что он остановится с исключением Тестовый метод <Тест_ЭтогоТестаНет> не определен.

[kuntashov]

Есть рассогласованность в нумерации тестов в выводе:

• При выполнении тестов в выводе testrunner'а тесты нумеруются по порядку с нуля.

• Если при этом запускать отдельный тест - в выводе ему будет назначен номер 0.

• Если при выполнении всех тестовых случаев из одного файла несколько тестов, например, 2 упадут, то в выводе будет выведено:

  Упали тесты. Количество 2 шт: 
      тест № 1 : ...
      тест № 2 : ...
  

Т.е. нумерация упавших - также сначала, но при этом с единицы.

В связи с тем, что в ком. строке поддерживается запуск теста по номеру, было бы правильнее нумерацию тестов выводить в соответствии с их порядком, в котором они добавляются в список тестов:

• При запуске всех тестов - нумерация независимо от порядка выполнения тестов должна сохраняться согласно индексам в списке тестов
• При выполнении одного теста должен выводиться его номер из списка тестов
• В списке упавших тестов должны выводиться номера упавших тестов согласно списка тестов.