Чтобы опубликовать новую версию Smart TV-приложения в магазины Samsung и LG, а также все последующие обновления, нужно пройти сертификацию и тестирование на стороне вендоров.
Тестирование на стороне Samsung, обычно, занимает, 1,5 недели. При этом при отправке приложения на проверку у разработчика имеется возможность отметить чек-бокс «Я согласен на выпуск приложения с незначительными дефектами». Это означает, что если в ходе тестирования будут найдены недочеты, то они не станут блокирующей проблемой для публикации приложения.
У Samsung’а также есть удобная панель, в которой фиксируются все найденные дефекты, и где разработчик может не только отмечать состояние каждого дефекта (к примеру, на «Исправлено», или «Не ошибка»), но и оставлять свои комментарии к дефектам (например, пояснить, что тестировщики были не правы, когда посчитали «фичу» за дефект и пр.).
Другое дело обстоит в стане LG, которые бы, по идее, должны брать все лучшее, что есть у заклятых врагов конкурентов. Однако тут процессы отстали на несколько лет. Если вы отправляете приложение на проверку в LG, то будьте готовы ждать месяцы на то, что в конечном итоге приложения будет одобрено. Отмечу, что ни у Samsung, ни LG нет четко установленных сроков на тестирование, однако если Samsung старается не затягивать свою работу, то у LG все наоборот – ждут по максимум (около 3 недель) и лишь потом присылают отчет по дефектам.
В последний раз мы отправили приложение в LG на проверку 30 марта. Отчет по дефектам (да-да, приложение отклонили) пришло 4 мая. Т.е. на проверку ушло 35 дней. В письме отчета также был робо-текст:
Please note that QA process took longer that the promised date due to the high volumes of QA request around the globe at once. We sorry for any inconvenience that may have caused you.
По какой-то причине свои сугубо внутренние проблемы (нехватка кадров) LG перекладывает на разработчиков, что конечно, непозволительно. Тут еще ходят слухи, что в LG происходят перестановки в управленческих кадрах, и что вообще там сейчас «жопа».
Далее: у LG при отправке приложения на проверку нет аналога чек-бокс «Я согласен на выпуск приложения с незначительными дефектами». В результате, если тестировщик посчитает что-то дефектом, то приложение автоматически будет отклонено. Комментарий на этот счет от представителя LG:
У LG и Самсунга разные команды тестирования и разные требования к качеству приложения, поэтому процессы тестирования могут сильно отличаться.
А процессы тестирования в LG такие:
- Берем приложение, начинаем проходить по кейсам
- Нашли пару дефектов / недочетов в первой партии кейсов
- Помечаем статус тестирования как fail
- Ждем окончания отведенного срока в ~3 недели
- Отправляем отчет о дефектах (в Excel-файле!!!)
Разработчик исправляет дефекты, а также дает комментарии (необходимо оставлять в этом же Excel-файле) по тем проблемам, которые на самом деле не проблема, а works as designed. Далее процессы повторяются:
- Берем приложение, начинаем проходить по кейсам
- Нашли пару дефектов / недочетов во второй партии кейсов
- Помечаем статус тестирования как fail
- Ждем окончания отведенного срока в ~3 недели
- Отправляем отчет о дефектах (в Excel-файле)
И так по кругу.
У нас был опыт, когда на запуск приложения в сторе LG ушло около полугода. Во всем этом противно то, что в ходе повторного тестирования находятся дефекты, которые были и раньше, но почему-то не были найдены в процессе прошлого тестирования (ого!). Это, конечно, указывает на то, что при обнаружении уже нескольких дефектов процесс дальнейшего тестирования прекращается.
Вместо того, чтобы менять внутренние процессы, LG отписывается «We sorry for any inconvenience that may have caused you». Мы уже четыре года отправляем в LG приложения, и за эти четыре года ничего не изменилось. Как были отчеты о дефектах в Excel, так и остаются…