17 июня 2013

Мероприятие: Selenium Conference 2013 в Бостоне

Место

Бостон,RENAISSANCE BOSTON WATERFRONT HOTEL

Постарайтесь лететь в Бостон прямым рейсом, потому что я просидел в JFK в Нью-Йорке 3 лишних часа по причине абсолютно непонятных задержек со стороны Delta Airlines, и это не предел.
Соответственно стыковка на прямой рейс будет где-то в Европе, но это всяко лучше чем JFK.
JFK - огромный аэропорт, и сделан не самым лучшим образом.


Организация

На высоте, хотя вряд ли могло быть по другому :).
Места достаточно, помещение хорошее.
Еда, кофе, вода  - все есть.
Вентиляция  - в норме.
Организаторы позаботились и об after-party - сняли бар для того чтобы люди пообщались между собой.

Доклады

  1. Scaling Selenium: The Selenium Infrastructure at Salesforce.com Рассказ о масштабировании инфраструктуры для запуска автотестов в SalesForce. Ребята долго работали со своим собственным гридом , в конечном счете используя API JClouds сделали возможность раскатывать фермы неограниченного размера. То есть если в тестовом запуске есть 1000 тестов то будет запущено 1000 виртуалок в качестве нод. Все это выливается в достаточно большие счета от Amazon EC2?OpenStack/VmWare, анализ которых происходит ежемесячно. Чтобы счета не были большими в запуск попадают только те тесты которые имеют высокий рейтинг стабильности. Определению нестабильных тестов(flappers) был посвящен отдельный доклад.
  2. Phantom.js Ivan de Marino, Amazon. Ничего нового не рассказал, можно спокойно посмотреть видео доклада из Киева
  3. Is your page loaded. Рассказ о достаточно простом приеме определения того что ваша страница загружена.Работает с графическими компонентами, будет плохо работать если на страницу по AJAX приходит что-то что становится графикой не всегда или не все. Средне.
  4. Automated UX Compliance Testing. Рассказ о том что можно попробовать находить баги верстки с помощью анализа скриншотов. Для этого даже есть отдельный плагин для Jenkins-а. Долго, дорого, малоэффективно. Глубокая beta.
  5. Codeless Automation: Selenium Builder+ Github + CI. SauceLabs приложили тонну усилий к тому чтобы в очередной раз воскресить вампира. Итого  - аналог Selenium IDE написанный на node.js, с плагинной архитектурой, пропахали интеграцию с GitHub и Travis CI. Труда положено много, выглядит впечатляюще (Осторожно! на глупеньких менеджеров и обезьянок действует возбуждающе!), но докладчик сам прямым текстом сказал - что это для quick, dirty, throwaway tests (перевожу - записал, попользовался, выкинул). Доклад отличный.
  6. Holistic Cross-Browser Testing. Тут опять про тестирование верстки только уже все серьезнее - ребята сделали это в виде отдельного сервиса DomReactor. Используются три стратегии - снятие скриншотов, computer vision (анализ изображений), эвристики/правила. Все еще тоже не до конца готово, но направление наверное верное.
  7. Testing and Moving Fast - Making Selenium Work for Facebook. Рассказ о процессах обеспечения качества в Facebook. Ребятам пришлось самим написать биндинги для Selenium на PHP, потом переписать их снова. Из интересного -Инженер ответственный за код который он поставляет и должен писать на этот код тесты. Нестабильные тесты уходят в карантин, если тест горит красным и по нему не следует фикса в течении суток то автотест удаляется. Еще из интересного - Facebook пересмотрел свою политику в отношении релиза функционала на мобильную версию, теперь сначала фича выкатывается на мобильную версию, потом уходит на вэб - это позволяет избежать разрыва в функционале.

Общее впечатление

Selenium Conference  - это конференция не тестировщиков, а инженеров.
Вот этот твит лучшим образом выражает все то к чему идут лидеры индустрии - мы должны нанимать инженеров которые сами берут на себя ответственность за то что делают, как следствие сами проверяют свой код, пишут автотесты. Этот цикл оказывает большое влияение на дизайн, процессы и многое другое. 


Ну и пара инсайдов с конференции:
1. Selenium 3.0 должен выйти в конце года и основной прицел в дальнейшем развитии будет идти в сторону тестирования мобильных приложений. Как мне кажется наибольшее влияние на это окажет Appium в частности и SauceLabs вообще.

2. Google, Facebook, SauceLabs имеют свои реализации инфраструктуры Selenium Grid, Связано это с несовершенством Selenium Grid.

Немонтированные записи всех докладов доступны на Livestream.com