Наша компания обслуживает множество крупных сайтов и интернет магазинов, мы осуществляем техническую поддержку и развитие проектов. Сегодня я хотел бы рассказать о том, как мы были вынуждены запустить круглосуточную техническую проектов.
Кому она нужна и нужна ли вообще
Первые запросы на круглосуточную поддержку сайтов мы начали получать от наших коллег, которые активно участвуют в крупных тендерах. Часто в договорах имеется отдельный пункт про круглосуточную поддержку. Даже обладая сильной экспертизой, перейти на круглосуточный режим работы многим не под силу ввиду сложности реорганизации и поиска специалистов, которые готовы работать ночью.
Второй тип клиентов - это средние и крупные интернет-магазины, которым очень важна отказоустойчивость в круглосуточном режиме. Любой интернет-магазин принимает заказы в режиме 24/7, и в большинстве случаев реклама магазина идет круглосуточно. Простой в ночное время крупного магазина может очень дорого стоить: реклама, упущенная прибыль, лояльность клиентов и т.п.
Наверняка все встречались с проблемой, когда в выходные, праздники или нерабочее время у вас что-то случается с сайтом, зачастую реанимировать сайт очень проблематично, так как технические специалисты в данный момент недоступны.
Как мы запускали отдел по поддержке 24/7
Первая очевидная сложность с которой мы столкнулись - это как заинтересовать программистов работать ночью. Зарплата программистов и так высокая, а при работе ночью она возрастает в разы, но при этом желающих работать ночью почти нет. Первого кандидата на работу ночью мы искали примерно 3 месяца, второго нашли быстрее, примерно за 1.5 месяца. Сейчас у нас 4 программиста, которые посменно оказывают техническую поддержку в ночное время. На удивление, менеджеров по приему обращений от клиентов мы нашли очень быстро. Мы понимаем, как тяжело работать ночью, и поэтому программисты у нас работают парно, дежурства разбиты на 2 этапа, первый специалист работает с 20:00 до 2:00, второй специалист с 2:00 до 8:00, в остальное время у нас в офисе работают другие специалисты. Специалисты чередуют смены, чтобы не сильно нарушать биологические часы.
Состав команды
Каждую ночь у нас на связи 2 разработчика один менеджер, и один DevOps. Это минимальный набор команды, которая в состоянии решить любую нештатную ситуацию с сайтами наших клиентов.
Регламенты обслуживания
Для обращений клиентов в ночное время у нас работает отдельный телефонный номер, который всегда доступен. Запрос клиента обрабатывается в течение 5-10 минут, после этого клиент информируется о дальнейших действиях и вариантах решения проблемы. Все специалисты в курсе, что любая задача от клиента СРОЧНАЯ и требует незамедлительного реагирования.
Мониторинг работоспособности сайта
У клиентов, которым необходима круглосуточная поддержка, подключен мониторинг работоспособности их сайта. Мониторинг анализирует работу сайта и всех связанных с ней служб, в том числе базу данных. Очень важно, чтобы база данных работала исправно и сайт с ней коммуницировал. Бывают ситуации, когда сайт доступен, но база данных “упала”, вследствии этого ни один из стандартных мониторингов работоспособности сайта вас не уведомит о проблеме, а на самом деле сайт у вас будет в нерабочем состоянии. Также бывают ситуации, когда интернет-магазин потерял связь с 1С и не может произвести синхронизацию, и надо оперативно решить эту проблему.
Скорость это всё
Во время оперативной технической поддержки очень важна скорость, ведь каждая минута простоя может очень дорого стоить нашему клиенту. Перед началом сотрудничества мы внимательно изучаем проект клиента, строим гипотезы по развитию нештатных ситуаций, в случае различных негативных сценариев (ddos, ошибка синхронизации и т.п.). На каждый проект, который находится у нас на оперативной поддержке у нас имеется подробное досье с описание нештатных ситуаций, лога операций с ним, описанием интеграций и многое другое. Это позволяет любому нашему специалисту максимально быстро вникнуть в проект в случае нештатной ситуации.
Неявные проблемы
Бывают такие проблемы, которые невозможно сразу выявить, но они будут критичны для бизнеса нашего клиента. Например, ранее проводились работы по какому-то модулю сайта, после тестирования всё работало, но потом что-то “отвалилось”, и например, чуть позже на последнем этапе оформления заказа, у пользователя появляется ошибка. Для предотвращения таких ситуаций у нас разработаны чек-листы. они похожи на чек-листы, которые используют пилоты перед взлетом самолета. Наши специалисты по чек-листу (индивидуальному для каждого проекта) проводят проверку работоспособности сайта в ручном режиме. Проверка проходит каждые N часов (определяется индивидуально для каждого проекта).
Пусть ваши проекты никогда не падают, а если падают, то очень быстро встают!