В 02:14 график глубины очереди стал вертикальным, а к 02:40 за ним последовал график счетов. Ничто в журналах приложений не говорило об «отключении» — все работники были здоровы, все проверки здоровья были зелеными, и каждый из них с радостью повторял попытку...
В 02:14 график глубины очереди стал вертикальным, а к 02:40 за ним последовал график счетов. Ничто в журналах приложений не говорило об «отключении» — все работники были здоровы, все проверки работоспособности были зелеными, и каждый из них с радостью повторял одни и те же четыреста неудачных вызовов. На самом деле сломался не поставщик модели и не сеть; Дело в том, что три независимых слоя повторных попыток были составлены людьми, каждый из которых предполагал, что двух других не существует. Далее следует формат postmortem, который превращает ту ночь в изменение кода, а не в абзац, на который все кивают.
Краткое изложение рассказывает историю той ночи, а вскрытие расскажет вам, какое дизайнерское решение сделало эту ночь возможной. Если вы не можете указать на разницу, которая могла бы предотвратить инцидент, вы написали резюме с временными метками. Шаблон, который я храню, состоит из четырех разделов: временная шкала в абсолютном формате UTC с триггером, отделенным от обнаружения, список способствующих факторов, ранжированных по тому, насколько дешево их можно было бы устранить, количественное усиление сбоя, а также долгосрочное исправление с владельцем и тест, который сегодня не пройден.
Вот форма временной шкалы, заполненная использованным составным пошаговым руководством.