"Bash.org.ru IT Happens Истории ## 3401 – 3500" - читать интересную книгу автора (Bash.org.ru IT)

#3407: Горшочек, не вари!

15:00 18.06.2010, IT happens

Все помнят сказку про волшебный горшочек? Я вчера испытал её на себе.

Утром, оказавшись в неприятной ситуации из-за отрубившегося накануне вечером УЗО в серверной (бесперебойники отработали, но на двенадцать с лишним часов их, конечно, не хватило) в положении того самого мужика, над которым грянул гром, я решил настроить уведомления по почте и SMS о подобных каверзах. Сначала полез в ZenOS — он превосходно собирает кучу инфы со всей сети по SNMP и генерит кучу отчётов, некоторые из которых я решил направить себе на гмейловский аккаунт. Отрубаю UPS — фиг, молчит ZenOS, как партизан, хотя событие произошло и в его базе появилось.

Поковырялся ещё, в процессе применил свой любимый метод тестирования: включил информирование вообще на все события, полагая, что если и тогда ничего не произойдёт, то ошибку стоит искать где-то ближе к почтовому серваку. Ничего не произошло, но тут мне подсказали, что можно настроить уведомления непосредственно с серверов, контролирующих «упсы» — и точно, старый добрый PowerChute с этой задачей справился, и я, довольный, вернулся к рутинным админским делам.

А вечером случилось оно. Уж не знаю, почему именно — скорее всего, коллега перезагрузил сервак с ZenOS, — но оно попёрло. В половине десятого я уехал за женой на каток, в десять мой коммуникатор уже безбожно тупил, пытаясь сообщить о трёх тысячах новый сообщений в ящике. Пока он загружал текущие заголовки, сваливались новые... Горшочек, не вари!

К полуночи я знал, что у меня есть пять с половиной тысяч событий разной степени важности, к двум часам ночи их число перевалило за семь тысяч. Конечно, добравшись до десктопа, можно было поставить фильтр на сообщения и удалять их без прочтения. Можно было залезть по VPN на работу и отрубить злобного спамера. Но у меня взыграло любопытство: решил проверить, сколько же всего горшок наварит, пока я сплю. Сегодня утром насчитал одиннадцать тысяч сообщений с одинаковым заголовком и отправителем.

Перед запуском чего-либо думать надо трижды. Дважды — мало, хотя тоже ничего: подумав дважды, я не стал включать информирование по SMS. Страшно представить, как бы я чистил входящие сообщения на телефоне...[3]