Falcrum (falcrum) wrote,
Falcrum
falcrum

Categories:

Будни кровавого энтерпрайза с поправкой на местные реалии: знать, куда посмотреть

«Специалист подобен флюсу: полнота его одностороння.»
Анонимный квинтет


Сегодня было прекрасное - до сих пор слегка в ахуе...

Очередь быть задницей

Итак, в одной Очень Серьёзной Конторе (вполне гражданской - не подумайте не то) начинался хмурый понедельник. Матёрый Оператор, придя на работу и разлепив очи, с удивлением обнаружил, что Система работает как-то не так. Проще говоря - офигенно медленно. Разумеется, Оператор, поскольку он Матёрый, немедля глянул в логи и прочую диагностику: однако, страшных слов «error» там не было. Ну, не говорить же Начальству - зачем его беспокоить такими пустяками?

И Оператор связался с Админом БД - посмотри, дескать, - что с моей базой? А надо сказать, что в той Конторе всё жёстко анально огорожено: всяк сверчок знает только свой шесток потому, что: «Бе-зо-пас-ность! Тс-с-с!». К несчастью, Админ оказался не очень администым: один его коллега ушёл в отпуск, второй - приболел, а третий... Ну, тоже орёл, конечно, но слегка послабше. Глянул Админ БД зорким глазом: вот, говорит - у тебя на одной большой таблице индексы слетели! Ща я их перестрою - подожди часок-другой!

Ну, Оператор же Матёрый - отбрехивается от всяких посторонних возмущений. И никому ничего не говорит.

Час прошёл, другой прошёл - перестроились индексы. Ан легче не стало. А сотни посторонних, завязанных на работу Системы, начинают звереть. Слушай, глаголет тогда Матёрый Оператор: у меня ещё идейка есть! Вот четыре таблицы гигантские: помнится, когда по ним статистика пропала - тоже Система была как под наркозом! Давай-ка, нажми на клавиши, продай талант!

Жмёт на клавиши Админ БД, собирает сервак статистику. Дело тоже небыстрое, а Система-то колом стои́т, час "Ч" близится, когда уже тысячам заинтересованных, телефоны обрывающим, надо ответ давать. И до Начальства те заинтересованные уже добрались, грозят карами страшными денежными. Пришлось сознаваться: так мол и так, сами не справляемся...

Разумеется, до меня вести о проблемах дошли уже когда было состояние "если через час не взлетим - пиздец всем". Оседлал я коня железного (напоминаю про бастионы неприступные) да поскакал на место Ужаса. Проблема была решена в течение пяти минут...

Вы просто не поверите: эти беркуты ухитрились запустить на продакшн-сервере БД некую тестовую задачу, начисто отожравшую все процессоры. Я даже тот сервер не успел увидеть - просто приехав и глянув, задал вопрос Админу: а что база данных в логи пишет? Не жалуется ли на что? "ОЙБЛЯ!!!" - было мне ответом, левый процесс тут же срубили и всё поднялось.

Цимес ситуации в том, что когда на разборе полётов в присутствии их Руководства я задал резонный вопрос "Что ж вы раньше не обратились?", было озвучено фееричное "Так ты ж ничего не сделал - только подсказал, куда глянуть!". Был готов убить на месте. Благо, Начальство там оказалось понимающим - вазелин орлы будут долго и униженно вымаливать. Такие дела.
Tags: КровавыйЭнтерпрайз, Размышлизмы
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 22 comments