ТГ: Типичный Сисадмин.
Сегодня вечером в Рунете случился эпичный блэкаут. На скрине с графиком MSK-IX (главной точки обмена трафиком в РФ) запечатлен момент клинической смерти... буквально за минуты объем передаваемого трафика рухнул с 7.8 Тбит/с до 3 Тбит/с. В бездну улетело почти 5 терабит трафика всей страны. В Гагаринском районе Москвы произошла авария на электросетях.И по случайному совпадению именно там находится знаменитая девятка... или ММТС-9 - главное здание Рунета, где физически стыкуются кабели почти всех провайдеров, хостеров и бигтеха.
Если чекнуть тех документацию М9, то на бумаге девятка - это неприступная энерго крепость:
Электроснабжение 1 категории надежности. 4 (ЧЕТЫРЕ!) независимых питающих центра (ТЭЦ-20 и три подстанции). Двухлучевые и трехлучевые автоматы ввода резерва. Аккумуляторные батареи постоянного тока, рассчитанные на час автономной работы. Резервные дизель-генераторы.Но тут на районе гаснет свет. И вся система резервирования 1 категории просто делает пуньк... и не заводится. ИБП не держат, дизели не стартуют (или не вывозят переключение АВР, хз). Главный коммутатор страны обесточивается.
А дальше случается классика жанра, которую проходят на курсах для сетевиков. Когда М9 погасла, миллионы BGP-сессий порвались.
Умные маршрутизаторы по всей стране поняли, что этот маршрут мертв - перекидываем трафик на резервные ЦОДы и другие узлы связи
И 5 терабит трафика ломанулись по резервным каналам на другие ДЦ.Естественно, ни один резервный узел не был рассчитан на то, чтобы единомоментно сожрать нагрузку девятки. Их аплинки задохнулись, железо ушло в полку, и они начали падать один за другим от перегруза. Ну по сути, Рунет сам себя задудосил
Маркетологи Ростелекома, конечно, быстро выкатили инфу, что задействованы резервные дизели, всё работает штатно. Да-да, мы видели это штатно на графике падения
Как бы не был во всём виноват дежурный электрик Михалыч, который не проверил уровень соляры в генераторе.
