Структурированная кабельная система в дата-центре: архитектура, кабели и приёмка

Что такое СКС в дата-центре

Структурированная кабельная система дата-центра представляет собой организованную пассивную инфраструктуру для соединения серверов, систем хранения, сетевого оборудования, операторских вводов, систем управления, мониторинга, безопасности и автоматики здания.

Ключевое слово здесь не «кабельная», а «структурированная». Отдельные соединения объединяются в понятную архитектуру с заданными зонами, коммутационными полями, маршрутами, идентификаторами и правилами внесения изменений.

Функциональные зоны СКС дата-центра

В международной практике для ЦОД применяют функциональное деление на зоны. На небольшом объекте некоторые зоны могут быть объединены, но их назначение всё равно должно быть определено до начала монтажа.

Функциональные зоны не следует механически копировать из типовой схемы. Их количество и размещение зависят от масштаба объекта, сетевой архитектуры, количества операторов, плотности портов, требований к доступности и планируемых изменений.

Почему прямые соединения между любыми шкафами создают проблему

Пока в зале десять шкафов, длинные прямые соединения кажутся простым решением. После нескольких расширений появляются пересекающиеся трассы, разная длина кабелей, потерянные концы и зависимость от конкретной расстановки оборудования. При перестановке стойки приходится менять не только активное оборудование, но и постоянную кабельную инфраструктуру.

Кроссовая архитектура добавляет соединители и требует расчёта бюджета потерь, зато отделяет стационарные магистрали от часто изменяемых патч-соединений. Это особенно важно в коммерческом ЦОД и на объектах, где регулярно выполняются перемещения, добавления и изменения.

ToR, EoR, MoR и структурированная разводка

Top of Rack, End of Row и Middle of Row описывают размещение сетевого оборудования относительно серверных шкафов. Эти схемы относятся прежде всего к активной сети, но напрямую влияют на СКС.

Прямые DAC или короткие патч-соединения допустимы внутри одного шкафа, если они соответствуют архитектуре оборудования. Между шкафами постоянные структурированные линии обычно удобнее и безопаснее в эксплуатации, чем длинные патч-корды, проложенные через весь зал.

Что выбрать: медь, многомодовую или одномодовую оптику

Универсального ответа нет. Среду передачи выбирают не по принципу «самое современное», а по конкретному Ethernet- или Fibre Channel-приложению, расстоянию, типу трансиверов, плотности, сроку эксплуатации и стоимости полного канала.

Почему нельзя выбирать только по заявленной скорости

Одинаковая скорость может передаваться по разным физическим интерфейсам. Для каждого варианта различаются допустимая длина, количество волокон, тип разъёма, трансиверы, бюджет потерь, потребление энергии и требования к тестированию.

Сначала определяют приложения и архитектуру оборудования. После этого выбирают кабельную систему, которая поддерживает текущий режим и реалистичный сценарий развития.

Оптическая подсистема ЦОД

Оптика становится основной средой для магистральных и высокоскоростных соединений. Её преимущества легко потерять из-за загрязнённых торцов, перепутанной полярности, несогласованных компонентов или неверного бюджета потерь.

LC, MPO и высокоплотные соединители

Дуплексные LC-соединения удобны для большого числа распространённых трансиверов. MPO используется для многоволоконных магистралей, параллельной передачи и высокоплотных кассет. Выбор зависит от приложения, но MPO требует особенно строгого управления полярностью и составом канала.

Полярность задают до закупки

Нельзя собирать многоволоконный канал из случайно выбранных trunk-кабелей, кассет и патч-кордов. В спецификации фиксируют:

• тип и количество волокон;
• полярность и метод её реализации;
• тип ключа и исполнение разъёмов;
• расположение male и female компонентов;
• переходы между MPO и дуплексными портами;
• схему дальнейшей миграции на новые приложения.

Чистота торца влияет на весь канал

Загрязнение оптического торца увеличивает потери и отражение, а при соединении может перенестись на ответную часть. Правильная последовательность: осмотреть, при необходимости очистить, затем осмотреть повторно. Защитный колпачок не является подтверждением чистоты.

Бюджет потерь считается для конкретного канала

В расчёт входят длина волокна, количество соединителей, сварок, кассет и другие элементы. Нельзя сравнивать только паспортное затухание кабеля. Дополнительный кросс повышает удобство эксплуатации, но добавляет соединения и должен учитываться в бюджете.

Одномодовое волокно как долгосрочная магистраль

OS2 часто выбирают для магистралей благодаря запасу по дальности и возможности перехода на новые скорости заменой активного оборудования. Но утверждение «одномод всегда лучше» неверно. Итоговое решение зависит от стоимости трансиверов, текущей платформы, длины, количества каналов и требований к эксплуатации.

Медная СКС в дата-центре

Медь сохраняет важную роль в сетях управления, BMS, мониторинге, видеонаблюдении, системах доступа, IP-KVM, сервисных подключениях и части серверных приложений.

Категория определяется всей линией

Надпись Cat 6A на кабеле не делает готовый канал Cat 6A. Кабель, модули, панели, патч-корды, монтаж и результаты испытаний должны соответствовать выбранной категории и классу линии.

Cat 6A остаётся практичным вариантом для 10GBASE-T

При правильной компонентной базе и монтаже Cat 6A поддерживает 10GBASE-T в стандартном канале до 100 метров. В ЦОД необходимо заранее учитывать диаметр кабеля, ёмкость организаторов, радиусы изгиба и плотность пучков.

Cat 8 решает узкую задачу

Категория 8 рассчитана на каналы 25 и 40 Гбит/с ограниченной длины. Максимальная длина канала для этих приложений составляет 30 метров, а постоянной линии 24 метра. Это решение для конкретной архитектуры, а не запас «на всякий случай».

PoE требует проверки теплового режима

При дистанционном питании ток проходит по жилам кабелей, а в плотных пучках повышается температура. Для PoE важны материал жил, сопротивление, сечение, количество нагруженных кабелей, температура среды, способ укладки и возможности охлаждения. Омеднённый алюминий для ответственной стационарной линии использовать не следует.

Подробное сравнение категорий и экранов: витая пара Cat 5e, Cat 6, Cat 6A и Cat 8.

Кабельные трассы, охлаждение и физическое резервирование

Маршруты A и B должны быть независимыми

Два кабеля не образуют полноценный резерв, если они лежат в одном лотке, проходят через одну проходку и приходят в один кросс. Повреждение общей точки отключит обе линии.

Степень разделения определяется требуемой доступностью, но необходимо анализировать весь путь:

• разные вводы и проходки;
• разные лотки или физически разделённые секции;
• разные распределительные зоны;
• раздельные панели и кабельные организаторы;
• отсутствие единственной общей кассеты, муфты или точки крепления;
• понятное визуальное и документальное различие маршрутов.

Кабели не должны мешать воздушным потокам

Неуправляемые пучки в шкафах и под фальшполом увеличивают аэродинамическое сопротивление, усложняют доступ и могут нарушать рассчитанную схему охлаждения. Кабельные трассы согласуют с горячими и холодными коридорами, расположением перфорированных плит, кондиционеров и инженерных коммуникаций.

Верхняя и нижняя прокладка

Верхние лотки упрощают визуальный контроль и отделяют кабели от пространства подачи воздуха под фальшполом. Нижние трассы могут быть оправданы конструкцией объекта. Универсального правила нет. Важно не смешивать функции без расчёта и сохранять доступ для обслуживания.

Заполнение трассы считают до монтажа

Нужно учитывать не только площадь новых кабелей, но и минимальные радиусы изгиба, ответвления, массу системы, допустимую нагрузку на лоток, доступ к существующим линиям, разделение силовых и телекоммуникационных трасс и реальный сценарий расширения.

Фиксированный процент резерва без плана развития мало полезен. Резерв рассчитывают по ожидаемому количеству шкафов, портов, волокон, коммутаторов и сроку следующей модернизации.

Пожарная безопасность кабельной инфраструктуры

Оболочку кабеля выбирают с учётом способа и места прокладки, требований проектной документации и классификации пожарной опасности. Маркировки нг(А), LS, HF и FRLS обозначают разные свойства и не являются взаимозаменяемыми.

Проходка должна сохранять огнестойкость преграды

Если кабельная трасса пересекает стену или перекрытие с нормируемым пределом огнестойкости, отверстие нельзя оставлять заполненным обычной пеной или случайным раствором. Используют предусмотренную систему кабельной проходки, а после добавления кабелей восстановление выполняют в пределах её допустимой конфигурации.

Резервная проходка тоже оформляется правильно

Пустые гильзы и отверстия «на будущее» могут нарушать противопожарную преграду. Резерв предусматривают заранее и закрывают сертифицированным решением, допускающим последующее расширение.

Коммутация и кабельный менеджмент в шкафах

Аккуратный шкаф нужен не для фотографии. Он уменьшает риск случайного отключения, освобождает воздушные пути и ускоряет обслуживание.

Патч-панели отделяют постоянную линию от изменений

Стационарные кабели оконцовывают на панелях, оптических кроссах или кассетах. Активное оборудование подключают сменными патч-кордами. Это позволяет заменить коммутатор без механического воздействия на магистральный кабель.

Длина патч-кордов должна соответствовать реальному маршруту

Слишком длинные шнуры создают петли и перекрывают оборудование. Слишком короткие натягивают разъёмы и нарушают радиус изгиба. Длина выбирается по фактическому пути через вертикальные и горизонтальные организаторы.

Стяжка не должна деформировать кабель

Для изменяемых пучков удобнее многоразовые текстильные фиксаторы. Пластиковые стяжки допустимы только при контролируемой затяжке и там, где они не повреждают оболочку. Нельзя пережимать витую пару или оптические патч-корды ради внешней аккуратности.

Сервисный запас должен быть управляемым

Запас длины предусматривают для ремонта и повторного оконцевания, но не складывают случайными кольцами в зоне вентиляции. Его размещение, длина и способ фиксации должны быть одинаковыми для однотипных линий.

Маркировка и документация СКС

Через несколько лет название сервера и назначение порта могут измениться, поэтому идентификатор постоянной линии не должен зависеть только от текущего оборудования.

Что должно иметь уникальный идентификатор

• помещение и функциональная зона;
• ряд и шкаф;
• патч-панель или оптический кросс;
• порт панели;
• постоянная линия или магистраль;
• оптическое волокно или группа волокон;
• кабельная трасса и проходка, если это предусмотрено системой администрирования;
• активное оборудование и его порт в эксплуатационной базе.

Маркировка наносится с двух сторон

На каждом конце должен быть один и тот же идентификатор либо взаимно однозначно читаемая пара обозначений. Надпись должна оставаться видимой после установки оборудования и не перекрывать защёлку или область изгиба разъёма.

Цвет не заменяет идентификатор

Цвет патч-корда можно использовать для визуального разделения функций, владельцев или маршрутов A и B. Но значение цвета должно быть зафиксировано, а сама линия всё равно должна иметь текстовый или машиночитаемый ID.

Минимальный комплект документации

• планы кабельных трасс и функциональных зон;
• схемы шкафов и размещения панелей;
• кабельный журнал;
• таблица портов и соединений;
• схема оптических волокон и полярности;
• протоколы испытаний;
• перечень компонентов и их категорий;
• фотографии скрытых участков и проходок;
• правила внесения изменений;
• актуальная исполнительная версия после завершения работ.

Для крупного объекта данные удобно хранить в DCIM, CMDB или системе учёта кабельных соединений. Таблица тоже может работать, если она имеет владельца, историю изменений и регулярно сверяется с фактическим состоянием.

Тестирование и приёмка СКС дата-центра

Индикация на порту коммутатора показывает только то, что конкретное оборудование смогло установить соединение в данный момент. Она не подтверждает категорию медной линии, оптический бюджет, запас характеристик и качество всех соединений.

Приёмка медных линий

Для постоянных линий выполняют сертификационные измерения в выбранной конфигурации Permanent Link или Channel. В отчёте должны быть идентификатор линии, применяемый стандарт, категория или класс, тип адаптеров, дата, прибор и результат.

В зависимости от выбранного стандарта анализируются схема соединения проводников, длина, задержка, вносимые потери, переходные помехи, возвратные потери, сопротивление и дополнительные показатели для дистанционного питания.

Простой тестер распиновки выявляет обрыв, короткое замыкание и перепутанные жилы, но не подтверждает Cat 6A или Cat 8.

Приёмка оптических линий

Базовая приёмка включает проверку длины, полярности и вносимых потерь на требуемых длинах волн. Рефлектометрия применяется по заданию, сложности трассы и принятой методике, чтобы оценить события и локализовать проблемные участки.

Также необходимо осмотреть торцы, правильно установить опорный уровень измерений, использовать подходящие тестовые шнуры и адаптеры, сопоставить результат с расчётным бюджетом и сохранить исходные файлы прибора.

Что должно передаваться заказчику

Типовые ошибки СКС в дата-центре

1. Резервные линии проложены одним маршрутом

   Два кабеля отключаются одной аварией лотка, проходки или кросса.

2. Межшкафные соединения выполнены длинными патч-кордами

   Сложно отслеживать соединения, менять расстановку и поддерживать трассы в порядке.

3. Маркировка содержит только имя сервера

   После замены оборудования идентификатор перестаёт соответствовать постоянной линии.

4. Выбрана категория кабеля без проверки всей системы

   Панель, модули, патч-корды и монтаж могут ограничить канал сильнее, чем кабель.

5. Полярность MPO определяется во время монтажа

   Смешение компонентов разных методов приводит к неработоспособному или трудно проверяемому каналу.

6. Оптические разъёмы соединяются без осмотра

   Загрязнение увеличивает потери и переносится на ответный порт.

7. Лотки заполняются без резерва и учёта ответвлений

   Следующее расширение требует временных трасс и нарушает обслуживание.

8. Кабели перекрывают воздушные пути

   Аккуратная сетевая схема не компенсирует ухудшение охлаждения оборудования.

9. Проходки после добавления кабеля не восстанавливаются

   Противопожарная преграда фактически перестаёт соответствовать своему назначению.

10. Приёмка ограничена проверкой линка

    Проблема проявляется после перехода на более высокую скорость или увеличения нагрузки.

11. Исполнительная документация не обновляется

    Даже хорошо построенная СКС быстро превращается в недостоверную схему.

12. Путают TIA Rating и Uptime Tier

    Это разные системы оценки. Кабельная система сама по себе не даёт объекту статус Tier III, Tier IV или TIA Rated-3.

Нормативная основа СКС дата-центра

Набор документов определяется страной, проектом, договором и требуемой сертификацией. Ниже перечислены основные стандарты, которые используются как база для архитектуры, монтажа, администрирования и испытаний.

Статья не заменяет проектную документацию и программу испытаний конкретного ЦОД. Точный состав требований определяется назначением объекта, применяемыми приложениями, требуемой доступностью и условиями договора.

Чек-лист приёмки кабельной инфраструктуры ЦОД

Для предварительной оценки количества портов, патч-панелей, ODF, SFP и высоты шкафа можно использовать калькулятор портов СКС и размера телекоммуникационного шкафа. Его результат является основой для проверки, а не заменой инженерного решения.