TrueNAS | Как подключить к одному RAID контроллеру 256 дисков?

TrueNAS | Как подключить к одному RAID контроллеру 256 дисков?

В описании RAID-контроллера «LSI SAS 9217-8i host bus adapter» на сайте производителя Broadcom можно получить информацию о том, что контроллер может обслуживать 256 дисков.

LSI SAS9217-8i
LSI SAS9217-8i
256 Non-RAID devices - LSI SAS 9217-8i host bus adapter
256 Non-RAID devices — LSI SAS 9217-8i host bus adapter

Каким образом это получается, если один провод с SATA кабелями может работать только с 4 дисками?

 

У производителя Broadcom (LSI) существует такое понятие как IT Mode (Initiator Target). Если говорить простым языком, то это режим работы контроллера без RAID функций. В IT режиме контроллер может напрямую видеть каждый отдельный диск и передавать его операционной системе по кабелю, а может соединиться с расширителем (SAS Expander Card) и через него управлять доступом к дискам.

 

Видео на тему

Одним из таких расширителей является Lenovo 03X3834.

Lenovo SAS Expander Card 03X3834
Lenovo SAS Expander Card 03X3834

 

Как достигается огромное количество дисков?

Из контроллера один проводок идёт на расширитель в Port 0.

Controller LSI 9211-8i 6Gbps HBA IT Mode + HBA SAS Expander Card Lenovo 03X3834
Controller LSI 9211-8i 6Gbps HBA IT Mode + HBA SAS Expander Card Lenovo 03X3834

Затем в первый расширитель втыкаются проводки передачи данных, идущие на обычные диски. На одном конце у провода 1 штекер SFF-8087, а на другом конце провода 4 SATA штекера.

Controller LSI 9211-8i 6Gbps HBA IT Mode + HBA SAS Expander Card Lenovo 03X3834 + 5 5SFF8087- SATA Cable + 1 SFF-8087-SFF-8087
Controller LSI 9211-8i 6Gbps HBA IT Mode + HBA SAS Expander Card Lenovo 03X3834 + 5 5SFF8087- SATA Cable + 1 SFF-8087-SFF-8087

К первому расширителю можно подключить второй расширитель через Port 1. И так расширители могут соединяться пока хватает места в корпусе и слотов PCIE на материнской плате.

Один RAID контроллер и семь SAS расширителей. Связаны в одну последовательность для подключения 120 дисков
Один RAID контроллер и семь SAS расширителей. Связаны в одну последовательность для подключения 120 дисков

Почему 120 дисков можно подключить на фото выше?

Каждый расширитель имеет 2 порта для связи с другими расширителями или контроллерами. Каждый расширитель имеет ещё 4 порта для подключения дисков. Каждый дисковый порт может подключить к себе 4 диска.

Итого получаем 7 SAS Expander Card * 4 SAS Port * 4 HDD/SSD = 112 HDD/SSD.

Откуда ещё 8?

В нашей схеме остаётся два свободных порта. Один на контроллере. Один на последнем расширителе в цепочке. Итого 4 + 4 = 8.

Суммарное количество в этой архитектуре равно 120 дискам.

В реальности будет весьма проблематично подключить даже столько дисков, потому что каждый из них будет требовать своего отдельного электропитания. Значит нужно больше блоков питания, больше проводов

 

Информационные ссылки

Документация TrueNAS 13.0https://www.truenas.com/docs/core/gettingstarted/corehardwareguide/#storage-controllers

Обзор производимых контроллеров компанией Broadcomhttps://www.broadcom.com/products/storage/raid-controllers

TrueNAS | Что такое IT Mode?

TrueNAS | Что такое IT Mode?

IT Mode (Initiator Target) — это режим, в котором контроллер НЕ БУДЕТ РАБОТАТЬ в режиме RAID, чтобы операционная система могла видеть каждый […]