曙光刀片服务器TC2600机房建设解决方案

1 TC2600组柜安装解决方案

机柜内部摆放规则：

1)所有的电源箱根据刀片及机架服务器安置情况分配放置；
2)所有的网络交换机建议放置在中间位置机柜中，自下向上放置；
3)监控节点放置在主柜中，并置于主柜最上部；
4)所有刀片服务器优先放置在同一个机柜内；优先放置在从柜内；
5)若有IO节点、存储等其它设备，优先放置在主柜中；

2 曙光刀片服务器TC2600电源管理解决方案

2.1 电源配置方案

2U电源箱的输入为3相5线制，其中三相火线通过空气开关（每相火线的空开限制为63A）来控制，分别连接到三个配电铜板线路上，然后通过铜板分流（使用4平方线缆，允许通过电流为20~25A）到5组航空插头中，故每相允许通过电流为20A，三相为60A，即一个航空插头的输出电流为60A。

每个满配的刀片服务器的峰值功率约为3500~4000W，刀片稳定运行时，每箱电流负荷为约15~18A（曙光刀片有分时上电功能，所以瞬时电流可以忽略）。

通过以上介绍，可知每个航空插头输出电流可供3箱满配的刀片服务器，则理论上每个2U电源箱最多可为15个满配的刀片服务器供电（实际上每个电源箱为几箱刀片供电由航空插头外接端子排箱决定）。

航空插头外接端子排箱：通过航空公插头及线缆与电源箱输入口（航空母插头）连接，箱体内有两列6进6出端子排，如图所示:

该箱体可以连入两组航空插头线缆，每列端子排连接一组，理论上可以为6个PDU供电，内部连接示意图如下：

2.2 电源连接示意图

以主机柜安装三箱刀片服务器为例：

电源连接示意图：

3 曙光刀片服务器TC2600网络布线解决方案

安装刀片机箱的机柜不使用曙光传统的电源线槽板，而是使用特制的6孔插座（现称PDU），使用该PDU的目的是为了改善刀片的网络布线，在机柜后面两侧边均安装绑线槽板。

机柜中所有设备的网线全部沿机柜两侧侧壁的绑线槽板，自上而下进行走线，所有位置在左侧的网络模块接口引出的网线一律沿机柜左侧壁走线，右侧的网络模块接口引出的网线沿机柜右侧壁走线。其他管理线缆也同样走线。

4 曙光刀片服务器TC2600解决方案范例

4.1  1机柜16节点

布局与电源、网络走线

16个刀片节点，则需购买2箱刀片

如图所示，图中绿色线条表示监控网络，连接刀片的交换模块；蓝色线条表示计算网络，连接直通模块；红色线条表示电源网络。

自机柜最下方向上依次放置2U电源箱，两组1U电源槽板（PDU）+刀片机箱，两刀片机箱各装8个计算刀片，在机柜中部放置1U监控台；机柜最上方放置2U监控节点，监控节点下方放置1U电源槽板（PDU）。剩余空间放置其他组件或用于扩展。

注：

1）2U电源箱的航空插头可连接到航空插头端子箱，每个端子箱连接3个1U电源槽板（PDU）
 每个航空插头端子箱可以接入两个航空插头引线。

2）刀片的电源为4+N，即可以是4/5/6个电源模块，一般使用5个即可达到冗余的功能

4.2  1机柜32节点

布局与电源、网络走线

32个刀片节点，则需购买4箱刀片

如图所示，图中绿色线条表示监控网络，连接刀片的交换模块；蓝色线条表示计算网络，连接直通模块；红色线条表示电源网络。

自机柜最下方向上依次放置2U电源箱，四组1U电源槽板（PDU）+刀片机箱，四刀片机箱各装8个计算刀片；机柜最上方放置2U监控节点，监控节点电源使用PDU其中一个电源插孔。

注：

1）航空插头端子箱参照前文介绍，可引入两组航空插头引线，为6组PDU供电，该配置引出4路为4个PDU供电。

2）刀片的电源为4+N，即可以是4/5/6个电源模块，一般使用5个即可达到冗余的功能
 
4.3  3机柜64节点+1个IO节点+1个管理节点+1台盘阵

布局与电源、网络走线

64个刀片节点，则需购买7箱刀片

如图所示，图中绿色线条表示监控网络，连接刀片的交换模块；蓝色线条表示计算网络，连接直通模块；红色线条表示电源网络；黄色线表示堆叠线缆。

主机柜建议安装所有机架式服务期，采用曙光的普通电源槽板及电源箱，百兆监控网络连接刀片交换模块，千兆网络连接可堆叠千兆交换机。

刀片机柜1最下方向上依次放置2U电源箱，交换机1，四组1U电源槽板（PDU）+刀片机箱。
刀片机柜2最下方依次放置2U电源箱，交换机2，三组1U电源槽板（PDU）+刀片机箱。

注：

1）航空插头端子箱参照前文介绍，可引入两组航空插头引线，为6组PDU供电，该配置引出4路为4个PDU供电。

2）刀片的电源为4+N，即可以是4/5/6个电源模块，一般使用5个即可达到冗余的功能。

5 基于曙光刀片产品的机房建设介绍

5.1 TC2600标重：

5.2 曙光机柜可能安装的部件如下

刀片机箱  8U（1U含PDU）
电源      2U
监控节点  4U
以太网交换机
高速网（Infiniband）交换机

其他机架服务器

若机柜仅安装刀片服务器，则建议最多安装4箱刀片，若除了刀片服务器外还有其他设备，则根据其他设备所占U数分配。

 5.2.1 带监控的主机柜

由于曙光TC2600高度为7U，配套使用的电源PDU为1U故用于机柜时，一箱刀片按8U计算。
以用户购买4箱刀片放置在主机柜中为例：

集群监控节点为2U，电源箱为2U产品，以机柜高度为41U为例，故主机柜中最多只能安装4柜刀片，共计40片，使用48口1.5U的千兆交换机作计算网（或数据网），监控网络机柜之间串连或根据刀片箱的数量配置合适的百兆交换机，共计4柜刀片*8+2U监控节点+2U电源+1.5U（千兆交换机）=37.5U，如图所示，机房各项要求指标计算如下：

机柜及节点总重量：

4*120kg/箱刀片+150kg/机柜+50kg/（电源箱+交换机+监控节点）=680KG,故要求机房地板承重为700kg/m2以上。

机柜供电功率：

每组刀片在满负荷运转时，实际消耗的功率为4KW左右，4箱刀片为16 KW左右功耗，则该机柜需要的空调为16KW，需要的UPS为16KW/85%>=19KVA。