创建硬件Raid
本文主要描述如何针对物理机做硬件的raid配置，硬件raid不依赖于操作系统，具有更高的性能，经常在装机系统中使用到。
1. 查询raid控制器信息
可以通过lspci -mm命令的输出查找raid控制器信息。实际情况可以执行以下命令。
lspci -mm |egrep "Broadcom / LSI|Adaptec"
示例：
# lspci -mm |egrep "Broadcom / LSI|Adaptec"
3b:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID SAS-3 3108 [Invader]" -r02 -p00 "Dell" "PERC H730P Mini"
lspci -mm 输出中的每一列含义如下：
PCI 地址：设备的总线号、设备号和功能号，用于唯一标识设备位置。例如：3b:00.0设备类型：设备的功能类别，例如 RAID 控制器、网络控制器等。例如： "RAID bus controller" ,"Serial Attached SCSI controller"制造商：设备的制造商名称。例如："Broadcom / LSI", "Adaptec"，最关键的信息，决定raid命令。设备型号：设备的具体产品型号和名称。例如："MegaRAID SAS-3 3108 [Invader]","Smart Storage PQI SAS"子系统制造商：子系统的生产厂商（可能为空）。例如："Dell","Huawei","Lenovo"子系统设备名称：子系统的设备名称（可能为空）。例如："PERC H730P Mini"
以下是常见的几个物理机厂商的设备的raid信息:
通过执行lspci -mm |egrep "Broadcom / LSI|Adaptec"命令可以查看不同厂商设备的raid信息。
# DELL
18:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID SAS-3 3108 [Invader]" -r02 -p00 "Dell" "PERC H730P Adapter"
# HUAWEI
1c:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID Tri-Mode SAS3508" -r01 -p00 "Huawei Technologies Co., Ltd." "MegaRAID Tri-Mode SAS3508"
# XFUSION
2a:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID 12GSAS/PCIe Secure SAS39xx" "Broadcom / LSI" "MegaRAID 12GSAS/PCIe Secure SAS39xx"
# INSPUR
18:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID Tri-Mode SAS3516" -r01 "Broadcom / LSI" "MegaRAID Tri-Mode SAS3516"
# LENOVO
4b:00.0 "RAID bus controller" "Broadcom / LSI" "MegaRAID Tri-Mode SAS3516" -r01 "Lenovo" "ThinkSystem RAID 930-16i 4GB Flash PCIe 12Gb Adapter"
# HPE
5c:00.0 "Serial Attached SCSI controller" "Adaptec" "Smart Storage PQI SAS" -r01 -p00 "Hewlett-Packard Company" "Smart Array P408i-a SR Gen10"
# KAYTUS
31:00.0 "Serial Attached SCSI controller" "Adaptec" "Smart Storage PQI 12G SAS/PCIe 3" -r01 "Inspur Electronic Information Industry Co., Ltd." "PM8222-SHBA"
常见的raid制造商：
- Broadcom / LSI：LSI 是知名的存储控制器制造商，现已被 Broadcom 收购。MegaRAID 系列是其广泛使用的 RAID 控制器。
- Adaptec: Adaptec 提供一系列 RAID 控制器，主要用于高性能存储解决方案。
2. 常见的 RAID 控制器制造商及其命令行工具
| 设备类型 | raid控制器制造商 | 设备型号 | Raid命令 | 使用该raid的服务器厂商 | |
|---|---|---|---|---|---|
| RAID bus controller | Broadcom / LSI（MegaRAID 系列） | MegaRAID Tri-Mode SAS3508 | storcli | DELL，HUAWEI，XFUSION，INSPUR，LENOVO | |
| Serial Attached SCSI controller | Adaptec | Smart Storage PQI | ssacli | HPE，KAYTUS | |
| Non-Volatile memory controller | |||||
| SATA controller |
3. 使用storcli命令创建raid
3.1. 安装storcli
登录https://www.broadcom.com/products/storage/raid-controllers/megaraid-9560-8i下载最新的storcli的解压包，解压后可以执行rpm -ivh /tmp/StorCLIxxx.aarch64.rpm命令安装。
参数说明
/cx = Controller ID
/vx = Virtual Drive Number.
/ex = Enclosure ID
/sx = Slot ID
3.2. 创建raid
在创建之前需要查看当前有几个controller，有几块物理磁盘以及物理磁盘的EID:Slt信息，用于选定哪几快物理磁盘来做指定级别的raid。
# 由第3、4、5块物理磁盘来构建RAID5，分配所有空间的逻辑磁盘命名tmp1。
storcli /c0 add vd type=raid5 size=all names=tmp1 drives=32:2-4 WB
参数说明：
-
storcli是 Broadcom / LSI 的命令行工具，用于管理 MegaRAID 控制器。 -
/c0表示第一个 RAID 控制器（控制器 0）。如果有多个 RAID 控制器，可以用/c1、/c2等来指定其他控制器。 -
add vd表示添加一个虚拟驱动器（Virtual Drive，简称 VD）。VD 是 RAID 阵列的逻辑表示，用户通过它来访问 RAID 上的数据。 -
type=raid5表示要创建的 RAID 类型是 RAID 5。RAID 5 使用分布式奇偶校验，提供了较好的读取性能和数据冗余，至少需要 3 个物理磁盘。 -
size=all表示使用所有可用的磁盘空间来创建这个虚拟驱动器。可以指定特定大小，但此处使用all表示使用磁盘的全部空间。 -
names=tmp1为虚拟驱动器命名为tmp1。这有助于在系统中区分不同的虚拟驱动器。名称是用户定义的，便于识别。 -
drives=32:2-4或**drives=32:2,3,4**指定用于创建 RAID 的物理磁盘。
32是扩展器（enclosure）的编号即EID。如果磁盘是直接连接到控制器，通常编号为0，如果是通过扩展器连接，扩展器的编号为32。2-4指定物理磁盘编号即Slt，表示使用该扩展器上的 2、3、4 号磁盘。此处的 RAID 5 至少需要 3 个磁盘。
-
WB: 表示启用 Write Back 缓存。Write Back 意味着在写操作时，数据首先写入缓存，然后返回成功响应，实际数据写入磁盘可能稍后进行。- Write Back 缓存可以提高写入性能，但需要有备用电源（如电池或超级电容）来保证缓存数据在断电时不会丢失。
- 另一种模式是 Write Through (WT)，数据直接写入磁盘，只有数据成功写入磁盘时才返回成功响应，相对更安全但性能较低。
3.3. 查看raid
3.3.1. 查看有哪些controller
# storcli show
System Overview :
--------------------------------------------------------------------
Ctl Model Ports PDs DGs DNOpt VDs VNOpt BBU sPR DS EHS ASOs Hlth
--------------------------------------------------------------------
0 SAS3508 8 2 1 0 1 0 Opt On 1&2 Y 3 Opt
--------------------------------------------------------------------
Ctl=Controller Index|DGs=Drive groups|VDs=Virtual drives|Fld=Failed
PDs=Physical drives|DNOpt=Array NotOptimal|VNOpt=VD NotOptimal|Opt=Optimal
Msng=Missing|Dgd=Degraded|NdAtn=Need Attention|Unkwn=Unknown
sPR=Scheduled Patrol Read|DS=DimmerSwitch|EHS=Emergency Spare Drive
Y=Yes|N=No|ASOs=Advanced Software Options|BBU=Battery backup unit/CV
Hlth=Health|Safe=Safe-mode boot|CertProv-Certificate Provision mode
Chrg=Charging | MsngCbl=Cable Failure
上述信息可以看出当前有1个controller， 第一个controller有2个物理磁盘。
如果要用json格式的方式查看可以增加J参数。
# storcli show J
{
"Controllers": [
{
"Command Status": {
"CLI Version": "007.2203.0000.0000 May 11, 2022",
"Status Code": 0,
"Status": "Success",
"Description": "None"
},
"Response Data": {
"Number of Controllers": 1,
"System Overview": [
{
"Ctl": 0,
"Model": "SAS3508",
"Ports": 8,
"PDs": 2,
"DGs": 1,
"DNOpt": 0,
"VDs": 1,
"VNOpt": 0,
"BBU": "Opt",
"sPR": "On",
"DS": "1&2",
"EHS": "Y",
"ASOs": 3,
"Hlth": "Opt"
}
]
}
}
]
}
3.3.2. 查看controller信息
# storcli /c0 show
TOPOLOGY :
---------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type State BT Size PDC PI SED DS3 FSpace TR
---------------------------------------------------------------------------
0 - - - - RAID1 Optl N 1.089 TB dflt N N dflt N N
0 0 - - - RAID1 Optl N 1.089 TB dflt N N dflt N N
0 0 0 134:0 1 DRIVE Onln N 1.089 TB dflt N N dflt - N
0 0 1 134:1 0 DRIVE Onln N 1.089 TB dflt N N dflt - N
---------------------------------------------------------------------------
DG=Disk Group Index|Arr=Array Index|Row=Row Index|EID=Enclosure Device ID
DID=Device ID|Type=Drive Type|Onln=Online|Rbld=Rebuild|Optl=Optimal|Dgrd=Degraded
Pdgd=Partially degraded|Offln=Offline|BT=Background Task Active
PDC=PD Cache|PI=Protection Info|SED=Self Encrypting Drive|Frgn=Foreign
DS3=Dimmer Switch 3|dflt=Default|Msng=Missing|FSpace=Free Space Present
TR=Transport Ready
Virtual Drives = 1
VD LIST :
-------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
-------------------------------------------------------------
0/0 RAID1 Optl RW No RWBD - ON 1.089 TB
-------------------------------------------------------------
VD=Virtual Drive| DG=Drive Group|Rec=Recovery
Cac=CacheCade|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|dflt=Default|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady
B=Blocked|Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency
Physical Drives = 2
PD LIST :
----------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
----------------------------------------------------------------------------
134:0 1 Onln 0 1.089 TB SAS HDD N N 512B ST1200MM0009 U -
134:1 0 Onln 0 1.089 TB SAS HDD N N 512B ST1200MM0009 U -
----------------------------------------------------------------------------
EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
Med=Media Type|SED=Self Encryptive Drive|PI=Protection Info
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
UBUnsp=UBad Unsupported|Rbld=Rebuild
Enclosures = 1
Enclosure LIST :
--------------------------------------------------------------------
EID State Slots PD PS Fans TSs Alms SIM Port# ProdID VendorSpecific
--------------------------------------------------------------------
134 OK 8 2 0 0 0 0 1 - SGPIO
--------------------------------------------------------------------
EID=Enclosure Device ID | PD=Physical drive count | PS=Power Supply count
TSs=Temperature sensor count | Alms=Alarm count | SIM=SIM Count | ProdID=Product ID
Cachevault_Info :
------------------------------------
Model State Temp Mode MfgDate
------------------------------------
CVPM02 Optimal 26C - 2018/06/05
------------------------------------
3.3.2. 查看物理机磁盘
# storcli /c0 /eall /sall show
Drive Information :
----------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
----------------------------------------------------------------------------
134:0 1 Onln 0 1.089 TB SAS HDD N N 512B ST1200MM0009 U -
134:1 0 Onln 0 1.089 TB SAS HDD N N 512B ST1200MM0009 U -
----------------------------------------------------------------------------
EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
Med=Media Type|SED=Self Encryptive Drive|PI=Protection Info
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
UBUnsp=UBad Unsupported|Rbld=Rebuild
3.3.2. 查看虚拟磁盘
# storcli /c0 /v0 show
Virtual Drives :
-------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
-------------------------------------------------------------
0/0 RAID1 Optl RW No RWBD - ON 1.089 TB
-------------------------------------------------------------
VD=Virtual Drive| DG=Drive Group|Rec=Recovery
Cac=CacheCade|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|dflt=Default|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady
B=Blocked|Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency
可以看到虚拟磁盘做的是RAID1的配置。
3.4. 删除raid
删除 RAID 阵列
-
/c0表示控制器 0。 -
/v0表示虚拟驱动器 0。
storcli /c0 /v0 delete force
删除所有虚拟驱动器
storcli /c0/vall delete preservedCache
删除 外部阵列（foreign configurations）
storcli /c0/fall delete
/fall：fall 表示 所有的外部阵列（foreign configurations）。外部阵列通常是指在不同的 RAID 控制器或硬盘被移动到当前系统中后，RAID 控制器检测到的现有 RAID 配置，但这些配置尚未被本地控制器认可为有效的 RAID 配置。
4. 使用ssacli命令创建raid
Todo
3.2.1. 创建raid
3.2.2. 查看raid
3.2.3. 删除raid
5. 总结
本文主要描述如何创建硬件raid，主要包含以下几个步骤
- 通过
lspci -mm |egrep "Broadcom / LSI|Adaptec"命令查询当前机器使用的是哪个raid厂商，对应使用哪种raid命令，例如storcli或ssacli等。 - 根据选中的命令清除当前的raid配置。
- 根据选中的命令查询当前有哪些物理磁盘，大小，磁盘编号，控制器有哪些并记录下来。
- 根据用户配置选择做哪种raid（raid级别），以及选择哪些磁盘用来做raid（通过磁盘编号即
EID:Slt）
参考：
Feedback
Was this page helpful?
Glad to hear it! Please tell us how we can improve.
Sorry to hear that. Please tell us how we can improve.