Chọn máy chủ cho ảo hoá: CPU, RAM, ổ đĩa và mạng 10/25G

Chọn máy chủ cho ảo hoá không bắt đầu từ con số GHz hay số lõi lớn nhất, mà từ bốn câu hỏi: CPU bao nhiêu lõi là đủ cho tải và cho bản quyền, RAM lắp sao cho đủ kênh nhớ, ổ đĩa và card điều khiển hợp với kiểu lưu trữ nào, và mạng 10G hay 25G. Bài này đi lần lượt từng phần trên máy chủ Dell PowerEdge, qua một bản chào thầu chúng tôi rà lại cho một doanh nghiệp logistics, với số liệu lấy từ tài liệu chính hãng Dell, PLANET và Microsoft.

Hiểu nhanh bằng hình

Bản chào nhìn thì đủ, rà kỹ thì hụt

Một công ty logistics có kho ngoại quan ở Đồng Nai, phòng IT 2 người, định dựng cụm Hyper-V 3 node chạy Storage Spaces Direct (lưu trữ dùng chung dựng từ ổ đĩa trong chính các máy chủ, không mua SAN riêng). Họ gửi chúng tôi bản chào của một nhà cung cấp khác và hỏi một câu rất thật: "Cấu hình này có chạy được không, hay chỉ chạy được lúc nghiệm thu?"

Bản chào là 3 máy PowerEdge R660xs 1U, mỗi máy 1 CPU 16 lõi, 4 thanh RAM 64 GB, card RAID PERC H755 với 4 ổ SSD SATA chạy RAID 5, mạng dùng 2 cổng 1GbE có sẵn trên bo mạch cộng một card 10GbE 2 cổng. Từng dòng đều có trong spec sheet Dell, giấy tờ không sai. Cái sai nằm ở chỗ ghép các dòng đó lại cho một cụm ảo hoá dùng Storage Spaces Direct. Chúng tôi rà theo bốn phần dưới đây.

CPU: đủ lõi cho tải, đừng thừa lõi cho bản quyền

Theo spec sheet, cả R660xs và R760xs nhận tối đa hai CPU Xeon Scalable thế hệ 4 tới 32 lõi hoặc thế hệ 5 tới 28 lõi mỗi CPU. Với cụm cỡ vừa, chúng tôi hiếm khi cần tới mức đó. Tải của công ty này là hệ thống quản lý kho, phần mềm kế toán, máy chủ file, AD và vài máy ảo ứng dụng nhỏ, nên 1 CPU 16 lõi mỗi node là vừa. Cách tính số lõi từ tải đo thật và vì sao 16 lõi là điểm khớp với luật bản quyền Windows Server đã nằm ở bài gom 10 máy chủ vật lý lên cụm ảo hoá 3 node, ở đây không nhắc lại.

Điều bản chào bỏ qua là hệ quả của việc chỉ lắp 1 CPU. Spec sheet Dell ghi rõ số khe PCIe phụ thuộc số CPU:

R660xs 1 CPU chỉ còn 2 khe PCIe. Trừ một khe cho card mạng thứ hai thì còn đúng một khe, không còn đường lùi nếu sau này cần thêm card mạng hay card HBA ngoài. Công ty này còn kế hoạch thêm node thứ tư, thứ năm trong ba năm, mỗi node phải gánh phần ổ đĩa của cụm. Vì vậy chúng tôi đề nghị đổi sang PowerEdge R760xs: cùng CPU, cùng RAM, nhưng 1 CPU vẫn có 4 khe PCIe và khoang ổ rộng hơn nhiều. Nếu phòng máy thật sự chật và cụm dùng SAN riêng, không cần nhiều ổ trong máy, thì PowerEdge R660xs 1U vẫn là lựa chọn hợp lý.

RAM: 4 thanh 64 GB và 8 thanh 32 GB không giống nhau

Đây là lỗi hay gặp nhất trong các bản chào chúng tôi xem. Theo tài liệu lắp đặt và bảo trì R760xs của Dell, máy có 16 khe nhớ chia thành 8 kênh cho mỗi CPU. Máy 1 CPU chỉ dùng được 8 khe A1 tới A8. Dell khuyến nghị lắp 8 thanh giống nhau cho mỗi CPU, mỗi kênh một thanh, để đạt hiệu năng cao nhất, và các kênh phải lắp giống hệt nhau.

Bản chào 4 thanh 64 GB cho 256 GB, nhưng chỉ dùng 4 trong 8 kênh nhớ. Trên máy ảo hoá, nơi hàng chục máy ảo cùng đọc ghi RAM, đó là để không một nửa đường vào bộ nhớ. Đổi sang 8 thanh 32 GB vẫn là 256 GB, đủ cả 8 kênh.

Ba quy tắc khác trong cùng tài liệu ảnh hưởng thẳng tới kế hoạch nâng cấp:

• Không hỗ trợ trộn thanh khác dung lượng. Lắp 8 thanh 32 GB hôm nay thì sau này không chèn thêm thanh 64 GB vào được.
• Thanh khác tốc độ thì cả hệ chạy theo thanh chậm nhất.
• Máy 2 CPU phải lắp CPU thứ hai giống hệt CPU thứ nhất về bố trí RAM.

Với 1 CPU và 8 thanh 32 GB, đường nâng cấp duy nhất là lắp CPU thứ hai kèm thêm 8 thanh 32 GB, lên 512 GB. Chúng tôi ghi rõ điều này vào biên bản tư vấn, kèm lưu ý thêm CPU là thêm lõi, kéo theo phải mua thêm giấy phép lõi Windows Server. Khách chấp nhận vì tải hiện tại mới dùng khoảng 60% RAM. Nếu tải của anh chị đã sát 256 GB thì nên chọn 8 thanh 64 GB ngay từ đầu.

Ổ đĩa và card điều khiển: chọn theo kiểu lưu trữ của cụm

Card PERC H755 chạy RAID 5 là cấu hình đúng cho một máy chủ đứng riêng, nhưng sai với Storage Spaces Direct. Trang yêu cầu phần cứng của Microsoft ghi Storage Spaces Direct nhận ổ SATA, NVMe gắn trực tiếp, ổ SAS hoặc SATA qua card HBA, hoặc card RAID chuyển thẳng ổ vật lý ra ngoài; card RAID không chuyển thẳng được ổ, SAN Fibre Channel, iSCSI, FCoE đều không được hỗ trợ. Trong danh sách điều khiển của R760xs có sẵn HBA355i và HBA465i, nên chúng tôi đổi PERC H755 sang HBA, bỏ RAID 5, để Storage Spaces Direct tự lo phần nhân bản dữ liệu giữa các node.

Ổ khởi động hệ điều hành tách hẳn ra BOSS-N1 hai ổ M.2 NVMe chạy RAID 1 phần cứng, không chiếm khoang ổ phía trước. Như vậy toàn bộ khoang trước dành cho ổ dữ liệu: cụm này bắt đầu với 6 ổ SSD mỗi node, để trống phần còn lại cho lúc thêm dung lượng.

Nếu cụm dùng SAN riêng như case ở bài gom 10 máy chủ thì ngược lại: máy chủ chỉ cần BOSS-N1 cho hệ điều hành, khoang ổ để trống, tiền dồn vào SAN và card mạng lưu trữ. Proxmox VE với Ceph cũng vậy: tài liệu Proxmox khuyên tránh card RAID, để Ceph tự quản lý từng ổ nguyên vẹn; so sánh các nền tảng nằm ở bài chọn nền tảng ảo hoá Hyper-V, VMware hay Proxmox.

Mạng 10G hay 25G: tính cho đường lưu trữ

Microsoft ghi mức tối thiểu cho cụm Storage Spaces Direct 2 đến 3 node là card mạng 10 Gbps trở lên, mỗi node nên có từ hai đường kết nối; với cụm cần hiệu năng cao hoặc từ 4 node trở lên, khuyến nghị card 25 Gbps trở lên có RDMA (iWARP hoặc RoCE). Cụm này sẽ lên 4, 5 node, và mọi lần ghi dữ liệu đều phải nhân bản sang node khác qua mạng, nên chúng tôi chọn 25G cho đường lưu trữ ngay từ đầu. Hai cổng 1GbE trên bo mạch chỉ giữ cho quản trị.

Tài liệu Dell liệt kê card OCP 3.0 cho R760xs có các bản 10GbE 2 cổng, 10GbE 4 cổng, 25GbE 2 cổng và 25GbE 4 cổng. Mỗi node của cụm này có:

• Card OCP 25GbE 2 cổng SFP28 cho lưu trữ và live migration, mỗi cổng về một switch.
• Một card PCIe 10GbE 2 cổng cho mạng máy ảo, cũng chia hai switch.
• Cổng iDRAC riêng vào VLAN quản trị, không dùng chung cổng với máy ảo.
• Hai bộ nguồn dự phòng thay nóng, cắm vào hai PDU từ hai UPS khác nhau.

Phía switch, bản chào cũ định cắm vào switch lõi đang có. Chúng tôi đề nghị hai switch trung tâm dữ liệu riêng cho cụm là PLANET DCS-7342-24X6C. Theo datasheet PLANET, máy có 24 cổng 10G SFP+ và 6 cổng 100G QSFP28; mỗi cổng 100G tách được thành 4 cổng 25G SFP28 bằng cáp chia 1 ra 4. Máy hỗ trợ MLAG để hai switch chạy song song như một, LACP, Priority Flow Control (cần khi dùng RDMA kiểu RoCE), jumbo frame 10K và nguồn kép. Mỗi switch dùng 2 cổng 100G tách ra 8 cổng 25G cho lưu trữ, 24 cổng 10G cho mạng máy ảo và đường lên lõi, còn dư cổng cho node thứ tư, thứ năm. Nơi đã có Catalyst 9300 và chỉ chạy vài node, module C9300-NM-2Y 2 cổng 25G cũng là một cách, nhưng không đủ cổng cho cụm lớn dần. Chọn module quang hoặc cáp DAC cho các cổng này xem bài chọn module quang SFP và 10G SFP+.

Bảng tổng hợp sau khi rà

Cấu hình dưới là của case này, dùng làm ví dụ tham khảo chứ không phải định mức chung.

Kiểm lại khi nhận máy

Máy về kho, trước khi dựng cụm, anh em kỹ thuật chạy vài lệnh PowerShell trên từng node để chắc phần cứng đúng như hồ sơ. Lệnh nào ra lệch là báo nhà cung cấp ngay, đừng để tới lúc nghiệm thu.

# RAM: đủ 8 thanh, cùng dung lượng, cùng tốc độ chạy
Get-CimInstance Win32_PhysicalMemory | Sort-Object DeviceLocator |
  Format-Table DeviceLocator, @{n='GB';e={$_.Capacity/1GB}}, Speed, ConfiguredClockSpeed

# NUMA: xem số node NUMA và RAM mỗi node, máy ảo lớn không nên vượt một node
Get-VMHostNumaNode

# Mạng: cổng 25G lên đúng tốc độ, RDMA đã bật
Get-NetAdapter | Sort-Object Name | Format-Table Name, InterfaceDescription, LinkSpeed, Status
Get-NetAdapterRdma | Format-Table Name, Enabled

# Ổ dữ liệu: phải thấy từng ổ rời (BusType SAS, SATA hoặc NVMe), không phải RAID
Get-PhysicalDisk | Format-Table FriendlyName, BusType, MediaType, CanPool, @{n='GB';e={[int]($_.Size/1GB)}}

# Kiểm tra cụm trước khi tạo, lưu báo cáo vào hồ sơ nghiệm thu
Test-Cluster -Node HV01,HV02,HV03 -Include "Storage Spaces Direct","Inventory","Network","System Configuration"

Ở case này, lệnh Get-PhysicalDisk trên lô máy đầu tiên báo BusType là RAID ở một node: card HBA bị giao nhầm thành PERC. Phát hiện ở kho nên đổi card mất hai ngày, không ảnh hưởng lịch dựng cụm.

Kết quả và bài học

Tổng tiền phần cứng sau khi rà gần như không đổi so với bản chào ban đầu: tiền thêm cho khung 2U và card 25G bù lại bằng việc bỏ card RAID và không mua thêm RAM. Cái khác là cụm chạy được Storage Spaces Direct đúng yêu cầu của Microsoft, và có đường nâng cấp rõ ràng cho RAM, CPU, ổ đĩa, node mới. Bài học của chúng tôi: spec sheet chỉ cho biết máy làm được gì, còn cụm ảo hoá chạy tốt hay không nằm ở chỗ ghép các dòng spec đó lại. Cách bố trí quorum, mạng heartbeat và diễn tập chuyển đổi dự phòng cho cụm là một chủ đề riêng nên bài này không đi sâu.

Ghi yêu cầu máy chủ ảo hoá trong hồ sơ mời thầu

Cách ghi yêu cầu

• RAM ghi theo cả dung lượng và cách lắp: "tối thiểu 256 GB, lắp đủ toàn bộ kênh nhớ của mỗi CPU, các thanh cùng dung lượng", thay vì chỉ ghi "256 GB".
• Ghi kiểu lưu trữ của cụm trước rồi mới ghi card điều khiển: dùng lưu trữ định nghĩa bằng phần mềm thì yêu cầu card HBA hoặc chế độ chuyển thẳng ổ; dùng SAN thì yêu cầu card mạng hoặc HBA kết nối SAN.
• Ghi số khe PCIe còn trống sau khi lắp đủ cấu hình, ứng với số CPU thực lắp.
• Mạng ghi theo vai trò: số cổng 25GbE SFP28 cho lưu trữ, số cổng 10GbE cho máy ảo, cổng quản trị từ xa riêng.
• Ổ khởi động riêng chạy RAID 1, nguồn dự phòng thay nóng.

Cách điền đáp ứng

• Mỗi dòng ghi model, mã linh kiện và trích dòng tương ứng trong spec sheet hoặc tài liệu lắp đặt chính hãng (số khe PCIe theo số CPU, số kênh nhớ, danh sách card điều khiển).
• Đính kèm sơ đồ lắp RAM và sơ đồ đấu nối mạng từng node tới hai switch.
• Cam kết nộp kết quả các lệnh kiểm phần cứng và báo cáo kiểm tra cụm khi nghiệm thu.

Xem thêm máy chủ, switch và module quang cho ảo hoá tại danh mục Giải pháp ảo hoá máy chủ, danh mục Switch, danh mục module quang và các bài cùng chủ đề trong chuyên mục Ảo hoá máy chủ, Trung tâm dữ liệu. Giá: liên hệ báo giá.

Nhận hỗ trợ hồ sơ thầu trong 24 giờ

Gửi cho NTCOM thông tin gói thầu kèm Phạm vi cung cấp (PVCC), datasheet, bảng thông số hoặc bảng điền đáp ứng. NTCOM tra mã sản phẩm, hãng sản xuất và điền đáp ứng kỹ thuật, phản hồi trong vòng 24 giờ. Báo giá ngay sau khi có đầy đủ hồ sơ, tên dự án, tên EU.

• Hotline: 0986 397 886
• Zalo: 0986397886
• Email: nguyen.cuong@ntcomvn.com

Nguồn tham khảo

• Dell Technologies: PowerEdge R760xs Spec Sheet
• Dell Technologies: PowerEdge R660xs Spec Sheet
• Dell Technologies: PowerEdge R760xs Installation and Service Manual (Rev. A03, 06/2024), mục System memory guidelines, NIC port specifications
• PLANET Technology: DCS-7342-24X6C datasheet
• Microsoft Learn: Storage Spaces Direct hardware requirements
• Proxmox VE Administration Guide: Deploy Hyper-Converged Ceph Cluster

Tài liệu mang tính tham khảo kỹ thuật; cấu hình trong case là ví dụ của một dự án, danh sách linh kiện hỗ trợ có thể thay đổi theo từng thời điểm, cần đối chiếu tài liệu chính thức của hãng cho đúng model trước khi lập hồ sơ.