NTCOM
Giải pháp ảo hoá máy chủ - Trung tâm dữ liệu

Giám sát, cập nhật, vá lỗi cụm ảo hoá không làm gián đoạn

Tác giả

Nguyen Huu Cuong

Ngày đăng

Giám sát, cập nhật, vá lỗi cụm ảo hoá không làm gián đoạn - NTCOM

Để cập nhật bản vá hệ điều hành, nâng cấp BIOS hay firmware ổ cứng cho cụm máy chủ ảo hoá mà không làm gián đoạn bất kỳ dịch vụ nào của doanh nghiệp, nguyên tắc cốt lõi là bảo trì cuốn chiếu từng máy chủ vật lý (Rolling Update): đưa Node 1 vào chế độ tạm dừng, di chuyển nóng (Live Migration) toàn bộ máy ảo sang Node 2 và Node 3 đang khoẻ mạnh, tiến hành cài đặt bản vá và khởi động lại Node 1, sau đó kiểm tra kết nối lưu trữ ổn định rồi mới trả tải và lặp lại tuần tự cho các node kế tiếp. Song song với quy trình cập nhật ở tầng phần mềm, hệ thống bắt buộc phải tách biệt kênh giám sát phần cứng độc lập ngoài băng tần (Out-of-Band qua cổng iDRAC9) với kênh giám sát cụm ảo hoá để phát hiện sớm lỗi RAM ECC, ổ khởi động BOSS hay nguồn dự phòng trước khi chúng gây sập node bất ngờ.

Hiểu nhanh bằng hình

Hình giải thích 3 bước giám sát qua iDRAC9, rút rỗng máy ảo bằng Live Migration và cập nhật cuốn chiếu CAU không làm gián đoạn dịch vụ

Vì sao cụm ảo hoá sẵn sàng cao (HA) vẫn bị sập khi cập nhật bản vá?

Nhiều doanh nghiệp đầu tư cụm 3 máy chủ vật lý rất bài bản cùng tủ lưu trữ SAN hai bộ điều khiển, nhưng đến kỳ bảo trì hàng quý thì phòng IT vẫn phải xin thông báo cắt hệ thống ERP, kế toán và phần mềm quản lý sản xuất từ tối thứ bảy đến trưa chủ nhật. Nguy hiểm hơn, anh em kỹ thuật NTCOM từng đi ứng cứu không ít ca sự cố mà nguyên nhân xuất phát từ chính thao tác cập nhật tự động: máy chủ vật lý tự tải bản vá Windows Update rồi tự khởi động lại lúc 2 giờ sáng khi chưa rút máy ảo sang node khác, khiến hàng loạt máy ảo cơ sở dữ liệu bị tắt ngang và rơi vào trạng thái lỗi tệp đĩa.

Khi mổ xẻ các sự cố gián đoạn trong lúc bảo trì cụm ảo hoá, chúng tôi nhận thấy 4 điểm nghẽn kỹ thuật hay bị bỏ sót nhất tại hiện trường:

  • Để chế độ tự động khởi động lại (Auto-Restart) của hệ điều hành Host: Nếu để từng máy chủ vật lý tự cài bản vá và tự quyết định thời điểm reboot theo lịch mặc định của Windows Update mà không qua bộ điều phối cụm, hai máy chủ có thể khởi động lại cùng một thời điểm làm mất Quorum và đánh sập toàn bộ cụm.
  • Cụm máy chủ chạy quá ngưỡng dung lượng dự trữ N+1: Trên cụm 3 node, nếu bình thường cả 3 máy chủ đều đã dùng tới 80% dung lượng RAM, thì khi quản trị viên muốn rút rỗng 1 node để bảo trì, 2 node còn lại không còn đủ bộ nhớ vật lý trống để nhận thêm máy ảo chuyển sang.
  • Máy ảo bị dính tài nguyên cục bộ trên từng Host: Chỉ cần kỹ thuật viên cài đặt xong hệ điều hành cho máy ảo mà quên tháo tệp ảnh đĩa .iso đang nằm ở ổ C của Node 1, hoặc gắn trực tiếp cổng USB vật lý vào máy ảo, lệnh di chuyển nóng Live Migration sẽ báo lỗi ngay lập tức.
  • Không đấu nối mạng cho cổng quản trị phần cứng Out-of-Band (iDRAC): Nhiều tủ rack lắp máy chủ Dell PowerEdge R760xs hay Dell PowerEdge R760 nhưng cổng mạng Dedicated iDRAC Ethernet phía sau lại bỏ trống. Đến khi một thanh RAM báo lỗi sửa sai (Correctable ECC Error) hoặc 1 ổ M.2 trong thẻ khởi động BOSS-N1 bị hỏng, quản trị viên ngồi ở văn phòng hoàn toàn mù thông tin cho tới khi chiếc ổ thứ hai hỏng nốt.
Sơ đồ quy trình cập nhật cuốn chiếu 6 bước Cluster-Aware Updating và kiến trúc giám sát đa tầng iDRAC9 trên cụm ảo hoá

Thiết kế giám sát 2 tầng: bắt bệnh phần cứng trước khi máy ảo bị ảnh hưởng

Một cụm ảo hoá vận hành bền bỉ không đợi đến lúc máy chủ tắt nguồn mới kích hoạt HA, mà phải phát hiện được linh kiện suy giảm chất lượng từ nhiều ngày trước. Trong các dự án triển khai cho nhà máy và ngân hàng, chúng tôi luôn tách hệ thống giám sát thành 2 tầng độc lập chạy trên 2 đường mạng khác nhau:

1. Tầng phần cứng ngoài băng tần (Out-of-Band) qua iDRAC9 và OpenManage

Trên các dòng máy chủ thế hệ mới như Dell PowerEdge R760, Dell PowerEdge R660, Dell PowerEdge R760xs và Dell PowerEdge R660xs, bo mạch chủ tích hợp sẵn bộ điều khiển quản trị từ xa iDRAC9 có vi xử lý, bộ nhớ và cổng mạng RJ-45 chuyên dụng (Dedicated iDRAC Ethernet port) hoàn toàn tách biệt với hệ điều hành Windows Server hay VMware ESXi.

  • Hoạt động độc lập ngay cả khi hệ điều hành treo: Cổng mạng iDRAC9 được đấu vào một switch quản trị riêng (VLAN OOB Management). Dù hệ điều hành Hypervisor bị màn hình xanh hay máy chủ đang tắt nguồn (nhưng vẫn cắm điện AC vào bộ nguồn PSU), kỹ sư vẫn truy cập được giao diện console ảo HTML5 từ xa để xem màn hình khởi động BIOS, gắn file ISO cài đặt qua mạng và bật tắt nguồn vật lý mà không cần bước chân vào phòng máy.
  • Cảnh báo tức thời qua SNMP Trap, Redfish API và Email: Bộ điều khiển iDRAC9 liên tục đọc cảm biến nhiệt độ từng CPU Intel Xeon Scalable, tốc độ các cụm quạt cắm nóng (Hot-plug fans), điện áp 2 bộ nguồn dự phòng (Hot-swap redundant PSU), trạng thái 2 ổ M.2 NVMe trên thẻ khởi động BOSS-N1 HWRAID 1 và bộ đếm lỗi ECC trên từng khe RAM DDR5. Khi một nguồn bị tuột dây điện hoặc một ổ đĩa báo lỗi dự đoán (Predictive Failure), iDRAC9 lập tức bắn bản tin SNMP Trap hoặc giao thức chuẩn iDRAC RESTful API with Redfish về phần mềm Dell OpenManage Enterprise (hoặc Zabbix, PRTG) để gửi cảnh báo về điện thoại quản trị viên.
  • Kết nối ngược lên hệ điều hành qua iDRAC Service Module (iSM): Khi cài thêm gói dịch vụ nhẹ iDRAC Service Module trên hệ điều hành Host, iDRAC9 và Windows Server có thể trao đổi nhật ký sự kiện hai chiều, cho phép quản trị viên theo dõi sức khoẻ phần cứng ngay trên giao diện Windows Admin Center hoặc VMware vCenter thông qua các gói tích hợp OpenManage.

2. Tầng cụm ảo hoá và lưu trữ (In-Band): theo dõi ngưỡng N+1, độ trễ CSV và MPIO

Song song với giám sát linh kiện vật lý, tầng phần mềm ảo hoá và lưu trữ SAN cần được giám sát liên tục theo 4 chỉ số vận hành thực tế:

  • Ngưỡng tải cụm dự phòng N+1: Trên cụm 3 máy chủ vật lý, tổng mức sử dụng RAM và CPU trung bình của mỗi node cần được đặt ngưỡng cảnh báo vàng ở mức 60% đến 65%. Nếu vượt quá 66%, khi 1 node dừng để vá lỗi hoặc hỏng đột xuất, tổng tải của 3 node dồn về 2 node sẽ vượt 100% dung lượng vật lý.
  • Trạng thái đa đường lưu trữ MPIO (Multipath I/O): Mỗi máy chủ Host kết nối xuống tủ đĩa SAN Dell PowerVault ME5224 hoặc Dell PowerVault ME5212 qua tối thiểu 2 đường cáp quang FC 32Gb hoặc iSCSI 25Gb/10Gb đi qua 2 switch độc lập. Hệ thống giám sát phải cảnh báo ngay khi số đường dẫn (Active Paths) của bất kỳ ổ đĩa dùng chung nào tụt từ 2 hoặc 4 đường xuống chỉ còn 1 đường đơn độc, bởi nếu để mất đường dự phòng mà tiến hành bảo trì switch lưu trữ thì toàn bộ máy ảo sẽ mất ổ đĩa.
  • Độ trễ đọc ghi và dung lượng trống trên Cluster Shared Volumes (CSV): Theo dõi độ trễ đĩa (Disk Latency khuyến nghị dưới 5 ms cho SSD SAS/NVMe và dưới 15 ms cho HDD NL-SAS), đồng thời đặt cảnh báo sớm khi dung lượng trống trên mỗi phân vùng CSV giảm xuống dưới 15% đến 20% nhằm đảm bảo không gian cho tệp Snapshot sao lưu.
  • Trạng thái chuyển hướng I/O (CSV Redirected Mode): Trên Windows Server Failover Cluster, nếu một node bị đứt kết nối trực tiếp xuống tủ SAN, nó sẽ tự động chuyển lưu lượng đọc ghi ổ đĩa đi vòng qua mạng LAN sang node bên cạnh (Redirected Access). Hệ thống vẫn chạy nhưng băng thông mạng sẽ tăng vọt; cần bắt sự kiện này để xử lý dứt điểm trước khi chạy bất kỳ đợt cập nhật nào.

Hạng mục giám sát

Tầng Phần cứng Out-of-Band (OOB)

Tầng Cụm Ảo hoá & Hệ điều hành (In-Band)

Tầng Lưu trữ SAN & Mạng Lưu trữ

Công cụ và giao thức chuẩn

Dell iDRAC9, Redfish RESTful API, SNMP, OpenManage Enterprise

Failover Cluster Manager, Windows Admin Center, Performance Monitor

PowerVault Manager, MPIO DSM, SNMP Trap, Syslog

Đường mạng truyền tải

Cổng Dedicated iDRAC Ethernet (VLAN quản trị độc lập)

Mạng quản trị Host (Management VLAN) có kiểm soát tường lửa

Mạng quản trị Controller A/B và đường cáp dữ liệu iSCSI/FC

Đối tượng theo dõi chính

Nhiệt độ CPU, lỗi ECC RAM DDR5, thẻ BOSS-N1, nguồn kép PSU, quạt

Trạng thái Node, phiếu Quorum/Witness, mức tải N+1, trạng thái VM

2 bộ điều khiển Dual-Active, pin bảo vệ Cache, ổ đĩa RAID/ADAPT

Dấu hiệu cảnh báo sớm cần xử lý

1 nguồn mất điện AC, 1 ổ M.2 BOSS lỗi, đếm lỗi Correctable ECC tăng

RAM mỗi node vượt 65%, CSV chuyển sang chế độ Redirected Mode

Mất 1 đường MPIO, độ trễ ghi vượt ngưỡng, ổ đĩa báo Predictive Failure

Khả năng hoạt động khi OS treo

Hoạt động 100% độc lập (xem màn hình, bật tắt nguồn, nạp firmware)

Phụ thuộc vào dịch vụ hệ điều hành trên các node còn sống

Hoạt động độc lập trên 2 bộ điều khiển phần cứng của tủ đĩa SAN

Quy trình cập nhật và vá lỗi cuốn chiếu (Rolling Update) không dừng dịch vụ

Khi toàn bộ các chỉ số giám sát đều xanh, việc cập nhật bản vá bảo mật hệ điều hành, trình điều khiển (Driver) và vi mã (Firmware) được thực hiện theo phương pháp cuốn chiếu từng tầng. Nguyên tắc bất di bất dịch là: tại bất kỳ thời điểm nào cũng chỉ được phép đưa 1 thành phần dự phòng vào chế độ bảo trì.

1. Tự động hoá vá lỗi hệ điều hành bằng Cluster-Aware Updating (CAU)

Theo tài liệu kỹ thuật chính thức của Microsoft về Cluster-Aware Updating (CAU) trên Windows Server (áp dụng cho Windows Server 2016, 2019, 2022, 2025 và Azure Local), CAU là tính năng tự động điều phối toàn bộ quá trình cập nhật phần mềm trên cụm Failover Cluster mà không làm mất tính sẵn sàng của các máy ảo Hyper-V. Trong một lượt chạy (Updating Run), bộ điều phối CAU thực hiện tuần tự 6 bước khép kín cho từng node:

  1. Đưa máy chủ vào chế độ bảo trì (Node Maintenance Mode): CAU phát lệnh tạm dừng hoạt động của Node 1 (tương đương Suspend-ClusterNode), ngăn không cho máy ảo mới khởi tạo trên node này.
  2. Di chuyển nóng toàn bộ vai trò ra khỏi node (Move Clustered Roles): Toàn bộ máy ảo đang chạy trên Node 1 được tự động Live Migration qua mạng tốc độ cao 10GbE/25GbE sang Node 2 và Node 3. Người dùng đang thao tác trên phần mềm ERP hay kế toán hoàn toàn không bị đứt phiên làm việc.
  3. Cài đặt bản vá và trình điều khiển (Install Updates): Khi Node 1 đã rỗng 0 máy ảo, CAU sử dụng trình cắm mặc định (Microsoft.WindowsUpdatePlugin kết nối WSUS/Windows Update hoặc Microsoft.HotfixPlugin cho các bản vá và driver phần cứng) để cài đặt bản cập nhật.
  4. Khởi động lại máy chủ (Restart if Necessary): Nếu bản vá yêu cầu reboot, Node 1 tự khởi động lại.
  5. Đưa máy chủ ra khỏi chế độ bảo trì (Exit Maintenance Mode): Sau khi Node 1 khởi động xong, dịch vụ Cluster hoạt động ổn định và kết nối lại đầy đủ các phân vùng lưu trữ CSV, CAU kích hoạt lại Node 1 (Resume-ClusterNode) và chuyển trả các máy ảo về vị trí cũ theo chính sách Failback đã cấu hình.
  6. Chuyển sang node kế tiếp (Move to Next Node): Quá trình trên tự động lặp lại cho Node 2, rồi đến Node 3 cho tới khi toàn bộ cụm hoàn tất cập nhật.

2. Cập nhật BIOS, Firmware máy chủ và bật khóa System Lockdown

Đối với bản cập nhật BIOS, firmware bộ điều khiển mạng OCP 3.0 hay card HBA/PERC trên máy chủ Dell PowerEdge R760xs và Dell PowerEdge R760, anh em kỹ thuật thực hiện phối hợp giữa iDRAC9 và chế độ bảo trì cụm:

  • Nạp gói cập nhật ở chế độ chờ (Stage Update): Thông qua giao diện iDRAC9 hoặc phần mềm OpenManage Enterprise Update Manager plugin, gói firmware chính hãng có chữ ký số mật mã của Dell (Cryptographically signed firmware được kiểm chứng bởi chip phần cứng Silicon Root of Trust) được tải sẵn vào bộ nhớ chờ của iDRAC9 kèm tuỳ chọn Apply on Next Reboot (chỉ kích hoạt ở lần khởi động lại kế tiếp).
  • Kết hợp cùng lần reboot của đợt vá lỗi: Khi đến khung giờ bảo trì định kỳ, quản trị viên rút rỗng máy ảo khỏi Node 1 (Drain Roles) rồi mới cho máy chủ khởi động lại để đồng thời áp dụng cả bản vá hệ điều hành lẫn firmware phần cứng chỉ trong một lần reboot duy nhất.
  • Khóa cấu hình bằng System Lockdown sau khi hoàn tất: Trên các máy chủ trang bị giấy phép iDRAC9 Enterprise hoặc Datacenter, sau khi kết thúc kỳ bảo trì, chúng tôi khuyến nghị bật tính năng System Lockdown. Chế độ này khoá chặt toàn bộ thông số cấu hình BIOS, iDRAC và phiên bản firmware hiện hành, ngăn chặn mọi thay đổi vô tình hoặc trái phép từ phía hệ điều hành cho tới kỳ bảo trì tiếp theo.

3. Nâng cấp firmware tủ đĩa SAN và Switch mạng không rớt kết nối

  • Với tủ đĩa lưu trữ trung tâm Dell PowerVault ME5224 / ME5212: Nhờ kiến trúc 2 bộ điều khiển hoạt động song song (Dual-Active Controller, tổng bộ nhớ hệ thống 24 GB gồm 16 GB cache trên hai bộ điều khiển), khi kỹ sư nạp firmware mới trên PowerVault Manager, tủ đĩa sẽ tự động cập nhật và khởi động lại Controller A trước. Trong vài phút Controller A khởi động lại, trình điều khiển MPIO trên các máy chủ Host tự động dồn toàn bộ luồng đọc ghi sang Controller B. Khi Controller A lên lại và đồng bộ xong, hệ thống mới tiếp tục cập nhật Controller B. Toàn bộ phân vùng CSV và máy ảo bên trên không bị gián đoạn một giây nào.
  • Với cặp Switch mạng 10G/25G hoặc Switch SAN: Do hệ thống thiết kế 2 switch vật lý tách rời (không phụ thuộc vào một bộ điều khiển duy nhất), kỹ sư tiến hành kiểm tra bảng đường dẫn MPIO và trạng thái NIC Teaming/SET trên cả 3 máy chủ Host, sau đó mới nâng cấp và khởi động lại Switch 1; chờ Switch 1 hoạt động ổn định và nhận đủ cổng mới làm tiếp Switch 2.

Tầng hạ tầng cần bảo trì

Điều kiện tiên quyết bắt buộc

Thao tác thực hiện chuẩn

Tác động tới máy ảo đang chạy

Hệ điều hành Host (Windows Server / Hyper-V)

Cụm còn đủ dung lượng N+1; không có VM vướng ISO/USB cục bộ

Chạy Cluster-Aware Updating (CAU) hoặc Drain từng node thủ công

0 giây dừng dịch vụ (VM chuyển node bằng Live Migration)

BIOS, iDRAC9 & Firmware NIC/HBA máy chủ

Gói firmware chính hãng có chữ ký số; Node đã Drain về 0 máy ảo

Stage firmware qua iDRAC9/OpenManage rồi Reboot node đang Paused

0 giây dừng dịch vụ (Node khởi động lại khi không chứa VM)

Tủ đĩa SAN (PowerVault ME5224 / ME5212)

2 bộ điều khiển Dual-Active khoẻ mạnh; MPIO trên mọi Host đủ đường Up

Chạy cập nhật firmware tuần tự Controller A rồi đến Controller B

0 giây dừng dịch vụ (MPIO tự động chuyển luồng I/O sang Controller kia)

Switch lưu trữ / Switch mạng ToR (2 chiếc)

Mỗi Host đấu chéo tối thiểu 2 cổng vào 2 Switch độc lập

Bảo trì và khởi động lại từng Switch một, kiểm tra cổng Up rồi mới làm chiếc thứ 2

0 giây dừng dịch vụ (Lưu lượng tự dồn sang đường cáp của Switch còn lại)

Hệ điều hành bên trong từng Máy ảo (Guest OS)

Có bản Snapshot/Backup trước khi vá; ứng dụng hỗ trợ cụm hoặc đặt lịch

Vá lỗi ngoài giờ cao điểm hoặc dùng HA ở tầng ứng dụng (SQL Always On, Web LB)

Chỉ khởi động lại riêng máy ảo đó theo khung giờ vài phút đã hẹn

Kịch bản PowerShell thực tế: kiểm tra sức khoẻ, rút tải và chạy CAU

Trong quy trình bàn giao cụm ảo hoá cho khách hàng, anh em kỹ thuật NTCOM luôn đóng gói sẵn bộ lệnh PowerShell chuẩn theo tài liệu Microsoft Learn để quản trị viên nội bộ chạy kiểm tra trước mỗi đợt bảo trì hàng tháng. Dưới đây là các lệnh thực tế áp dụng trên cụm 3 máy chủ Hyper-V (CLU-HV-PROD gồm HV-NODE01, HV-NODE02, HV-NODE03):

powershell
# 1. Kiem tra suc khoe toan dien cua cac Node, o dia CSV va do san sang cua Cluster-Aware Updating
Get-ClusterNode | Select-Object Name, State, NodeWeight
Get-ClusterSharedVolume | Select-Object Name, State, OwnerNode
Test-CauSetup -ClusterName "CLU-HV-PROD"
# 2. Ra soat danh sach ban va tren tung Node truoc khi chay that (Preview Scan)
Invoke-CauScan -ClusterName "CLU-HV-PROD" -CauPluginName "Microsoft.WindowsUpdatePlugin"
# 3. Chay cap nhat cuon chieu tu dong CAU (Dung ngay neu co bat ky 1 node nao loi, tu dong tra tai VM)
Invoke-CauRun -ClusterName "CLU-HV-PROD" `
-CauPluginName "Microsoft.WindowsUpdatePlugin" `
-MaxFailedNodes 0 `
-RequireAllNodesOnline `
-FailbackMode Immediate `
-EnableFirewallRules `
-Force
# 4. Neu can bao tri phan cung hoac nang BIOS thu cong tren HV-NODE01: Rut sach VM va cho den khi xong
Suspend-ClusterNode -Name "HV-NODE01" -Drain -Wait
Get-VM -ComputerName "HV-NODE01"
# 5. Sau khi nang cap BIOS/Firmware tren HV-NODE01 xong va khoi dong lai: Dua Node vao cum va lay lai VM
Resume-ClusterNode -Name "HV-NODE01" -Failback Immediate
# 6. Xuat bao cao nghiem thu dot cap nhat CAU gan nhat ra tep HTML luu ho so van hanh
Get-CauReport -ClusterName "CLU-HV-PROD" -Last -Detailed | Export-CauReport -Path "C:\CauReports\BaoCao_VaLoi_Thang11.html"

Tham số -MaxFailedNodes 0 và -RequireAllNodesOnline trong lệnh Invoke-CauRun là chốt an toàn cực kỳ quan trọng: nếu trước lúc chạy có bất kỳ node nào đang bất thường, hoặc trong lúc đang cập nhật Node 1 mà phát sinh lỗi không lên lại được, CAU sẽ lập tức dừng quy trình và giữ nguyên Node 2, Node 3 đang chạy máy ảo an toàn chứ không mạo hiểm chuyển sang node tiếp theo.

Case study: Xử lý dứt điểm lỗi sập máy ảo đêm bảo trì tại nhà máy ở Bắc Ninh

Tháng 5 năm 2026, đội ngũ kỹ thuật NTCOM được mời rà soát và chuẩn hoá quy trình vận hành cho một nhà máy sản xuất linh kiện điện tử tại KCN Yên Phong, tỉnh Bắc Ninh (các thông số dưới đây là ví dụ thực tế từ dự án đã làm tròn để minh hoạ).

Hiện trạng và sự cố gặp phải: Nhà máy đang vận hành cụm 3 máy chủ vật lý Dell PowerEdge R760xs (mỗi máy 2 CPU Intel Xeon Scalable 16 lõi, 256 GB RAM DDR5) kết nối xuống tủ đĩa SAN Dell PowerVault ME5224 qua mạng lưu trữ 25GbE, gánh tổng cộng 18 máy ảo gồm hệ thống điều hành sản xuất MES 3 ca, phần mềm ERP, máy chủ kế toán và hệ thống quản lý kho mã vạch. Dù phần cứng rất tốt, phòng IT vừa trải qua một phen hú vía vào rạng sáng thứ tư tuần trước:

  • Khoảng 02h15 sáng, khi dây chuyền ca đêm đang quét mã vạch đóng gói thành phẩm, màn hình phần mềm MES và ERP dưới xưởng bỗng nhiên mất kết nối hoàn toàn trong 25 phút.
  • Khi kỹ sư trực mở nhật ký sự kiện (Event Viewer), nguyên nhân là máy chủ vật lý HV-NODE01 tự động tải bản cập nhật bảo mật định kỳ từ Internet và tự khởi động lại lúc 02h15 theo lịch mặc định của Windows Update. Đáng lẽ các máy ảo trên HV-NODE01 phải tự di chuyển sang HV-NODE02 trước khi tắt máy, nhưng có 2 máy ảo (gồm máy chủ ứng dụng MES và máy chủ in nhãn) đang bị gắn quên tệp đĩa cài đặt SQLServer.iso nằm trên ổ C cục bộ của HV-NODE01 từ lúc cài mới 4 tháng trước. Vướng tệp cục bộ nên 2 máy ảo này không thể Live Migration và bị tắt cưỡng bức khi Host khởi động lại.
  • Chưa dừng lại ở đó, khi anh em kỹ thuật NTCOM xuống kiểm tra trực tiếp tại phòng máy, chúng tôi phát hiện cả 3 cổng mạng Dedicated iDRAC Ethernet phía sau máy chủ đều chưa từng được cắm cáp mạng. Mở giao diện iDRAC9 qua cổng mặt trước (iDRAC Direct), hệ thống báo 1 trong 2 ổ SSD M.2 NVMe trên thẻ khởi động BOSS-N1 của HV-NODE02 đã rơi vào trạng thái lỗi (Degraded) từ 3 tuần trước mà không ai trong phòng IT nhận được cảnh báo.

Cách xử lý của anh em kỹ thuật NTCOM:

  • Khôi phục dự phòng phần cứng và đấu nối giám sát Out-of-Band: Chúng tôi tiến hành bảo hành thay nóng chiếc ổ M.2 NVMe lỗi trên thẻ BOSS-N1 của HV-NODE02 để mảng RAID 1 hệ điều hành Host tự động đồng bộ lại. Tiếp đó, đấu nối đủ 3 cổng Dedicated iDRAC Ethernet của 3 máy chủ R760xs và 2 cổng quản trị của tủ đĩa ME5224 vào VLAN quản trị riêng, triển khai máy ảo Dell OpenManage Enterprise kết nối cảnh báo thẳng qua Telegram và Email của trưởng bộ phận IT, đồng thời kích hoạt tính năng System Lockdown.
  • Gỡ bỏ toàn bộ ràng buộc cục bộ và khóa tự động Reboot: Chạy kịch bản PowerShell rà soát toàn bộ 18 máy ảo, tháo sạch các ổ đĩa DVD ảo đang trỏ vào ổ C của Host và chuyển thư mục chứa tệp ISO cài đặt chung vào bên trong phân vùng lưu trữ dùng chung C:\ClusterStorage\Volume1\ISO_Library. Áp chính sách Group Policy (No auto-restart with logged on users for scheduled automatic updates installations) trên cả 3 Host để cấm tuyệt đối Windows Update tự ý khởi động lại máy chủ ngoài sự điều phối của cụm.
  • Thiết lập quy trình Cluster-Aware Updating (CAU) định kỳ: Cấu hình vai trò CAU kết hợp máy chủ WSUS nội bộ, đặt lịch chạy vào 13h00 chiều chủ nhật tuần thứ 3 hàng tháng.

Kết quả thực tế: Trong đợt bảo trì đầu tiên áp dụng quy trình mới (cập nhật bản vá bảo mật Windows Server cùng nâng cấp firmware bộ điều khiển mạng OCP 25GbE cho cả 3 máy chủ R760xs và nâng cấp firmware cho 2 bộ điều khiển tủ đĩa ME5224), toàn bộ quá trình kéo dài 1 giờ 50 phút diễn ra hoàn toàn tự động. Ở dưới xưởng, công nhân ca chiều vẫn bắn mã vạch xuất kho trên hệ thống MES bình thường; lệnh kiểm tra ping liên tục tới 18 máy ảo trong suốt gần 2 tiếng bảo trì ghi nhận 0 gói tin bị rớt (0% Packet Loss).

Bài học rút ra: Mua phần cứng dự phòng cao cấp mới chỉ giải quyết được một nửa bài toán sẵn sàng cao. Nửa còn lại nằm ở việc cắm dây mạng giám sát cổng quản trị phần cứng độc lập (iDRAC9), tháo sạch các tệp gắn cục bộ trên máy ảo và giao quyền khởi động lại máy chủ cho bộ điều phối cụm CAU.

Cách ghi yêu cầu giám sát và cập nhật không gián đoạn trong hồ sơ mời thầu (HSMT)

Khi lập hồ sơ mời thầu hoặc xây dựng yêu cầu kỹ thuật (RFP) cho gói thầu cụm máy chủ ảo hoá và lưu trữ trung tâm, chủ đầu tư nên đưa rõ các tiêu chí quản trị và bảo trì không dừng dịch vụ vào bảng thông số bắt buộc:

1. Cách ghi yêu cầu kỹ thuật trong HSMT

  • Yêu cầu về trình quản trị phần cứng độc lập (Out-of-Band Management): Máy chủ đề xuất (như Dell PowerEdge R760, Dell PowerEdge R660, Dell PowerEdge R760xs hoặc Dell PowerEdge R660xs) bắt buộc phải có cổng mạng RJ-45 quản trị chuyên dụng phía sau (Dedicated iDRAC Ethernet port) và cổng iDRAC Direct phía trước; hỗ trợ giao thức chuẩn RESTful API with Redfish, điều khiển màn hình ảo từ xa (Virtual Console/Virtual Media), xác thực firmware bằng chữ ký số mật mã (Cryptographically signed firmware), Silicon Root of Trust và tính năng khóa cấu hình hệ thống (System Lockdown với giấy phép iDRAC9 Enterprise hoặc Datacenter).
  • Yêu cầu về ổ đĩa khởi động hệ điều hành Host dự phòng phần cứng: Mỗi máy chủ vật lý phải trang bị bộ điều khiển khởi động chuyên dụng BOSS-N1 lắp 2 ổ SSD M.2 NVMe chạy HWRAID 1 tách biệt khỏi khoang ổ đĩa mặt trước để đảm bảo hỏng 1 ổ khởi động vẫn không làm gián đoạn Hypervisor.
  • Yêu cầu về kiến trúc lưu trữ SAN nâng cấp không dừng dịch vụ: Tủ đĩa lưu trữ dùng chung (như Dell PowerVault ME5224 hoặc Dell PowerVault ME5212) phải trang bị 2 bộ điều khiển Dual-Active Controller thay thế nóng, hỗ trợ nâng cấp firmware tuần tự từng bộ điều khiển (Online Non-Disruptive Controller Firmware Upgrade) thông qua kết nối đa đường MPIO mà không làm gián đoạn truy xuất dữ liệu của cụm máy chủ.
  • Yêu cầu về dịch vụ triển khai cập nhật cuốn chiếu: Phạm vi cung cấp dịch vụ kỹ thuật của nhà thầu phải bao gồm cấu hình hệ thống giám sát tập trung (OpenManage Enterprise / SNMP cảnh báo), thiết lập tính năng cập nhật cuốn chiếu tự động (Cluster-Aware Updating trên Windows Server hoặc Lifecycle Manager trên vSphere) và bàn giao quy trình vận hành chuẩn.

2. Cách điền bảng đáp ứng và kịch bản nghiệm thu (ATP)

  • Dẫn chiếu tài liệu chính hãng: Nhà thầu trích dẫn mục Systems Management và Security trong Spec Sheet chính thức của Dell PowerEdge R760 / R660 / R760xs (chứng minh các tính năng iDRAC9, iDRAC RESTful API with Redfish, OpenManage Enterprise, System Lockdown, BOSS-N1 HWRAID 2 x M.2 NVMe SSDs) và Spec Sheet của Dell PowerVault ME52xx Series.
  • Bài đo nghiệm thu bảo trì không gián đoạn: Trước khi ký biên bản nghiệm thu bàn giao, nhà thầu phải thực hiện trực tiếp bài kiểm thử: mở cửa sổ kiểm tra kết nối liên tục tới các máy ảo ứng dụng, sau đó chạy lệnh rút tải bảo trì Suspend-ClusterNode -Drain hoặc kích hoạt chu trình Invoke-CauRun để khởi động lại lần lượt từng máy chủ vật lý trong cụm; kết quả nghiệm thu đạt khi mọi máy ảo vẫn phản hồi liên tục và báo cáo Get-CauReport ghi nhận trạng thái Succeeded trên toàn bộ các node.

Xem thêm các dòng máy chủ chính hãng tại danh mục Máy chủ NTCOM (gồm Dell PowerEdge R760, Dell PowerEdge R660, Dell PowerEdge R760xs, Dell PowerEdge R660xs), hệ thống lưu trữ tại danh mục SAN, NAS (Dell PowerVault ME5224, Dell PowerVault ME5212). Tham khảo các bài viết chuyên sâu cùng giải pháp: Ảo hoá cho ERP, kế toán, SCADA: lưu ý hiệu năng và bản quyền, Cụm máy chủ sẵn sàng cao (HA): quorum, mạng, diễn tập rút nguồn, Chọn máy chủ cho ảo hoá: CPU, RAM, ổ đĩa và mạng 10/25G, Gom 10 máy chủ vật lý lên cụm ảo hoá 3 node: tài nguyên, bản quyền, Hyper-converged (HCI) và kiến trúc 3 lớp: chọn gì cho doanh nghiệp và chuyên mục Giải pháp ảo hoá máy chủ - Trung tâm dữ liệu NTCOM. Giá: liên hệ báo giá.

Nhận hỗ trợ hồ sơ thầu trong 24 giờ

Gửi cho NTCOM thông tin gói thầu kèm Phạm vi cung cấp (PVCC), datasheet, bảng thông số hoặc bảng điền đáp ứng. NTCOM tra mã sản phẩm, hãng sản xuất và điền đáp ứng kỹ thuật, phản hồi trong vòng 24 giờ. Báo giá ngay sau khi có đầy đủ hồ sơ, tên dự án, tên EU.

Nguồn tham khảo

Tài liệu mang tính tham khảo kỹ thuật; thông số phần cứng và tính năng phần mềm hệ thống có thể thay đổi theo từng phiên bản phát hành của hãng, cần đối chiếu tài liệu chính thức trước khi lập hồ sơ và triển khai.

Bài viết hữu ích?Bình luận0

Bình luận(0)

Chưa có bình luận. Hãy là người đầu tiên chia sẻ ý kiến!

Để lại bình luận

Zalo