IBM宕机处理全过程

背景描述：P650双机，磁盘阵列7133，4CPU 4G内存，下午一台机器突然宕机了，重启后进入OK状态，然后再按开关，LED显示了错误码，4B2A25F4U0.1-P1-C1，反复试了几次结果都一样。

初步分析：经过咨询IBM人员，错误代码的意思就是，两路CPU故障，有可能是CPU的问题，有可能是CPU卡的问题。初步思路：就是将故障的CPU隔离。

用串口登录到维护状态：

Service Processor Firmware
Version: 3K030814
Copyright 2001, IBM Corporation
1033F4A
________________________________
MAIN MENU

1. Service Processor Setup Menu
2. System Power Control Menu
3. System Information Menu
4. Language Selection Menu
5. Call-In/Call-Out Setup Menu
6. Set System Name
99. Exit from Menus

选择3进入系统信息，再选择7，就是对processor的控制，将1和2设置为 manaual deconfig 状态，就是将这两个CPU隔离了。然后重启系统，但是故障依旧。以为是CPU隔离错了，就将3和4号配置成 manaual deconfig，1和2号回复为 manaul config，从启后故障依旧。

第二天早上来看，第二台机器也宕掉了，错误和第一台一摸一样。

这时在IBM工程师的远程支持下，在维护模式下，将错误日志发给了他，
2. 05/04/2004 14:01:47 System Processor Failure
Error code: 4B2A25F4

Priority FRU Location Code
-------- ------- ---------------
High 00P4050 U0.1-P1-C1




SRC
--------------------------------------------------------------
word11: 4B2A25F4 word12: 02100011 word13: A2101103
word14: 00000000 word15: 00000000 word16: 00000020
word17: F3820004 word18: 0020FFFF word19: FFFFFFFF

B438 800325F40000000000000000

IBM首先怀疑是电源问题，至于为什么不知。
查看后发现确实是有点问题，一个机柜中有两个插排，所有的电源都插在了一个插排上，另一个没有用？（为什么是这样也不得而知了，谁知道这个工程是怎么做得）。关机调整后，重新开机，但是错误依然。


最后INM工程师提示，将启动方式改为fast boot，以前为slow boot，再次启动，居然正常了。

之后用snap收集了相关信息发给IBM，具体结果还不得而知。IBM初步给的建议就是微码升级！

http://techsupport.services.ibm.com/server/mdownload/download.html