サーバのケーブルが抜けかけたから
先週の話。
日曜日に休んでたら、電話が来た。
仕事場から。
休日作業でサーバを停止して起動したところ立ち上がらない。
三台あるサーバの内二台は立ち上がらうが、最後の一台が起動しない。
良く訊くとサーバに乗ってるソフトウエアが立ち上がらず、四苦八苦しているようだ。
二台で動くが、本来は三台で動く。
どうしてかという問い合わせ。
まずログを見るように指示しました。
確かに起動できないというエラーが出ています。
朝までに運用開始しないといけない。
プロジェクトとして二台で運用することに決まりました。
元々二台でも性能を維持できる設計なのでこれでいくことに。
がんばれー！サーバー。
原因が分からないため、とりあえず月曜は朝二時間早く出勤。
うむ、安定稼働している。
でも三台目を組み込むのが今週のミッション。
色々調べると、pingが一台目と二台目から三台めに届かない。
逆に三台めから一台目、二台目に届かない。
でもたまに通信できたりする。。。
クラスタは相互に通信できないと起動できない。
そこで、データセンターのサーバのケーブルを見てもらいました。
なんと、抜け掛けてた。。。
中途半端に抜け掛けてたので通信できたり出来なかったりしてた。
しかも二本で冗長化してたのに、一思いに抜けたら二本目が有効になってたけど、抜けかけの中途半端だから切り替わらなかった。
なんでも日曜日、サーバ停止中にディスクのメンテナンスしててその時、ケーブルに触れたかもしれない、だとさ。
勘弁。。。
