까나리의 심술보 : Oracle RAC 와 HeartBeat ...

Oracle RAC 와 HeartBeat ...

오늘, 어제 오라클 DB 가 갑자기 오전 9시 30분에 죽었다는 소리를 전해들었다. 그것 때문에 오라클 엔지니어가 왔다갔는데, ServiceGuard 구성되어있는 수퍼돔 시스템에서 heartbeat 가 타임아웃 났다는 소리다. 바로 syslog.log 와 event.log 파일을 뒤져봤으나 그 시간대에 link down 이나 link up 이 일어나지 않았었다. 물론 heart beat 간에는 CAT.6 cross cable 로 연결되어있다.

< 우선 오라클 트레이스 로그 >

*** 2008-11-26 09:31:28.414
I'm the master node
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
DIAG attached to DLM
*** 2008-11-26 09:31:42.137
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
*** 2008-11-26 09:31:53.967
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
*** 2008-11-26 09:32:06.387
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
A rcfg proposal from node 1 is received
*** 2008-11-26 09:32:10.538
Reconfiguration completes [incarn=3]

이러니까 오라클 RAC 권장사항은, Heartbeat 전용 Switch 를 두고 NIC 도 bonding 으로 2장을 묶어서 쓰면 이런 문제가 없어진다고 한다. 현재 NIC 3장을 사용하고 있고 lan0와 lan1 은 묶어서 사용하고, lan2 는 heart beat 용으로 사용하고 있다. 다시한번 이런 문제가 발생하면 그 때 NIC 2장, 전용 Switch 를 구입하는걸로 얘기를 하자고 했는데, 어째서 시스템에서 아무런 메시지가 발생하지 않았는데 저런 조치를 취해야 하는지 의문이다. 누구 잘못일까???