Oracle RAC 와 HeartBeat ...
오늘, 어제 오라클 DB 가 갑자기 오전 9시 30분에 죽었다는 소리를 전해들었다. 그것 때문에 오라클 엔지니어가 왔다갔는데, ServiceGuard 구성되어있는 수퍼돔 시스템에서 heartbeat 가 타임아웃 났다는 소리다. 바로 syslog.log 와 event.log 파일을 뒤져봤으나 그 시간대에 link down 이나 link up 이 일어나지 않았었다. 물론 heart beat 간에는 CAT.6 cross cable 로 연결되어있다.

< 우선 오라클 트레이스 로그 >
*** 2008-11-26 09:31:28.414
I'm the master node
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
DIAG attached to DLM
*** 2008-11-26 09:31:42.137
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
*** 2008-11-26 09:31:53.967
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
kjzcpchk: open connection to node 1 failed for 3 retries
kjzgmapbcast:error encounter when broadcasting
*** 2008-11-26 09:32:06.387
Timeout when connecting to node 1 [status=5]
Timeout when connecting to node 1 [status=5]
A rcfg proposal from node 1 is received
*** 2008-11-26 09:32:10.538
Reconfiguration completes [incarn=3]

이러니까 오라클 RAC 권장사항은, Heartbeat 전용 Switch 를 두고 NIC 도 bonding 으로 2장을 묶어서 쓰면 이런 문제가 없어진다고 한다. 현재 NIC 3장을 사용하고 있고 lan0와 lan1 은 묶어서 사용하고, lan2 는 heart beat 용으로 사용하고 있다. 다시한번 이런 문제가 발생하면 그 때 NIC 2장, 전용 Switch 를 구입하는걸로 얘기를 하자고 했는데, 어째서 시스템에서 아무런 메시지가 발생하지 않았는데 저런 조치를 취해야 하는지 의문이다. 누구 잘못일까???
by 까나리 | 2008/11/27 15:58 | 시스템 | 트랙백 | 덧글(2)
트랙백 주소 : http://kkanari.egloos.com/tb/3994819
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Commented by 이지스 at 2008/11/30 23:03
간혹이지만, bonding에서도 둘다 죽어버리는 문제도 있다고 하더군여.. ㅠㅠ;
Commented by 까나리 at 2008/12/01 00:03
본딩이나 NIC 1개나 그놈이 그놈 ㅋㅋ 이죠

:         :

:

비공개 덧글

◀ 이전 페이지 다음 페이지 ▶