Add a Node to Oracle RAC 11gR2(11.2.0.3) on Oracle Linux 6

Add a Node to Oracle RAC 11gR2(11.2.0.3) on Oracle Linux 6

This guide shows how to add a node to an existing 11gR2(11.2.0.3) Oracle RAC cluster. It is assumed that the node in question is available and is not part of a GNS/Grid Plug and Play cluster. In other words, the database is considered to be "Administrator-Managed". Also, the database software is non-shared and uses role separation where "grid" is the clusterware owner and "oracle" owns the database software. This guide uses a 2-node cluster running Oracle Linux 6.3 (x64). There are two pre-existing nodes "node1" and "node2". We will be adding "node3" to the cluster. This guide does not cover node preparation steps/prerequisites. The assumption is that since there is a pre-existing cluster the user knows how to prepare a node – from a prerequisite perspective – for cluster addition.

From an existing node, run "cluvfy" to ensure that "node3" – the cluster node to be added – is ready from a hardware and operating system perspective.

cluvfy stage -post hwos -n node3

The cluster verify utility – "cluvfy" – is used to determine the integrity of the cluster and whether it is ready for a new node. From an existing node, run "cluvfy" to verify the integrity of the cluster.

cluvfy stage -pre nodeadd -n node3 -fixup -verbose

1. [grid@node1 ~]$ cluvfy stage -pre crsinst -n node1,node2,node3 -fixup -verbose    
2.   
3. Performing pre-checks for cluster services setup   
4.   
5. Checking node reachability...  
6.   
7. Check: Node reachability from node "node1"  
8.   Destination Node                      Reachable?                
9.   ------------------------------------  ------------------------  
10.   node3                                 yes                       
11.   node2                                 yes                       
12.   node1                                 yes                       
13. Result: Node reachability check passed from node "node1"  
14.   
15.   
16. Checking user equivalence...  
17.   
18. Check: User equivalence for user "grid"  
19.   Node Name                             Status                    
20.   ------------------------------------  ------------------------  
21.   node3                                 passed                    
22.   node2                                 passed                    
23.   node1                                 passed                    
24. Result: User equivalence check passed for user "grid"  
25.   
26. Checking node connectivity...  
27.   
28. Checking hosts config file...  
29.   Node Name                             Status                    
30.   ------------------------------------  ------------------------  
31.   node3                                 passed                    
32.   node2                                 passed                    
33.   node1                                 passed                    
34.   
35. Verification of the hosts config file successful  
36.   
37.   
38. Interface information for node "node3"  
39.  Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU     
40.  ------ --------------- --------------- --------------- --------------- ----------------- ------  
41.  eth0   192.168.1.53    192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:B5:7E:7A 1500    
42.  eth1   10.10.10.53     10.10.0.0       0.0.0.0         192.168.1.254   08:00:27:73:27:02 1500    
43.   
44.   
45. Interface information for node "node2"  
46.  Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU     
47.  ------ --------------- --------------- --------------- --------------- ----------------- ------  
48.  eth0   192.168.1.52    192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:B1:3A:93 1500    
49.  eth0   192.168.1.152   192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:B1:3A:93 1500    
50.  eth1   10.10.10.52     10.10.0.0       0.0.0.0         192.168.1.254   08:00:27:4C:3F:43 1500    
51.  eth1   169.254.95.34   169.254.0.0     0.0.0.0         192.168.1.254   08:00:27:4C:3F:43 1500    
52.   
53.   
54. Interface information for node "node1"  
55.  Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU     
56.  ------ --------------- --------------- --------------- --------------- ----------------- ------  
57.  eth0   192.168.1.51    192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:7E:5C:93 1500    
58.  eth0   192.168.1.151   192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:7E:5C:93 1500    
59.  eth0   192.168.1.59    192.168.0.0     0.0.0.0         192.168.1.254   08:00:27:7E:5C:93 1500    
60.  eth1   10.10.10.51     10.10.0.0       0.0.0.0         192.168.1.254   08:00:27:3C:19:3F 1500    
61.  eth1   169.254.72.131  169.254.0.0     0.0.0.0         192.168.1.254   08:00:27:3C:19:3F 1500    
62.   
63.   
64. Check: Node connectivity of subnet "192.168.0.0"  
65.   Source                          Destination                     Connected?        
66.   ------------------------------  ------------------------------  ----------------  
67.   node3[192.168.1.53]             node2[192.168.1.52]             yes               
68.   node3[192.168.1.53]             node2[192.168.1.152]            yes               
69.   node3[192.168.1.53]             node1[192.168.1.51]             yes               
70.   node3[192.168.1.53]             node1[192.168.1.151]            yes               
71.   node3[192.168.1.53]             node1[192.168.1.59]             yes               
72.   node2[192.168.1.52]             node2[192.168.1.152]            yes               
73.   node2[192.168.1.52]             node1[192.168.1.51]             yes               
74.   node2[192.168.1.52]             node1[192.168.1.151]            yes               
75.   node2[192.168.1.52]             node1[192.168.1.59]             yes               
76.   node2[192.168.1.152]            node1[192.168.1.51]             yes               
77.   node2[192.168.1.152]            node1[192.168.1.151]            yes               
78.   node2[192.168.1.152]            node1[192.168.1.59]             yes               
79.   node1[192.168.1.51]             node1[192.168.1.151]            yes               
80.   node1[192.168.1.51]             node1[192.168.1.59]             yes               
81.   node1[192.168.1.151]            node1[192.168.1.59]             yes               
82. Result: Node connectivity passed for subnet "192.168.0.0" with node(s) node3,node2,node1  
83.   
84.   
85. Check: TCP connectivity of subnet "192.168.0.0"  
86.   Source                          Destination                     Connected?        
87.   ------------------------------  ------------------------------  ----------------  
88.   node1:192.168.1.51              node3:192.168.1.53              passed            
89.   node1:192.168.1.51              node2:192.168.1.52              passed            
90.   node1:192.168.1.51              node2:192.168.1.152             passed            
91.   node1:192.168.1.51              node1:192.168.1.151             passed            
92.   node1:192.168.1.51              node1:192.168.1.59              passed            
93. Result: TCP connectivity check passed for subnet "192.168.0.0"  
94.   
95.   
96. Check: Node connectivity of subnet "10.10.0.0"  
97.   Source                          Destination                     Connected?        
98.   ------------------------------  ------------------------------  ----------------  
99.   node3[10.10.10.53]              node2[10.10.10.52]              yes               
100.   node3[10.10.10.53]              node1[10.10.10.51]              yes               
101.   node2[10.10.10.52]              node1[10.10.10.51]              yes               
102. Result: Node connectivity passed for subnet "10.10.0.0" with node(s) node3,node2,node1  
103.   
104.   
105. Check: TCP connectivity of subnet "10.10.0.0"  
106.   Source                          Destination                     Connected?        
107.   ------------------------------  ------------------------------  ----------------  
108.   node1:10.10.10.51               node3:10.10.10.53               passed            
109.   node1:10.10.10.51               node2:10.10.10.52               passed            
110. Result: TCP connectivity check passed for subnet "10.10.0.0"  
111.   
112.   
113. Check: Node connectivity of subnet "169.254.0.0"  
114.   Source                          Destination                     Connected?        
115.   ------------------------------  ------------------------------  ----------------  
116.   node2[169.254.95.34]            node1[169.254.72.131]           yes               
117. Result: Node connectivity passed for subnet "169.254.0.0" with node(s) node2,node1  
118.   
119.   
120. Check: TCP connectivity of subnet "169.254.0.0"  
121.   Source                          Destination                     Connected?        
122.   ------------------------------  ------------------------------  ----------------  
123.   node1:169.254.72.131            node2:169.254.95.34             passed            
124. Result: TCP connectivity check passed for subnet "169.254.0.0"  
125.   
126.   
127. Interfaces found on subnet "192.168.0.0" that are likely candidates for VIP are:  
128. node3 eth0:192.168.1.53  
129. node2 eth0:192.168.1.52 eth0:192.168.1.152  
130. node1 eth0:192.168.1.51 eth0:192.168.1.151 eth0:192.168.1.59  
131.   
132. Interfaces found on subnet "10.10.0.0" that are likely candidates for a private interconnect are:  
133. node3 eth1:10.10.10.53  
134. node2 eth1:10.10.10.52  
135. node1 eth1:10.10.10.51  
136. Checking subnet mask consistency...  
137. Subnet mask consistency check passed for subnet "192.168.0.0".  
138. Subnet mask consistency check passed for subnet "10.10.0.0".  
139. Subnet mask consistency check passed for subnet "169.254.0.0".  
140. Subnet mask consistency check passed.  
141.   
142. Result: Node connectivity check passed  
143.   
144. Checking multicast communication...  
145.   
146. Checking subnet "192.168.0.0" for multicast communication with multicast group "230.0.1.0"...  
147. Check of subnet "192.168.0.0" for multicast communication with multicast group "230.0.1.0" passed.  
148.   
149. Checking subnet "10.10.0.0" for multicast communication with multicast group "230.0.1.0"...  
150. Check of subnet "10.10.0.0" for multicast communication with multicast group "230.0.1.0" passed.  
151.   
152. Checking subnet "169.254.0.0" for multicast communication with multicast group "230.0.1.0"...  
153. Check of subnet "169.254.0.0" for multicast communication with multicast group "230.0.1.0" passed.  
154.   
155. Check of multicast communication passed.  
156.   
157. Checking ASMLib configuration.  
158.   Node Name                             Status                    
159.   ------------------------------------  ------------------------  
160.   node3                                 passed                    
161.   node2                                 passed                    
162.   node1                                 passed                    
163. Result: Check for ASMLib configuration passed.  
164.   
165. Check: Total memory   
166.   Node Name     Available                 Required                  Status      
167.   ------------  ------------------------  ------------------------  ----------  
168.   node3         1.9599GB (2055112.0KB)    1.5GB (1572864.0KB)       passed      
169.   node2         1.9599GB (2055112.0KB)    1.5GB (1572864.0KB)       passed      
170.   node1         1.9599GB (2055112.0KB)    1.5GB (1572864.0KB)       passed      
171. Result: Total memory check passed  
172.   
173. Check: Available memory   
174.   Node Name     Available                 Required                  Status      
175.   ------------  ------------------------  ------------------------  ----------  
176.   node3         1.7953GB (1882508.0KB)    50MB (51200.0KB)          passed      
177.   node2         975.3867MB (998796.0KB)   50MB (51200.0KB)          passed      
178.   node1         940.7617MB (963340.0KB)   50MB (51200.0KB)          passed      
179. Result: Available memory check passed  
180.   
181. Check: Swap space   
182.   Node Name     Available                 Required                  Status      
183.   ------------  ------------------------  ------------------------  ----------  
184.   node3         4GB (4194300.0KB)         2.9399GB (3082668.0KB)    passed      
185.   node2         4GB (4194300.0KB)         2.9399GB (3082668.0KB)    passed      
186.   node1         4GB (4194300.0KB)         2.9399GB (3082668.0KB)    passed      
187. Result: Swap space check passed  
188.   
189. Check: Free disk space for "node3:/u01/app/11.2.0/grid,node3:/tmp"   
190.   Path              Node Name     Mount point   Available     Required      Status        
191.   ----------------  ------------  ------------  ------------  ------------  ------------  
192.   /u01/app/11.2.0/grid  node3         /             71.0596GB     8.5GB         passed        
193.   /tmp              node3         /             71.0596GB     8.5GB         passed        
194. Result: Free disk space check passed for "node3:/u01/app/11.2.0/grid,node3:/tmp"  
195.   
196. Check: Free disk space for "node2:/u01/app/11.2.0/grid,node2:/tmp"   
197.   Path              Node Name     Mount point   Available     Required      Status        
198.   ----------------  ------------  ------------  ------------  ------------  ------------  
199.   /u01/app/11.2.0/grid  node2         /             62.9854GB     8.5GB         passed        
200.   /tmp              node2         /             62.9854GB     8.5GB         passed        
201. Result: Free disk space check passed for "node2:/u01/app/11.2.0/grid,node2:/tmp"  
202.   
203. Check: Free disk space for "node1:/u01/app/11.2.0/grid,node1:/tmp"   
204.   Path              Node Name     Mount point   Available     Required      Status        
205.   ----------------  ------------  ------------  ------------  ------------  ------------  
206.   /u01/app/11.2.0/grid  node1         /             56.2256GB     8.5GB         passed        
207.   /tmp              node1         /             56.2256GB     8.5GB         passed        
208. Result: Free disk space check passed for "node1:/u01/app/11.2.0/grid,node1:/tmp"  
209.   
210. Check: User existence for "grid"   
211.   Node Name     Status                    Comment                   
212.   ------------  ------------------------  ------------------------  
213.   node3         passed                    exists(1100)              
214.   node2         passed                    exists(1100)              
215.   node1         passed                    exists(1100)              
216.   
217. Checking for multiple users with UID value 1100  
218. Result: Check for multiple users with UID value 1100 passed   
219. Result: User existence check passed for "grid"  
220.   
221. Check: Group existence for "oinstall"   
222.   Node Name     Status                    Comment                   
223.   ------------  ------------------------  ------------------------  
224.   node3         passed                    exists                    
225.   node2         passed                    exists                    
226.   node1         passed                    exists                    
227. Result: Group existence check passed for "oinstall"  
228.   
229. Check: Group existence for "dba"   
230.   Node Name     Status                    Comment                   
231.   ------------  ------------------------  ------------------------  
232.   node3         passed                    exists                    
233.   node2         passed                    exists                    
234.   node1         passed                    exists                    
235. Result: Group existence check passed for "dba"  
236.   
237. Check: Membership of user "grid" in group "oinstall" [as Primary]  
238.   Node Name         User Exists   Group Exists  User in Group  Primary       Status        
239.   ----------------  ------------  ------------  ------------  ------------  ------------  
240.   node3             yes           yes           yes           yes           passed        
241.   node2             yes           yes           yes           yes           passed        
242.   node1             yes           yes           yes           yes           passed        
243. Result: Membership check for user "grid" in group "oinstall" [as Primary] passed  
244.   
245. Check: Membership of user "grid" in group "dba"   
246.   Node Name         User Exists   Group Exists  User in Group  Status            
247.   ----------------  ------------  ------------  ------------  ----------------  
248.   node3             yes           yes           yes           passed            
249.   node2             yes           yes           yes           passed            
250.   node1             yes           yes           yes           passed            
251. Result: Membership check for user "grid" in group "dba" passed  
252.   
253. Check: Run level   
254.   Node Name     run level                 Required                  Status      
255.   ------------  ------------------------  ------------------------  ----------  
256.   node3         3                         3,5                       passed      
257.   node2         3                         3,5                       passed      
258.   node1         5                         3,5                       passed      
259. Result: Run level check passed  
260.   
261. Check: Hard limits for "maximum open file descriptors"   
262.   Node Name         Type          Available     Required      Status            
263.   ----------------  ------------  ------------  ------------  ----------------  
264.   node3             hard          65536         65536         passed            
265.   node2             hard          65536         65536         passed            
266.   node1             hard          65536         65536         passed            
267. Result: Hard limits check passed for "maximum open file descriptors"  
268.   
269. Check: Soft limits for "maximum open file descriptors"   
270.   Node Name         Type          Available     Required      Status            
271.   ----------------  ------------  ------------  ------------  ----------------  
272.   node3             soft          1024          1024          passed            
273.   node2             soft          1024          1024          passed            
274.   node1             soft          1024          1024          passed            
275. Result: Soft limits check passed for "maximum open file descriptors"  
276.   
277. Check: Hard limits for "maximum user processes"   
278.   Node Name         Type          Available     Required      Status            
279.   ----------------  ------------  ------------  ------------  ----------------  
280.   node3             hard          16384         16384         passed            
281.   node2             hard          16384         16384         passed            
282.   node1             hard          16384         16384         passed            
283. Result: Hard limits check passed for "maximum user processes"  
284.   
285. Check: Soft limits for "maximum user processes"   
286.   Node Name         Type          Available     Required      Status            
287.   ----------------  ------------  ------------  ------------  ----------------  
288.   node3             soft          2047          2047          passed            
289.   node2             soft          2047          2047          passed            
290.   node1             soft          2047          2047          passed            
291. Result: Soft limits check passed for "maximum user processes"  
292.   
293. Check: System architecture   
294.   Node Name     Available                 Required                  Status      
295.   ------------  ------------------------  ------------------------  ----------  
296.   node3         x86_64                    x86_64                    passed      
297.   node2         x86_64                    x86_64                    passed      
298.   node1         x86_64                    x86_64                    passed      
299. Result: System architecture check passed  
300.   
301. Check: Kernel version   
302.   Node Name     Available                 Required                  Status      
303.   ------------  ------------------------  ------------------------  ----------  
304.   node3         2.6.39-200.24.1.el6uek.x86_64  2.6.32                    passed      
305.   node2         2.6.39-200.24.1.el6uek.x86_64  2.6.32                    passed      
306.   node1         2.6.39-200.24.1.el6uek.x86_64  2.6.32                    passed      
307. Result: Kernel version check passed  
308.   
309. Check: Kernel parameter for "semmsl"   
310.   Node Name         Current       Configured    Required      Status        Comment       
311.   ----------------  ------------  ------------  ------------  ------------  ------------  
312.   node3             250           250           250           passed            
313.   node2             250           250           250           passed            
314.   node1             250           250           250           passed            
315. Result: Kernel parameter check passed for "semmsl"  
316.   
317. Check: Kernel parameter for "semmns"   
318.   Node Name         Current       Configured    Required      Status        Comment       
319.   ----------------  ------------  ------------  ------------  ------------  ------------  
320.   node3             32000         32000         32000         passed            
321.   node2             32000         32000         32000         passed            
322.   node1             32000         32000         32000         passed            
323. Result: Kernel parameter check passed for "semmns"  
324.   
325. Check: Kernel parameter for "semopm"   
326.   Node Name         Current       Configured    Required      Status        Comment       
327.   ----------------  ------------  ------------  ------------  ------------  ------------  
328.   node3             100           100           100           passed            
329.   node2             100           100           100           passed            
330.   node1             100           100           100           passed            
331. Result: Kernel parameter check passed for "semopm"  
332.   
333. Check: Kernel parameter for "semmni"   
334.   Node Name         Current       Configured    Required      Status        Comment       
335.   ----------------  ------------  ------------  ------------  ------------  ------------  
336.   node3             128           128           128           passed            
337.   node2             128           128           128           passed            
338.   node1             128           128           128           passed            
339. Result: Kernel parameter check passed for "semmni"  
340.   
341. Check: Kernel parameter for "shmmax"   
342.   Node Name         Current       Configured    Required      Status        Comment       
343.   ----------------  ------------  ------------  ------------  ------------  ------------  
344.   node3             4398046511104  4398046511104  1052217344    passed            
345.   node2             4398046511104  4398046511104  1052217344    passed            
346.   node1             4398046511104  4398046511104  1052217344    passed            
347. Result: Kernel parameter check passed for "shmmax"  
348.   
349. Check: Kernel parameter for "shmmni"   
350.   Node Name         Current       Configured    Required      Status        Comment       
351.   ----------------  ------------  ------------  ------------  ------------  ------------  
352.   node3             4096          4096          4096          passed            
353.   node2             4096          4096          4096          passed            
354.   node1             4096          4096          4096          passed            
355. Result: Kernel parameter check passed for "shmmni"  
356.   
357. Check: Kernel parameter for "shmall"   
358.   Node Name         Current       Configured    Required      Status        Comment       
359.   ----------------  ------------  ------------  ------------  ------------  ------------  
360.   node3             1073741824    1073741824    2097152       passed            
361.   node2             1073741824    1073741824    2097152       passed            
362.   node1             1073741824    1073741824    2097152       passed            
363. Result: Kernel parameter check passed for "shmall"  
364.   
365. Check: Kernel parameter for "file-max"   
366.   Node Name         Current       Configured    Required      Status        Comment       
367.   ----------------  ------------  ------------  ------------  ------------  ------------  
368.   node3             6815744       6815744       6815744       passed            
369.   node2             6815744       6815744       6815744       passed            
370.   node1             6815744       6815744       6815744       passed            
371. Result: Kernel parameter check passed for "file-max"  
372.   
373. Check: Kernel parameter for "ip_local_port_range"   
374.   Node Name         Current       Configured    Required      Status        Comment       
375.   ----------------  ------------  ------------  ------------  ------------  ------------  
376.   node3             between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  passed            
377.   node2             between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  passed            
378.   node1             between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  passed            
379. Result: Kernel parameter check passed for "ip_local_port_range"  
380.   
381. Check: Kernel parameter for "rmem_default"   
382.   Node Name         Current       Configured    Required      Status        Comment       
383.   ----------------  ------------  ------------  ------------  ------------  ------------  
384.   node3             262144        262144        262144        passed            
385.   node2             262144        262144        262144        passed            
386.   node1             262144        262144        262144        passed            
387. Result: Kernel parameter check passed for "rmem_default"  
388.   
389. Check: Kernel parameter for "rmem_max"   
390.   Node Name         Current       Configured    Required      Status        Comment       
391.   ----------------  ------------  ------------  ------------  ------------  ------------  
392.   node3             4194304       4194304       4194304       passed            
393.   node2             4194304       4194304       4194304       passed            
394.   node1             4194304       4194304       4194304       passed            
395. Result: Kernel parameter check passed for "rmem_max"  
396.   
397. Check: Kernel parameter for "wmem_default"   
398.   Node Name         Current       Configured    Required      Status        Comment       
399.   ----------------  ------------  ------------  ------------  ------------  ------------  
400.   node3             262144        262144        262144        passed            
401.   node2             262144        262144        262144        passed            
402.   node1             262144        262144        262144        passed            
403. Result: Kernel parameter check passed for "wmem_default"  
404.   
405. Check: Kernel parameter for "wmem_max"   
406.   Node Name         Current       Configured    Required      Status        Comment       
407.   ----------------  ------------  ------------  ------------  ------------  ------------  
408.   node3             1048576       1048576       1048576       passed            
409.   node2             1048576       1048576       1048576       passed            
410.   node1             1048576       1048576       1048576       passed            
411. Result: Kernel parameter check passed for "wmem_max"  
412.   
413. Check: Kernel parameter for "aio-max-nr"   
414.   Node Name         Current       Configured    Required      Status        Comment       
415.   ----------------  ------------  ------------  ------------  ------------  ------------  
416.   node3             1048576       1048576       1048576       passed            
417.   node2             1048576       1048576       1048576       passed            
418.   node1             1048576       1048576       1048576       passed            
419. Result: Kernel parameter check passed for "aio-max-nr"  
420.   
421. Check: Package existence for "binutils"   
422.   Node Name     Available                 Required                  Status      
423.   ------------  ------------------------  ------------------------  ----------  
424.   node3         binutils-2.20.51.0.2-5.34.el6  binutils-2.20.51.0.2      passed      
425.   node2         binutils-2.20.51.0.2-5.34.el6  binutils-2.20.51.0.2      passed      
426.   node1         binutils-2.20.51.0.2-5.34.el6  binutils-2.20.51.0.2      passed      
427. Result: Package existence check passed for "binutils"  
428.   
429. Check: Package existence for "compat-libcap1"   
430.   Node Name     Available                 Required                  Status      
431.   ------------  ------------------------  ------------------------  ----------  
432.   node3         compat-libcap1-1.10-1     compat-libcap1-1.10       passed      
433.   node2         compat-libcap1-1.10-1     compat-libcap1-1.10       passed      
434.   node1         compat-libcap1-1.10-1     compat-libcap1-1.10       passed      
435. Result: Package existence check passed for "compat-libcap1"  
436.   
437. Check: Package existence for "compat-libstdc++-33(x86_64)"   
438.   Node Name     Available                 Required                  Status      
439.   ------------  ------------------------  ------------------------  ----------  
440.   node3         compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed      
441.   node2         compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed      
442.   node1         compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed      
443. Result: Package existence check passed for "compat-libstdc++-33(x86_64)"  
444.   
445. Check: Package existence for "libgcc(x86_64)"   
446.   Node Name     Available                 Required                  Status      
447.   ------------  ------------------------  ------------------------  ----------  
448.   node3         libgcc(x86_64)-4.4.6-4.el6  libgcc(x86_64)-4.4.4      passed      
449.   node2         libgcc(x86_64)-4.4.6-4.el6  libgcc(x86_64)-4.4.4      passed      
450.   node1         libgcc(x86_64)-4.4.6-4.el6  libgcc(x86_64)-4.4.4      passed      
451. Result: Package existence check passed for "libgcc(x86_64)"  
452.   
453. Check: Package existence for "libstdc++(x86_64)"   
454.   Node Name     Available                 Required                  Status      
455.   ------------  ------------------------  ------------------------  ----------  
456.   node3         libstdc++(x86_64)-4.4.6-4.el6  libstdc++(x86_64)-4.4.4   passed      
457.   node2         libstdc++(x86_64)-4.4.6-4.el6  libstdc++(x86_64)-4.4.4   passed      
458.   node1         libstdc++(x86_64)-4.4.6-4.el6  libstdc++(x86_64)-4.4.4   passed      
459. Result: Package existence check passed for "libstdc++(x86_64)"  
460.   
461. Check: Package existence for "libstdc++-devel(x86_64)"   
462.   Node Name     Available                 Required                  Status      
463.   ------------  ------------------------  ------------------------  ----------  
464.   node3         libstdc++-devel(x86_64)-4.4.6-4.el6  libstdc++-devel(x86_64)-4.4.4  passed      
465.   node2         libstdc++-devel(x86_64)-4.4.6-4.el6  libstdc++-devel(x86_64)-4.4.4  passed      
466.   node1         libstdc++-devel(x86_64)-4.4.6-4.el6  libstdc++-devel(x86_64)-4.4.4  passed      
467. Result: Package existence check passed for "libstdc++-devel(x86_64)"  
468.   
469. Check: Package existence for "sysstat"   
470.   Node Name     Available                 Required                  Status      
471.   ------------  ------------------------  ------------------------  ----------  
472.   node3         sysstat-9.0.4-20.el6      sysstat-9.0.4             passed      
473.   node2         sysstat-9.0.4-20.el6      sysstat-9.0.4             passed      
474.   node1         sysstat-9.0.4-20.el6      sysstat-9.0.4             passed      
475. Result: Package existence check passed for "sysstat"  
476.   
477. Check: Package existence for "gcc"   
478.   Node Name     Available                 Required                  Status      
479.   ------------  ------------------------  ------------------------  ----------  
480.   node3         gcc-4.4.6-4.el6           gcc-4.4.4                 passed      
481.   node2         gcc-4.4.6-4.el6           gcc-4.4.4                 passed      
482.   node1         gcc-4.4.6-4.el6           gcc-4.4.4                 passed      
483. Result: Package existence check passed for "gcc"  
484.   
485. Check: Package existence for "gcc-c++"   
486.   Node Name     Available                 Required                  Status      
487.   ------------  ------------------------  ------------------------  ----------  
488.   node3         gcc-c++-4.4.6-4.el6       gcc-c++-4.4.4             passed      
489.   node2         gcc-c++-4.4.6-4.el6       gcc-c++-4.4.4             passed      
490.   node1         gcc-c++-4.4.6-4.el6       gcc-c++-4.4.4             passed      
491. Result: Package existence check passed for "gcc-c++"  
492.   
493. Check: Package existence for "ksh"   
494.   Node Name     Available                 Required                  Status      
495.   ------------  ------------------------  ------------------------  ----------  
496.   node3         ksh-20100621-16.el6       ksh-20100621              passed      
497.   node2         ksh-20100621-16.el6       ksh-20100621              passed      
498.   node1         ksh-20100621-16.el6       ksh-20100621              passed      
499. Result: Package existence check passed for "ksh"  
500.   
501. Check: Package existence for "make"   
502.   Node Name     Available                 Required                  Status      
503.   ------------  ------------------------  ------------------------  ----------  
504.   node3         make-3.81-20.el6          make-3.81                 passed      
505.   node2         make-3.81-20.el6          make-3.81                 passed      
506.   node1         make-3.81-20.el6          make-3.81                 passed      
507. Result: Package existence check passed for "make"  
508.   
509. Check: Package existence for "glibc(x86_64)"   
510.   Node Name     Available                 Required                  Status      
511.   ------------  ------------------------  ------------------------  ----------  
512.   node3         glibc(x86_64)-2.12-1.80.el6_3.6  glibc(x86_64)-2.12        passed      
513.   node2         glibc(x86_64)-2.12-1.80.el6_3.6  glibc(x86_64)-2.12        passed      
514.   node1         glibc(x86_64)-2.12-1.80.el6_3.6  glibc(x86_64)-2.12        passed      
515. Result: Package existence check passed for "glibc(x86_64)"  
516.   
517. Check: Package existence for "glibc-devel(x86_64)"   
518.   Node Name     Available                 Required                  Status      
519.   ------------  ------------------------  ------------------------  ----------  
520.   node3         glibc-devel(x86_64)-2.12-1.80.el6_3.6  glibc-devel(x86_64)-2.12  passed      
521.   node2         glibc-devel(x86_64)-2.12-1.80.el6_3.6  glibc-devel(x86_64)-2.12  passed      
522.   node1         glibc-devel(x86_64)-2.12-1.80.el6_3.6  glibc-devel(x86_64)-2.12  passed      
523. Result: Package existence check passed for "glibc-devel(x86_64)"  
524.   
525. Check: Package existence for "libaio(x86_64)"   
526.   Node Name     Available                 Required                  Status      
527.   ------------  ------------------------  ------------------------  ----------  
528.   node3         libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed      
529.   node2         libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed      
530.   node1         libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed      
531. Result: Package existence check passed for "libaio(x86_64)"  
532.   
533. Check: Package existence for "libaio-devel(x86_64)"   
534.   Node Name     Available                 Required                  Status      
535.   ------------  ------------------------  ------------------------  ----------  
536.   node3         libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed      
537.   node2         libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed      
538.   node1         libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed      
539. Result: Package existence check passed for "libaio-devel(x86_64)"  
540.   
541. Checking for multiple users with UID value 0  
542. Result: Check for multiple users with UID value 0 passed   
543.   
544. Check: Current group ID   
545. Result: Current group ID check passed  
546.   
547. Starting check for consistency of primary group of root user  
548.   Node Name                             Status                    
549.   ------------------------------------  ------------------------  
550.   node3                                 passed                    
551.   node2                                 passed                    
552.   node1                                 passed                    
553.   
554. Check for consistency of root user's primary group passed  
555.   
556. Starting Clock synchronization checks using Network Time Protocol(NTP)...  
557.   
558. NTP Configuration file check started...  
559. Network Time Protocol(NTP) configuration file not found on any of the nodes. Oracle Cluster Time Synchronization Service(CTSS) can be used instead of NTP for time synchronization on the cluster nodes  
560. No NTP Daemons or Services were found to be running  
561.   
562. Result: Clock synchronization check using Network Time Protocol(NTP) passed  
563.   
564. Checking Core file name pattern consistency...  
565. Core file name pattern consistency check passed.  
566.   
567. Checking to make sure user "grid" is not in "root" group  
568.   Node Name     Status                    Comment                   
569.   ------------  ------------------------  ------------------------  
570.   node3         passed                    does not exist            
571.   node2         passed                    does not exist            
572.   node1         passed                    does not exist            
573. Result: User "grid" is not part of "root" group. Check passed  
574.   
575. Check default user file creation mask  
576.   Node Name     Available                 Required                  Comment     
577.   ------------  ------------------------  ------------------------  ----------  
578.   node3         0022                      0022                      passed      
579.   node2         0022                      0022                      passed      
580.   node1         0022                      0022                      passed      
581. Result: Default user file creation mask check passed  
582. Checking consistency of file "/etc/resolv.conf" across nodes  
583.   
584. Checking the file "/etc/resolv.conf" to make sure only one of domain and search entries is defined  
585. File "/etc/resolv.conf" does not have both domain and search entries defined  
586. Checking if domain entry in file "/etc/resolv.conf" is consistent across the nodes...  
587. domain entry in file "/etc/resolv.conf" is consistent across nodes  
588. Checking if search entry in file "/etc/resolv.conf" is consistent across the nodes...  
589. search entry in file "/etc/resolv.conf" is consistent across nodes  
590. Checking DNS response time for an unreachable node  
591.   Node Name                             Status                    
592.   ------------------------------------  ------------------------  
593.   node3                                 passed                    
594.   node2                                 passed                    
595.   node1                                 passed                    
596. The DNS response time for an unreachable node is within acceptable limit on all nodes  
597.   
598. File "/etc/resolv.conf" is consistent across nodes  
599.   
600. Check: Time zone consistency   
601. Result: Time zone consistency check passed  
602.   
603. Pre-check for cluster services setup was successful.   




Extend Clusterware
The clusterware software will be extended to the new node.
Run "addNode.sh"
From an existing node, run "addNode.sh" to extend the clusterware to the new node "node3":

1. [grid@node1 ~]$ export IGNORE_PREADDNODE_CHECKS=Y  
2. [grid@node1 ~]$ cd $ORACLE_HOME/oui/bin  
3. [grid@node1 bin]$ ./addNode.sh -silent "CLUSTER_NEW_NODES={node3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={node3-vip}" "CLUSTER_NEW_PRIVATE_NODE_NAMES={node3-priv}"  
4. Starting Oracle Universal Installer...  
5.   
6. Checking swap space: must be greater than 500 MB.   Actual 5667 MB    Passed  
7. Oracle Universal Installer, Version 11.2.0.3.0 Production  
8. Copyright (C) 1999, 2011, Oracle. All rights reserved.  
9.   
10.   
11. Performing tests to see whether nodes node2,node3 are available  
12. ............................................................... 100% Done.  
13.   
14. .  
15. -----------------------------------------------------------------------------  
16. Cluster Node Addition Summary  
17. Global Settings  
18.    Source: /u01/app/11.2.0/grid  
19.    New Nodes  
20. Space Requirements  
21.    New Nodes  
22.       node3  
23.          /: Required 4.31GB : Available 82.72GB  
24. Installed Products  
25.    Product Names  
26.       Oracle Grid Infrastructure 11.2.0.3.0   
27.       Sun JDK 1.5.0.30.03   
28.       Installer SDK Component 11.2.0.3.0   
29.       Oracle One-Off Patch Installer 11.2.0.1.7   
30.       Oracle Universal Installer 11.2.0.3.0   
31.       Oracle USM Deconfiguration 11.2.0.3.0   
32.       Oracle Configuration Manager Deconfiguration 10.3.1.0.0   
33.       Enterprise Manager Common Core Files 10.2.0.4.4   
34.       Oracle DBCA Deconfiguration 11.2.0.3.0   
35.       Oracle RAC Deconfiguration 11.2.0.3.0   
36.       Oracle Quality of Service Management (Server) 11.2.0.3.0   
37.       Installation Plugin Files 11.2.0.3.0   
38.       Universal Storage Manager Files 11.2.0.3.0   
39.       Oracle Text Required Support Files 11.2.0.3.0   
40.       Automatic Storage Management Assistant 11.2.0.3.0   
41.       Oracle Database 11g Multimedia Files 11.2.0.3.0   
42.       Oracle Multimedia Java Advanced Imaging 11.2.0.3.0   
43.       Oracle Globalization Support 11.2.0.3.0   
44.       Oracle Multimedia Locator RDBMS Files 11.2.0.3.0   
45.       Oracle Core Required Support Files 11.2.0.3.0   
46.       Bali Share 1.1.18.0.0   
47.       Oracle Database Deconfiguration 11.2.0.3.0   
48.       Oracle Quality of Service Management (Client) 11.2.0.3.0   
49.       Expat libraries 2.0.1.0.1   
50.       Oracle Containers for Java 11.2.0.3.0   
51.       Perl Modules 5.10.0.0.1   
52.       Secure Socket Layer 11.2.0.3.0   
53.       Oracle JDBC/OCI Instant Client 11.2.0.3.0   
54.       Oracle Multimedia Client Option 11.2.0.3.0   
55.       LDAP Required Support Files 11.2.0.3.0   
56.       Character Set Migration Utility 11.2.0.3.0   
57.       Perl Interpreter 5.10.0.0.2   
58.       PL/SQL Embedded Gateway 11.2.0.3.0   
59.       OLAP SQL Scripts 11.2.0.3.0   
60.       Database SQL Scripts 11.2.0.3.0   
61.       Oracle Extended Windowing Toolkit 3.4.47.0.0   
62.       SSL Required Support Files for InstantClient 11.2.0.3.0   
63.       SQL*Plus Files for Instant Client 11.2.0.3.0   
64.       Oracle Net Required Support Files 11.2.0.3.0   
65.       Oracle Database User Interface 2.2.13.0.0   
66.       RDBMS Required Support Files for Instant Client 11.2.0.3.0   
67.       RDBMS Required Support Files Runtime 11.2.0.3.0   
68.       XML Parser for Java 11.2.0.3.0   
69.       Oracle Security Developer Tools 11.2.0.3.0   
70.       Oracle Wallet Manager 11.2.0.3.0   
71.       Enterprise Manager plugin Common Files 11.2.0.3.0   
72.       Platform Required Support Files 11.2.0.3.0   
73.       Oracle JFC Extended Windowing Toolkit 4.2.36.0.0   
74.       RDBMS Required Support Files 11.2.0.3.0   
75.       Oracle Ice Browser 5.2.3.6.0   
76.       Oracle Help For Java 4.2.9.0.0   
77.       Enterprise Manager Common Files 10.2.0.4.3   
78.       Deinstallation Tool 11.2.0.3.0   
79.       Oracle Java Client 11.2.0.3.0   
80.       Cluster Verification Utility Files 11.2.0.3.0   
81.       Oracle Notification Service (eONS) 11.2.0.3.0   
82.       Oracle LDAP administration 11.2.0.3.0   
83.       Cluster Verification Utility Common Files 11.2.0.3.0   
84.       Oracle Clusterware RDBMS Files 11.2.0.3.0   
85.       Oracle Locale Builder 11.2.0.3.0   
86.       Oracle Globalization Support 11.2.0.3.0   
87.       Buildtools Common Files 11.2.0.3.0   
88.       Oracle RAC Required Support Files-HAS 11.2.0.3.0   
89.       SQL*Plus Required Support Files 11.2.0.3.0   
90.       XDK Required Support Files 11.2.0.3.0   
91.       Agent Required Support Files 10.2.0.4.3   
92.       Parser Generator Required Support Files 11.2.0.3.0   
93.       Precompiler Required Support Files 11.2.0.3.0   
94.       Installation Common Files 11.2.0.3.0   
95.       Required Support Files 11.2.0.3.0   
96.       Oracle JDBC/THIN Interfaces 11.2.0.3.0   
97.       Oracle Multimedia Locator 11.2.0.3.0   
98.       Oracle Multimedia 11.2.0.3.0   
99.       HAS Common Files 11.2.0.3.0   
100.       Assistant Common Files 11.2.0.3.0   
101.       PL/SQL 11.2.0.3.0   
102.       HAS Files for DB 11.2.0.3.0   
103.       Oracle Recovery Manager 11.2.0.3.0   
104.       Oracle Database Utilities 11.2.0.3.0   
105.       Oracle Notification Service 11.2.0.3.0   
106.       SQL*Plus 11.2.0.3.0   
107.       Oracle Netca Client 11.2.0.3.0   
108.       Oracle Net 11.2.0.3.0   
109.       Oracle JVM 11.2.0.3.0   
110.       Oracle Internet Directory Client 11.2.0.3.0   
111.       Oracle Net Listener 11.2.0.3.0   
112.       Cluster Ready Services Files 11.2.0.3.0   
113.       Oracle Database 11g 11.2.0.3.0   
114. -----------------------------------------------------------------------------  
115.   
116.   
117. Instantiating scripts for add node (Friday, January 4, 2013 11:19:46 AM CST)  
118. .                                                                 1% Done.  
119. Instantiation of add node scripts complete  
120.   
121. Copying to remote nodes (Friday, January 4, 2013 11:19:48 AM CST)  
122. ...............................................................................................                                 96% Done.  
123. Home copied to new nodes  
124.   
125. Saving inventory on nodes (Friday, January 4, 2013 11:25:19 AM CST)  
126. .                                                               100% Done.  
127. Save inventory complete  
128. WARNING:A new inventory has been created on one or more nodes in this session. However, it has not yet been registered as the central inventory of this system.   
129. To register the new inventory please run the script at '/u01/app/oraInventory/orainstRoot.sh' with root privileges on nodes 'node3'.  
130. If you do not register the inventory, you may not be able to update or patch the products you installed.  
131. The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.  
132. /u01/app/oraInventory/orainstRoot.sh #On nodes node3  
133. /u01/app/11.2.0/grid/root.sh #On nodes node3  
134. To execute the configuration scripts:  
135.     1. Open a terminal window  
136.     2. Log in as "root"  
137.     3. Run the scripts in each cluster node  
138.       
139. The Cluster Node Addition of /u01/app/11.2.0/grid was successful.  
140. Please check '/tmp/silentInstall.log' for more details.  
141. [grid@node1 bin]$   

Run the "root.sh" commands on the new node as directed

1. [root@node3 ~]# /u01/app/oraInventory/orainstRoot.sh  
2. Creating the Oracle inventory pointer file (/etc/oraInst.loc)  
3. Changing permissions of /u01/app/oraInventory.  
4. Adding read,write permissions for group.  
5. Removing read,write,execute permissions for world.  
6.   
7. Changing groupname of /u01/app/oraInventory to oinstall.  
8. The execution of the script is complete.  
9. [root@node3 ~]#   

1. [root@node3 ~]# /u01/app/11.2.0/grid/root.sh  
2. Performing root user operation for Oracle 11g   
3.   
4. The following environment variables are set as:  
5.     ORACLE_OWNER= grid  
6.     ORACLE_HOME=  /u01/app/11.2.0/grid  
7.   
8. Enter the full pathname of the local bin directory: [/usr/local/bin]:   
9.    Copying dbhome to /usr/local/bin ...  
10.    Copying oraenv to /usr/local/bin ...  
11.    Copying coraenv to /usr/local/bin ...  
12.   
13.   
14. Creating /etc/oratab file...  
15. Entries will be added to the /etc/oratab file as needed by  
16. Database Configuration Assistant when a database is created  
17. Finished running generic part of root script.  
18. Now product-specific root actions will be performed.  
19. Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params  
20. Creating trace directory  
21. User ignored Prerequisites during installation  
22. OLR initialization - successful  
23. Adding Clusterware entries to upstart  
24. CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node node1, number 1, and is terminating  
25. An active cluster was found during exclusive startup, restarting to join the cluster  
26. clscfg: EXISTING configuration version 5 detected.  
27. clscfg: version 5 is 11g Release 2.  
28. Successfully accumulated necessary OCR keys.  
29. Creating OCR keys for user 'root', privgrp 'root'..  
30. Operation successful.  
31. Configure Oracle Grid Infrastructure for a Cluster ... succeeded  

If successful, clusterware daemons, the listener, the ASM instance, etc. should be started by the "root.sh" script

1. [grid@node3 ~]$ ps -ef|grep grid|grep -v grep  
2. root      1872  1785  0 Jan04 pts/0    00:00:00 su - grid  
3. grid      1873  1872  0 Jan04 pts/0    00:00:00 -bash  
4. root     11348     1  1 09:16 ?        00:00:11 /u01/app/11.2.0/grid/bin/ohasd.bin reboot  
5. grid     11961     1  0 09:18 ?        00:00:02 /u01/app/11.2.0/grid/bin/oraagent.bin  
6. grid     11973     1  0 09:18 ?        00:00:00 /u01/app/11.2.0/grid/bin/mdnsd.bin  
7. grid     11986     1  0 09:18 ?        00:00:00 /u01/app/11.2.0/grid/bin/gpnpd.bin  
8. root     12003     1  0 09:18 ?        00:00:00 /u01/app/11.2.0/grid/bin/cssdmonitor  
9. grid     12005     1  0 09:18 ?        00:00:02 /u01/app/11.2.0/grid/bin/gipcd.bin  
10. root     12026     1  0 09:18 ?        00:00:00 /u01/app/11.2.0/grid/bin/cssdagent  
11. grid     12051     1  1 09:18 ?        00:00:08 /u01/app/11.2.0/grid/bin/ocssd.bin   
12. root     12104     1  0 09:19 ?        00:00:05 /u01/app/11.2.0/grid/bin/orarootagent.bin  
13. root     12116     1  0 09:19 ?        00:00:02 /u01/app/11.2.0/grid/bin/octssd.bin  
14. root     12138     1  1 09:19 ?        00:00:09 /u01/app/11.2.0/grid/bin/osysmond.bin  
15. grid     12232     1  0 09:20 ?        00:00:00 asm_pmon_+ASM3  
16. grid     12234     1  0 09:20 ?        00:00:00 asm_psp0_+ASM3  
17. grid     12236     1  8 09:20 ?        00:00:47 asm_vktm_+ASM3  
18. grid     12240     1  0 09:20 ?        00:00:00 asm_gen0_+ASM3  
19. grid     12242     1  0 09:20 ?        00:00:00 asm_diag_+ASM3  
20. grid     12244     1  0 09:20 ?        00:00:00 asm_ping_+ASM3  
21. grid     12246     1  0 09:20 ?        00:00:02 asm_dia0_+ASM3  
22. grid     12248     1  0 09:20 ?        00:00:02 asm_lmon_+ASM3  
23. grid     12250     1  0 09:20 ?        00:00:01 asm_lmd0_+ASM3  
24. grid     12252     1  0 09:20 ?        00:00:03 asm_lms0_+ASM3  
25. grid     12256     1  0 09:20 ?        00:00:00 asm_lmhb_+ASM3  
26. grid     12258     1  0 09:20 ?        00:00:00 asm_mman_+ASM3  
27. grid     12260     1  0 09:20 ?        00:00:00 asm_dbw0_+ASM3  
28. grid     12262     1  0 09:20 ?        00:00:00 asm_lgwr_+ASM3  
29. grid     12264     1  0 09:20 ?        00:00:00 asm_ckpt_+ASM3  
30. grid     12266     1  0 09:20 ?        00:00:00 asm_smon_+ASM3  
31. grid     12268     1  0 09:20 ?        00:00:00 asm_rbal_+ASM3  
32. grid     12270     1  0 09:20 ?        00:00:00 asm_gmon_+ASM3  
33. grid     12272     1  0 09:20 ?        00:00:00 asm_mmon_+ASM3  
34. grid     12274     1  0 09:20 ?        00:00:00 asm_mmnl_+ASM3  
35. grid     12282     1  0 09:20 ?        00:00:00 asm_lck0_+ASM3  
36. grid     12284     1  0 09:20 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
37. root     12292     1  1 09:20 ?        00:00:07 /u01/app/11.2.0/grid/bin/crsd.bin reboot  
38. grid     12311     1  0 09:20 ?        00:00:02 /u01/app/11.2.0/grid/bin/evmd.bin  
39. grid     12314     1  0 09:20 ?        00:00:00 oracle+ASM3_ocr (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
40. grid     12320     1  0 09:20 ?        00:00:00 asm_asmb_+ASM3  
41. grid     12322     1  0 09:20 ?        00:00:00 oracle+ASM3_asmb_+asm3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
42. grid     12413 12311  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/bin/evmlogger.bin -o /u01/app/11.2.0/grid/evm/log/evmlogger.info -l /u01/app/11.2.0/grid/evm/log/evmlogger.log  
43. grid     12456     1  0 09:21 ?        00:00:01 /u01/app/11.2.0/grid/bin/oraagent.bin  
44. root     12460     1  0 09:21 ?        00:00:02 /u01/app/11.2.0/grid/bin/orarootagent.bin  
45. grid     12493     1  0 09:21 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
46. grid     12502     1  0 09:21 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
47. grid     12505     1  0 09:21 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
48. grid     12551     1  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/opmn/bin/ons -d  
49. grid     12552 12551  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/opmn/bin/ons -d  
50. grid     13032     1  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/bin/tnslsnr LISTENER -inherit  
51. grid     13288  1873  0 09:29 pts/0    00:00:00 ps -ef  

1. [grid@node3 ~]$ crs_stat -t -v -c node3  
2. Name           Type           R/RA   F/FT   Target    State     Host          
3. ----------------------------------------------------------------------  
4. ora....SM3.asm application    0/5    0/0    ONLINE    ONLINE    node3         
5. ora....E3.lsnr application    0/5    0/0    ONLINE    ONLINE    node3         
6. ora.node3.ons  application    0/3    0/0    ONLINE    ONLINE    node3         
7. ora.node3.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    node3  

1. [grid@node3 ~]$ crs_stat -t -v  
2. Name           Type           R/RA   F/FT   Target    State     Host          
3. ----------------------------------------------------------------------  
4. ora.CRS.dg     ora....up.type 0/5    0/     ONLINE    ONLINE    node1         
5. ora.DATADG.dg  ora....up.type 0/5    0/     ONLINE    ONLINE    node1         
6. ora.FRADG.dg   ora....up.type 0/5    0/     ONLINE    ONLINE    node1         
7. ora....ER.lsnr ora....er.type 0/5    0/     ONLINE    ONLINE    node1         
8. ora....N1.lsnr ora....er.type 0/5    0/0    ONLINE    ONLINE    node1         
9. ora.asm        ora.asm.type   0/5    0/     ONLINE    ONLINE    node1         
10. ora.cvu        ora.cvu.type   0/5    0/0    ONLINE    ONLINE    node1         
11. ora.gsd        ora.gsd.type   0/5    0/     OFFLINE   OFFLINE                 
12. ora....network ora....rk.type 0/5    0/     ONLINE    ONLINE    node1         
13. ora....SM1.asm application    0/5    0/0    ONLINE    ONLINE    node1         
14. ora....E1.lsnr application    0/5    0/0    ONLINE    ONLINE    node1         
15. ora.node1.gsd  application    0/5    0/0    OFFLINE   OFFLINE                 
16. ora.node1.ons  application    0/3    0/0    ONLINE    ONLINE    node1         
17. ora.node1.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    node1         
18. ora....SM2.asm application    0/5    0/0    ONLINE    ONLINE    node2         
19. ora....E2.lsnr application    0/5    0/0    ONLINE    ONLINE    node2         
20. ora.node2.gsd  application    0/5    0/0    OFFLINE   OFFLINE                 
21. ora.node2.ons  application    0/3    0/0    ONLINE    ONLINE    node2         
22. ora.node2.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    node2         
23. ora....SM3.asm application    0/5    0/0    ONLINE    ONLINE    node3         
24. ora....E3.lsnr application    0/5    0/0    ONLINE    ONLINE    node3         
25. ora.node3.gsd  application    0/5    0/0    OFFLINE   OFFLINE                 
26. ora.node3.ons  application    0/3    0/0    ONLINE    ONLINE    node3         
27. ora.node3.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    node3         
28. ora.oc4j       ora.oc4j.type  0/1    0/2    ONLINE    ONLINE    node1         
29. ora.ons        ora.ons.type   0/3    0/     ONLINE    ONLINE    node1         
30. ora.scan1.vip  ora....ip.type 0/0    0/0    ONLINE    ONLINE    node1         
31. ora.zhongwc.db ora....se.type 0/2    0/1    ONLINE    ONLINE    node1   

1. [grid@node3 ~]$ crsctl stat res -t  
2. --------------------------------------------------------------------------------  
3. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
4. --------------------------------------------------------------------------------  
5. Local Resources  
6. --------------------------------------------------------------------------------  
7. ora.CRS.dg  
8.                ONLINE  ONLINE       node1                                          
9.                ONLINE  ONLINE       node2                                          
10.                ONLINE  ONLINE       node3                                          
11. ora.DATADG.dg  
12.                ONLINE  ONLINE       node1                                          
13.                ONLINE  ONLINE       node2                                          
14.                ONLINE  ONLINE       node3                                          
15. ora.FRADG.dg  
16.                ONLINE  ONLINE       node1                                          
17.                ONLINE  ONLINE       node2                                          
18.                ONLINE  ONLINE       node3                                          
19. ora.LISTENER.lsnr  
20.                ONLINE  ONLINE       node1                                          
21.                ONLINE  ONLINE       node2                                          
22.                ONLINE  ONLINE       node3                                          
23. ora.asm  
24.                ONLINE  ONLINE       node1                    Started               
25.                ONLINE  ONLINE       node2                    Started               
26.                ONLINE  ONLINE       node3                    Started               
27. ora.gsd  
28.                OFFLINE OFFLINE      node1                                          
29.                OFFLINE OFFLINE      node2                                          
30.                OFFLINE OFFLINE      node3                                          
31. ora.net1.network  
32.                ONLINE  ONLINE       node1                                          
33.                ONLINE  ONLINE       node2                                          
34.                ONLINE  ONLINE       node3                                          
35. ora.ons  
36.                ONLINE  ONLINE       node1                                          
37.                ONLINE  ONLINE       node2                                          
38.                ONLINE  ONLINE       node3                                          
39. --------------------------------------------------------------------------------  
40. Cluster Resources  
41. --------------------------------------------------------------------------------  
42. ora.LISTENER_SCAN1.lsnr  
43.       1        ONLINE  ONLINE       node1                                          
44. ora.cvu  
45.       1        ONLINE  ONLINE       node1                                          
46. ora.node1.vip  
47.       1        ONLINE  ONLINE       node1                                          
48. ora.node2.vip  
49.       1        ONLINE  ONLINE       node2                                          
50. ora.node3.vip  
51.       1        ONLINE  ONLINE       node3                                          
52. ora.oc4j  
53.       1        ONLINE  ONLINE       node1                                          
54. ora.scan1.vip  
55.       1        ONLINE  ONLINE       node1                                          
56. ora.zhongwc.db  
57.       1        ONLINE  ONLINE       node1                    Open                  
58.       2        ONLINE  ONLINE       node2                    Open       

Extend Oracle Database Software

From an existing node – as the database software owner – run the following command to extend the Oracle database software to the new node "node3"

1. [oracle@node1 ~]$ cd $ORACLE_HOME/oui/bin  
2. [oracle@node1 bin]$ ./addNode.sh -silent "CLUSTER_NEW_NODES={node3}"  
3.   
4. Performing pre-checks for node addition   
5.   
6. Checking node reachability...  
7. Node reachability check passed from node "node1"  
8.   
9.   
10. Checking user equivalence...  
11. User equivalence check passed for user "oracle"  
12.   
13. WARNING:   
14. Node "node3" already appears to be part of cluster  
15.   
16. Pre-check for node addition was successful.   
17. Starting Oracle Universal Installer...  
18.   
19. Checking swap space: must be greater than 500 MB.   Actual 3919 MB    Passed  
20. Oracle Universal Installer, Version 11.2.0.3.0 Production  
21. Copyright (C) 1999, 2011, Oracle. All rights reserved.  
22.   
23.   
24. Performing tests to see whether nodes node2,node3 are available  
25. ............................................................... 100% Done.  
26.   
27. ...  
28. -----------------------------------------------------------------------------  
29. Cluster Node Addition Summary  
30. Global Settings  
31.    Source: /u01/app/oracle/product/11.2.0/dbhome_1  
32.    New Nodes  
33. Space Requirements  
34.    New Nodes  
35.       node3  
36.          /: Required 4.13GB : Available 63.03GB  
37. Installed Products  
38.    Product Names  
39.       Oracle Database 11g 11.2.0.3.0   
40.       Sun JDK 1.5.0.30.03   
41.       Installer SDK Component 11.2.0.3.0   
42.       Oracle One-Off Patch Installer 11.2.0.1.7   
43.       Oracle Universal Installer 11.2.0.3.0   
44.       Oracle USM Deconfiguration 11.2.0.3.0   
45.       Oracle Configuration Manager Deconfiguration 10.3.1.0.0   
46.       Oracle DBCA Deconfiguration 11.2.0.3.0   
47.       Oracle RAC Deconfiguration 11.2.0.3.0   
48.       Oracle Database Deconfiguration 11.2.0.3.0   
49.       Oracle Configuration Manager Client 10.3.2.1.0   
50.       Oracle Configuration Manager 10.3.5.0.1   
51.       Oracle ODBC Driverfor Instant Client 11.2.0.3.0   
52.       LDAP Required Support Files 11.2.0.3.0   
53.       SSL Required Support Files for InstantClient 11.2.0.3.0   
54.       Bali Share 1.1.18.0.0   
55.       Oracle Extended Windowing Toolkit 3.4.47.0.0   
56.       Oracle JFC Extended Windowing Toolkit 4.2.36.0.0   
57.       Oracle Real Application Testing 11.2.0.3.0   
58.       Oracle Database Vault J2EE Application 11.2.0.3.0   
59.       Oracle Label Security 11.2.0.3.0   
60.       Oracle Data Mining RDBMS Files 11.2.0.3.0   
61.       Oracle OLAP RDBMS Files 11.2.0.3.0   
62.       Oracle OLAP API 11.2.0.3.0   
63.       Platform Required Support Files 11.2.0.3.0   
64.       Oracle Database Vault option 11.2.0.3.0   
65.       Oracle RAC Required Support Files-HAS 11.2.0.3.0   
66.       SQL*Plus Required Support Files 11.2.0.3.0   
67.       Oracle Display Fonts 9.0.2.0.0   
68.       Oracle Ice Browser 5.2.3.6.0   
69.       Oracle JDBC Server Support Package 11.2.0.3.0   
70.       Oracle SQL Developer 11.2.0.3.0   
71.       Oracle Application Express 11.2.0.3.0   
72.       XDK Required Support Files 11.2.0.3.0   
73.       RDBMS Required Support Files for Instant Client 11.2.0.3.0   
74.       SQLJ Runtime 11.2.0.3.0   
75.       Database Workspace Manager 11.2.0.3.0   
76.       RDBMS Required Support Files Runtime 11.2.0.3.0   
77.       Oracle Globalization Support 11.2.0.3.0   
78.       Exadata Storage Server 11.2.0.1.0   
79.       Provisioning Advisor Framework 10.2.0.4.3   
80.       Enterprise Manager Database Plugin -- Repository Support 11.2.0.3.0   
81.       Enterprise Manager Repository Core Files 10.2.0.4.4   
82.       Enterprise Manager Database Plugin -- Agent Support 11.2.0.3.0   
83.       Enterprise Manager Grid Control Core Files 10.2.0.4.4   
84.       Enterprise Manager Common Core Files 10.2.0.4.4   
85.       Enterprise Manager Agent Core Files 10.2.0.4.4   
86.       RDBMS Required Support Files 11.2.0.3.0   
87.       regexp 2.1.9.0.0   
88.       Agent Required Support Files 10.2.0.4.3   
89.       Oracle 11g Warehouse Builder Required Files 11.2.0.3.0   
90.       Oracle Notification Service (eONS) 11.2.0.3.0   
91.       Oracle Text Required Support Files 11.2.0.3.0   
92.       Parser Generator Required Support Files 11.2.0.3.0   
93.       Oracle Database 11g Multimedia Files 11.2.0.3.0   
94.       Oracle Multimedia Java Advanced Imaging 11.2.0.3.0   
95.       Oracle Multimedia Annotator 11.2.0.3.0   
96.       Oracle JDBC/OCI Instant Client 11.2.0.3.0   
97.       Oracle Multimedia Locator RDBMS Files 11.2.0.3.0   
98.       Precompiler Required Support Files 11.2.0.3.0   
99.       Oracle Core Required Support Files 11.2.0.3.0   
100.       Sample Schema Data 11.2.0.3.0   
101.       Oracle Starter Database 11.2.0.3.0   
102.       Oracle Message Gateway Common Files 11.2.0.3.0   
103.       Oracle XML Query 11.2.0.3.0   
104.       XML Parser for Oracle JVM 11.2.0.3.0   
105.       Oracle Help For Java 4.2.9.0.0   
106.       Installation Plugin Files 11.2.0.3.0   
107.       Enterprise Manager Common Files 10.2.0.4.3   
108.       Expat libraries 2.0.1.0.1   
109.       Deinstallation Tool 11.2.0.3.0   
110.       Oracle Quality of Service Management (Client) 11.2.0.3.0   
111.       Perl Modules 5.10.0.0.1   
112.       JAccelerator (COMPANION) 11.2.0.3.0   
113.       Oracle Containers for Java 11.2.0.3.0   
114.       Perl Interpreter 5.10.0.0.2   
115.       Oracle Net Required Support Files 11.2.0.3.0   
116.       Secure Socket Layer 11.2.0.3.0   
117.       Oracle Universal Connection Pool 11.2.0.3.0   
118.       Oracle JDBC/THIN Interfaces 11.2.0.3.0   
119.       Oracle Multimedia Client Option 11.2.0.3.0   
120.       Oracle Java Client 11.2.0.3.0   
121.       Character Set Migration Utility 11.2.0.3.0   
122.       Oracle Code Editor 1.2.1.0.0I   
123.       PL/SQL Embedded Gateway 11.2.0.3.0   
124.       OLAP SQL Scripts 11.2.0.3.0   
125.       Database SQL Scripts 11.2.0.3.0   
126.       Oracle Locale Builder 11.2.0.3.0   
127.       Oracle Globalization Support 11.2.0.3.0   
128.       SQL*Plus Files for Instant Client 11.2.0.3.0   
129.       Required Support Files 11.2.0.3.0   
130.       Oracle Database User Interface 2.2.13.0.0   
131.       Oracle ODBC Driver 11.2.0.3.0   
132.       Oracle Notification Service 11.2.0.3.0   
133.       XML Parser for Java 11.2.0.3.0   
134.       Oracle Security Developer Tools 11.2.0.3.0   
135.       Oracle Wallet Manager 11.2.0.3.0   
136.       Cluster Verification Utility Common Files 11.2.0.3.0   
137.       Oracle Clusterware RDBMS Files 11.2.0.3.0   
138.       Oracle UIX 2.2.24.6.0   
139.       Enterprise Manager plugin Common Files 11.2.0.3.0   
140.       HAS Common Files 11.2.0.3.0   
141.       Precompiler Common Files 11.2.0.3.0   
142.       Installation Common Files 11.2.0.3.0   
143.       Oracle Help for the  Web 2.0.14.0.0   
144.       Oracle LDAP administration 11.2.0.3.0   
145.       Buildtools Common Files 11.2.0.3.0   
146.       Assistant Common Files 11.2.0.3.0   
147.       Oracle Recovery Manager 11.2.0.3.0   
148.       PL/SQL 11.2.0.3.0   
149.       Generic Connectivity Common Files 11.2.0.3.0   
150.       Oracle Database Gateway for ODBC 11.2.0.3.0   
151.       Oracle Programmer 11.2.0.3.0   
152.       Oracle Database Utilities 11.2.0.3.0   
153.       Enterprise Manager Agent 10.2.0.4.3   
154.       SQL*Plus 11.2.0.3.0   
155.       Oracle Netca Client 11.2.0.3.0   
156.       Oracle Multimedia Locator 11.2.0.3.0   
157.       Oracle Call Interface (OCI) 11.2.0.3.0   
158.       Oracle Multimedia 11.2.0.3.0   
159.       Oracle Net 11.2.0.3.0   
160.       Oracle XML Development Kit 11.2.0.3.0   
161.       Database Configuration and Upgrade Assistants 11.2.0.3.0   
162.       Oracle JVM 11.2.0.3.0   
163.       Oracle Advanced Security 11.2.0.3.0   
164.       Oracle Internet Directory Client 11.2.0.3.0   
165.       Oracle Enterprise Manager Console DB 11.2.0.3.0   
166.       HAS Files for DB 11.2.0.3.0   
167.       Oracle Net Listener 11.2.0.3.0   
168.       Oracle Text 11.2.0.3.0   
169.       Oracle Net Services 11.2.0.3.0   
170.       Oracle Database 11g 11.2.0.3.0   
171.       Oracle OLAP 11.2.0.3.0   
172.       Oracle Spatial 11.2.0.3.0   
173.       Oracle Partitioning 11.2.0.3.0   
174.       Enterprise Edition Options 11.2.0.3.0   
175. -----------------------------------------------------------------------------  
176.   
177.   
178. Instantiating scripts for add node (Saturday, January 5, 2013 10:02:31 AM CST)  
179. .                                                                 1% Done.  
180. Instantiation of add node scripts complete  
181.   
182. Copying to remote nodes (Saturday, January 5, 2013 10:02:41 AM CST)  
183. ...............................................................................................                                 96% Done.  
184. Home copied to new nodes  
185.   
186. Saving inventory on nodes (Saturday, January 5, 2013 10:45:12 AM CST)  
187. .                                                               100% Done.  
188. Save inventory complete  
189. WARNING:  
190. The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.  
191. /u01/app/oracle/product/11.2.0/dbhome_1/root.sh #On nodes node3  
192. To execute the configuration scripts:  
193.     1. Open a terminal window  
194.     2. Log in as "root"  
195.     3. Run the scripts in each cluster node  
196.       
197. The Cluster Node Addition of /u01/app/oracle/product/11.2.0/dbhome_1 was successful.  
198. Please check '/tmp/silentInstall.log' for more details.  
199. [oracle@node1 bin]$   

Run the "root.sh" commands on the new node as directed

1. [root@node3 ~]# /u01/app/oracle/product/11.2.0/dbhome_1/root.sh  
2. Performing root user operation for Oracle 11g   
3.   
4. The following environment variables are set as:  
5.     ORACLE_OWNER= oracle  
6.     ORACLE_HOME=  /u01/app/oracle/product/11.2.0/dbhome_1  
7.   
8. Enter the full pathname of the local bin directory: [/usr/local/bin]:   
9. The contents of "dbhome" have not changed. No need to overwrite.  
10. The contents of "oraenv" have not changed. No need to overwrite.  
11. The contents of "coraenv" have not changed. No need to overwrite.  
12.   
13. Entries will be added to the /etc/oratab file as needed by  
14. Database Configuration Assistant when a database is created  
15. Finished running generic part of root script.  
16. Now product-specific root actions will be performed.  
17. Finished product-specific root actions.  

Add Instance to Clustered Database
A database instance will be established on the new node. Specifically, an instance named "zhongwc3" will be added to "zhongwc" – a pre-existing clustered database.
Satisfy Node Instance Dependencies
Satisfy all node instance dependencies, such as passwordfile, init.ora parameters, etc.
From the new node "node3", run the following commands to create the passwordfile, "init.ora" file, and "oratab" entry for the new instance

1. [oracle@node3 ~]$ cd $ORACLE_HOME/dbs  
2. [oracle@node3 dbs]$ mv initzhongwc1.ora initzhongwc3.ora   
3. [oracle@node3 dbs]$ mv orapwzhongwc1 orapwzhongwc3   
4. [oracle@node3 dbs]$ echo "zhongwc3:$ORACLE_HOME:N" >> /etc/oratab   

From a node with an existing instance of "zhongwc" issue the following commands to create the needed public log thread, undo tablespace, and "init.ora" entries for the new instance

1. [oracle@node1 ~]$ sqlplus / as sysdba  
2.   
3. SQL*Plus: Release 11.2.0.3.0 Production on Sat Jan 5 11:06:02 2013  
4.   
5. Copyright (c) 1982, 2011, Oracle.  All rights reserved.  
6.   
7.   
8. Connected to:  
9. Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production  
10. With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,  
11. Data Mining and Real Application Testing options  
12.   
13. SQL> alter database add logfile thread 3 group 5 ('+DATADG','+FRADG') size 50M, group 6 ('+DATADG','+FRADG') size 50M;  
14.   
15. Database altered.  
16.   
17. SQL> alter database enable public thread 3;  
18.   
19. Database altered.  
20.   
21. SQL> create undo tablespace undotbs3 datafile '+DATADG' size 200M autoextend on;  
22.   
23. Tablespace created.  
24.   
25. SQL> alter system set undo_tablespace='undotbs3' scope=spfile sid='zhongwc3';  
26.   
27. System altered.  
28.   
29. SQL> alter system set instance_number=3 scope=spfile sid='zhongwc3';  
30.   
31. System altered.  
32.   
33. SQL> alter system set cluster_database_instances=3 scope=spfile sid='*';  
34.   
35. System altered.  

Update Oracle Cluster Registry (OCR)
The OCR will be updated to account for a new instance – "zhongwc3" – being added to the "zhongwc" cluster database .
Add "zhongwc3" instance to the "zhongwc" database and verify

1. [oracle@node3 ~]$ srvctl add instance -d zhongwc -i zhongwc3 -n node3  
2. [oracle@node3 ~]$ srvctl status database -d zhongwc -v  
3. Instance zhongwc1 is running on node node1. Instance status: Open.  
4. Instance zhongwc2 is running on node node2. Instance status: Open.  
5. Instance zhongwc3 is not running on node node3  
6. [oracle@node3 ~]$   
7. [oracle@node3 ~]$ srvctl config database -d zhongwc  
8. Database unique name: zhongwc  
9. Database name: zhongwc  
10. Oracle home: /u01/app/oracle/product/11.2.0/dbhome_1  
11. Oracle user: oracle  
12. Spfile: +DATADG/zhongwc/spfilezhongwc.ora  
13. Domain:   
14. Start options: open  
15. Stop options: immediate  
16. Database role: PRIMARY  
17. Management policy: AUTOMATIC  
18. Server pools: zhongwc  
19. Database instances: zhongwc1,zhongwc2,zhongwc3  
20. Disk Groups: DATADG,FRADG  
21. Mount point paths:   
22. Services:   
23. Type: RAC  
24. Database is administrator managed  
25. [oracle@node3 ~]$   

Start the Instance
Now that all the prerequisites have been satisfied and OCR updated, the "zhongwc3" instance will be started.
Start the newly created instance – "zhongwc3" – and verify

1. [oracle@node3 ~]$ srvctl start instance -d zhongwc -i zhongwc3  
2. [oracle@node3 ~]$   
3. [oracle@node3 ~]$ crvctl status database -d zhongwc -v  
4. -bash: crvctl: command not found  
5. [oracle@node3 ~]$ srvctl status database -d zhongwc -v  
6. Instance zhongwc1 is running on node node1. Instance status: Open.  
7. Instance zhongwc2 is running on node node2. Instance status: Open.  
8. Instance zhongwc3 is running on node node3. Instance status: Open.  
9. [oracle@node3 ~]$   

1. [oracle@node2 admin]$ pwd  
2. /u01/app/oracle/product/11.2.0/dbhome_1/network/admin  
3. [oracle@node2 admin]$ scp tnsnames.ora node3:/u01/app/oracle/product/11.2.0/dbhome_1/network/admin  
4. tnsnames.ora                                                                                                                         100%  342     0.3KB/s   00:00      
5. [oracle@node2 admin]$   

1. [oracle@node3 ~]$ cat /etc/issue  
2. Oracle Linux Server release 6.3  
3. Kernel \r on an \m  
4.   
5. [oracle@node3 ~]$ uname -p  
6. x86_64  
7. [oracle@node3 ~]$   
8. [oracle@node3 ~]$   
9. [oracle@node3 ~]$ hostname   
10. node3  
11. [oracle@node3 ~]$   
12. [oracle@node3 ~]$ sqlplus system@zhongwc  
13.   
14. SQL*Plus: Release 11.2.0.3.0 Production on Sat Jan 5 11:29:32 2013  
15.   
16. Copyright (c) 1982, 2011, Oracle.  All rights reserved.  
17.   
18. Enter password:   
19.   
20. Connected to:  
21. Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production  
22. With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,  
23. Data Mining and Real Application Testing options  
24.   
25. SQL> alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss';  
26.   
27. Session altered.  
28.   
29. SQL> col host_name format a11  
30. SQL> set line 300  
31. SQL> select INSTANCE_NAME,HOST_NAME,VERSION,STARTUP_TIME,STATUS,ACTIVE_STATE,INSTANCE_ROLE,DATABASE_STATUS from gv$INSTANCE;  
32.   
33. INSTANCE_NAME    HOST_NAME   VERSION           STARTUP_TIME    STATUS   ACTIVE_ST INSTANCE_ROLE      DATABASE_STATUS  
34. ---------------- ----------- ----------------- ------------------- ------------ --------- ------------------ -----------------  
35. zhongwc3     node3       11.2.0.3.0        2013-01-05 11:23:16 OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
36. zhongwc1     node1       11.2.0.3.0        2013-01-05 09:53:24 OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
37. zhongwc2     node2       11.2.0.3.0        2013-01-04 17:34:40 OPEN     NORMAL    PRIMARY_INSTANCE   ACTIVE  
38.   
39. SQL> conn hr@zhongwc  
40. Enter password:   
41. Connected.  
42. SQL> select tname from tab;  
43.   
44. TNAME  
45. ------------------------------  
46. COUNTRIES  
47. DEPARTMENTS  
48. EMPLOYEES  
49. EMP_DETAILS_VIEW  
50. JOBS  
51. JOB_HISTORY  
52. LOCATIONS  
53. REGIONS  
54.   
55. 8 rows selected.  

1. [grid@node3 ~]$ crsctl query crs activeversion  
2. Oracle Clusterware active version on the cluster is [11.2.0.3.0]  
3. [grid@node3 ~]$ crsctl query css votedisk  
4. ##  STATE    File Universal Id                File Name Disk group  
5. --  -----    -----------------                --------- ---------  
6.  1. ONLINE   88a0a181a53c4fe0bfc583095b1f3c4b (/dev/asm-diskb) [CRS]  
7. Located 1 voting disk(s).  
8. [grid@node3 ~]$   
9. [grid@node3 ~]$   
10. [grid@node3 ~]$ crsctl stat res -t  
11. --------------------------------------------------------------------------------  
12. NAME           TARGET  STATE        SERVER                   STATE_DETAILS         
13. --------------------------------------------------------------------------------  
14. Local Resources  
15. --------------------------------------------------------------------------------  
16. ora.CRS.dg  
17.                ONLINE  ONLINE       node1                                          
18.                ONLINE  ONLINE       node2                                          
19.                ONLINE  ONLINE       node3                                          
20. ora.DATADG.dg  
21.                ONLINE  ONLINE       node1                                          
22.                ONLINE  ONLINE       node2                                          
23.                ONLINE  ONLINE       node3                                          
24. ora.FRADG.dg  
25.                ONLINE  ONLINE       node1                                          
26.                ONLINE  ONLINE       node2                                          
27.                ONLINE  ONLINE       node3                                          
28. ora.LISTENER.lsnr  
29.                ONLINE  ONLINE       node1                                          
30.                ONLINE  ONLINE       node2                                          
31.                ONLINE  ONLINE       node3                                          
32. ora.asm  
33.                ONLINE  ONLINE       node1                    Started               
34.                ONLINE  ONLINE       node2                    Started               
35.                ONLINE  ONLINE       node3                    Started               
36. ora.gsd  
37.                OFFLINE OFFLINE      node1                                          
38.                OFFLINE OFFLINE      node2                                          
39.                OFFLINE OFFLINE      node3                                          
40. ora.net1.network  
41.                ONLINE  ONLINE       node1                                          
42.                ONLINE  ONLINE       node2                                          
43.                ONLINE  ONLINE       node3                                          
44. ora.ons  
45.                ONLINE  ONLINE       node1                                          
46.                ONLINE  ONLINE       node2                                          
47.                ONLINE  ONLINE       node3                                          
48. --------------------------------------------------------------------------------  
49. Cluster Resources  
50. --------------------------------------------------------------------------------  
51. ora.LISTENER_SCAN1.lsnr  
52.       1        ONLINE  ONLINE       node2                                          
53. ora.cvu  
54.       1        ONLINE  ONLINE       node3                                          
55. ora.node1.vip  
56.       1        ONLINE  ONLINE       node1                                          
57. ora.node2.vip  
58.       1        ONLINE  ONLINE       node2                                          
59. ora.node3.vip  
60.       1        ONLINE  ONLINE       node3                                          
61. ora.oc4j  
62.       1        ONLINE  ONLINE       node3                                          
63. ora.scan1.vip  
64.       1        ONLINE  ONLINE       node2                                          
65. ora.zhongwc.db  
66.       1        ONLINE  ONLINE       node1                    Open                  
67.       2        ONLINE  ONLINE       node2                    Open                  
68.       3        ONLINE  ONLINE       node3                    Open    

1. [grid@node3 ~]$ ps -ef|egrep "oracle|grid"  
2. root      1872  1785  0 Jan04 pts/0    00:00:00 su - grid  
3. grid      1873  1872  0 Jan04 pts/0    00:00:00 -bash  
4. root      1896  1807  0 Jan04 pts/1    00:00:00 su - oracle  
5. oracle    1897  1896  0 Jan04 pts/1    00:00:00 -bash  
6. root     11348     1  0 09:16 ?        00:01:09 /u01/app/11.2.0/grid/bin/ohasd.bin reboot  
7. grid     11961     1  0 09:18 ?        00:00:28 /u01/app/11.2.0/grid/bin/oraagent.bin  
8. grid     11973     1  0 09:18 ?        00:00:00 /u01/app/11.2.0/grid/bin/mdnsd.bin  
9. grid     11986     1  0 09:18 ?        00:00:06 /u01/app/11.2.0/grid/bin/gpnpd.bin  
10. root     12003     1  0 09:18 ?        00:00:10 /u01/app/11.2.0/grid/bin/cssdmonitor  
11. grid     12005     1  0 09:18 ?        00:00:23 /u01/app/11.2.0/grid/bin/gipcd.bin  
12. root     12026     1  0 09:18 ?        00:00:10 /u01/app/11.2.0/grid/bin/cssdagent  
13. grid     12051     1  1 09:18 ?        00:01:36 /u01/app/11.2.0/grid/bin/ocssd.bin   
14. root     12104     1  0 09:19 ?        00:00:42 /u01/app/11.2.0/grid/bin/orarootagent.bin  
15. root     12116     1  0 09:19 ?        00:00:32 /u01/app/11.2.0/grid/bin/octssd.bin  
16. root     12138     1  1 09:19 ?        00:02:02 /u01/app/11.2.0/grid/bin/osysmond.bin  
17. grid     12232     1  0 09:20 ?        00:00:01 asm_pmon_+ASM3  
18. grid     12234     1  0 09:20 ?        00:00:03 asm_psp0_+ASM3  
19. grid     12236     1  7 09:20 ?        00:10:39 asm_vktm_+ASM3  
20. grid     12240     1  0 09:20 ?        00:00:00 asm_gen0_+ASM3  
21. grid     12242     1  0 09:20 ?        00:00:10 asm_diag_+ASM3  
22. grid     12244     1  0 09:20 ?        00:00:02 asm_ping_+ASM3  
23. grid     12246     1  0 09:20 ?        00:00:37 asm_dia0_+ASM3  
24. grid     12248     1  0 09:20 ?        00:00:27 asm_lmon_+ASM3  
25. grid     12250     1  0 09:20 ?        00:00:25 asm_lmd0_+ASM3  
26. grid     12252     1  0 09:20 ?        00:00:46 asm_lms0_+ASM3  
27. grid     12256     1  0 09:20 ?        00:00:00 asm_lmhb_+ASM3  
28. grid     12258     1  0 09:20 ?        00:00:00 asm_mman_+ASM3  
29. grid     12260     1  0 09:20 ?        00:00:00 asm_dbw0_+ASM3  
30. grid     12262     1  0 09:20 ?        00:00:00 asm_lgwr_+ASM3  
31. grid     12264     1  0 09:20 ?        00:00:00 asm_ckpt_+ASM3  
32. grid     12266     1  0 09:20 ?        00:00:00 asm_smon_+ASM3  
33. grid     12268     1  0 09:20 ?        00:00:04 asm_rbal_+ASM3  
34. grid     12270     1  0 09:20 ?        00:00:00 asm_gmon_+ASM3  
35. grid     12272     1  0 09:20 ?        00:00:00 asm_mmon_+ASM3  
36. grid     12274     1  0 09:20 ?        00:00:01 asm_mmnl_+ASM3  
37. grid     12282     1  0 09:20 ?        00:00:01 asm_lck0_+ASM3  
38. grid     12284     1  0 09:20 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
39. root     12292     1  1 09:20 ?        00:01:27 /u01/app/11.2.0/grid/bin/crsd.bin reboot  
40. grid     12311     1  0 09:20 ?        00:00:36 /u01/app/11.2.0/grid/bin/evmd.bin  
41. grid     12314     1  0 09:20 ?        00:00:00 oracle+ASM3_ocr (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
42. grid     12320     1  0 09:20 ?        00:00:00 asm_asmb_+ASM3  
43. grid     12322     1  0 09:20 ?        00:00:01 oracle+ASM3_asmb_+asm3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
44. grid     12413 12311  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/bin/evmlogger.bin -o /u01/app/11.2.0/grid/evm/log/evmlogger.info -l /u01/app/11.2.0/grid/evm/log/evmlogger.log  
45. grid     12456     1  0 09:21 ?        00:00:20 /u01/app/11.2.0/grid/bin/oraagent.bin  
46. root     12460     1  0 09:21 ?        00:00:36 /u01/app/11.2.0/grid/bin/orarootagent.bin  
47. grid     12551     1  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/opmn/bin/ons -d  
48. grid     12552 12551  0 09:21 ?        00:00:02 /u01/app/11.2.0/grid/opmn/bin/ons -d  
49. grid     13032     1  0 09:21 ?        00:00:00 /u01/app/11.2.0/grid/bin/tnslsnr LISTENER -inherit  
50. grid     13418     1  0 09:38 ?        00:00:01 /u01/app/11.2.0/grid/bin/scriptagent.bin  
51. grid     13467     1  0 09:41 ?        00:00:22 /u01/app/11.2.0/grid/jdk/jre//bin/java -server -Xcheck:jni -Xms128M -Xmx384M -Djava.awt.headless=true -Ddisable.checkForUpdate=true -Dstdstream.filesize=100 -Dstdstream.filenumber=10 -DTRACING.ENABLED=false -Doracle.wlm.dbwlmlogger.logging.level=INFO -Dport.rmi=23792 -jar /u01/app/11.2.0/grid/oc4j/j2ee/home/oc4j.jar -config /u01/app/11.2.0/grid/oc4j/j2ee/home/OC4J_DBWLM_config/server.xml -out /u01/app/11.2.0/grid/oc4j/j2ee/home/log/oc4j.out -err /u01/app/11.2.0/grid/oc4j/j2ee/home/log/oc4j.err  
52. grid     16394     1  0 10:26 ?        00:00:00 oracle+ASM3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
53. oracle   17977     1  0 11:21 ?        00:00:02 /u01/app/11.2.0/grid/bin/oraagent.bin  
54. oracle   18159     1  0 11:23 ?        00:00:00 ora_pmon_zhongwc3  
55. oracle   18161     1  0 11:23 ?        00:00:00 ora_psp0_zhongwc3  
56. oracle   18163     1  4 11:23 ?        00:00:29 ora_vktm_zhongwc3  
57. oracle   18167     1  0 11:23 ?        00:00:00 ora_gen0_zhongwc3  
58. oracle   18169     1  0 11:23 ?        00:00:00 ora_diag_zhongwc3  
59. oracle   18171     1  0 11:23 ?        00:00:00 ora_dbrm_zhongwc3  
60. oracle   18173     1  0 11:23 ?        00:00:00 ora_ping_zhongwc3  
61. oracle   18175     1  0 11:23 ?        00:00:00 ora_acms_zhongwc3  
62. oracle   18177     1  0 11:23 ?        00:00:04 ora_dia0_zhongwc3  
63. oracle   18179     1  0 11:23 ?        00:00:01 ora_lmon_zhongwc3  
64. oracle   18181     1  0 11:23 ?        00:00:02 ora_lmd0_zhongwc3  
65. oracle   18183     1  1 11:23 ?        00:00:08 ora_lms0_zhongwc3  
66. oracle   18187     1  0 11:23 ?        00:00:00 ora_rms0_zhongwc3  
67. oracle   18189     1  0 11:23 ?        00:00:00 ora_lmhb_zhongwc3  
68. oracle   18191     1  0 11:23 ?        00:00:00 ora_mman_zhongwc3  
69. oracle   18193     1  0 11:23 ?        00:00:00 ora_dbw0_zhongwc3  
70. oracle   18195     1  0 11:23 ?        00:00:00 ora_lgwr_zhongwc3  
71. oracle   18197     1  0 11:23 ?        00:00:00 ora_ckpt_zhongwc3  
72. oracle   18199     1  0 11:23 ?        00:00:00 ora_smon_zhongwc3  
73. oracle   18201     1  0 11:23 ?        00:00:00 ora_reco_zhongwc3  
74. oracle   18203     1  0 11:23 ?        00:00:00 ora_rbal_zhongwc3  
75. oracle   18205     1  0 11:23 ?        00:00:00 ora_asmb_zhongwc3  
76. oracle   18207     1  0 11:23 ?        00:00:01 ora_mmon_zhongwc3  
77. grid     18209     1  0 11:23 ?        00:00:00 oracle+ASM3_asmb_zhongwc3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
78. oracle   18211     1  0 11:23 ?        00:00:00 ora_mmnl_zhongwc3  
79. oracle   18213     1  0 11:23 ?        00:00:00 ora_d000_zhongwc3  
80. oracle   18215     1  0 11:23 ?        00:00:00 ora_s000_zhongwc3  
81. oracle   18217     1  0 11:23 ?        00:00:00 ora_mark_zhongwc3  
82. oracle   18238     1  0 11:24 ?        00:00:01 ora_lck0_zhongwc3  
83. oracle   18240     1  0 11:24 ?        00:00:00 ora_rsmn_zhongwc3  
84. oracle   18281     1  0 11:24 ?        00:00:02 oraclezhongwc3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
85. oracle   18326     1  0 11:24 ?        00:00:00 ora_pz99_zhongwc3  
86. oracle   18328     1  0 11:24 ?        00:00:00 ora_gcr0_zhongwc3  
87. oracle   18338     1  0 11:24 ?        00:00:00 ora_arc0_zhongwc3  
88. oracle   18344     1  0 11:24 ?        00:00:00 ora_arc1_zhongwc3  
89. oracle   18348     1  0 11:24 ?        00:00:00 ora_arc2_zhongwc3  
90. oracle   18351     1  0 11:24 ?        00:00:00 ora_arc3_zhongwc3  
91. oracle   18366     1  0 11:25 ?        00:00:00 ora_gtx0_zhongwc3  
92. oracle   18368     1  0 11:25 ?        00:00:00 ora_rcbg_zhongwc3  
93. oracle   18370     1  0 11:25 ?        00:00:00 ora_qmnc_zhongwc3  
94. oracle   18384     1  0 11:25 ?        00:00:00 oraclezhongwc3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
95. oracle   18394     1  0 11:25 ?        00:00:00 ora_q000_zhongwc3  
96. oracle   18396     1  0 11:25 ?        00:00:00 ora_q001_zhongwc3  
97. oracle   18415     1  0 11:25 ?        00:00:01 ora_cjq0_zhongwc3  
98. oracle   18417     1  0 11:25 ?        00:00:01 ora_vkrm_zhongwc3  
99. oracle   18605     1  0 11:30 ?        00:00:00 ora_smco_zhongwc3  
100. oracle   18607     1  0 11:30 ?        00:00:00 ora_w000_zhongwc3  
101. oracle   18647     1  0 11:32 ?        00:00:00 ora_o000_zhongwc3  
102. grid     18650     1  0 11:32 ?        00:00:00 oracle+ASM3_o000_zhongwc3 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))  
103. grid     18705  1873  0 11:33 pts/0    00:00:00 ps -ef  
104. grid     18706  1873  0 11:33 pts/0    00:00:00 egrep oracle|grid  
105. [grid@node3 ~]$