Dell™ PowerEdge™ Systems Oracle® Database on Enterprise Linux® x86_64 Storage and Network Guide Version 1.
Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. WARNING: A WARNING indicates a potential for property damage, personal injury, or death. ____________________ Information in this document is subject to change without notice. © 2010 Dell Inc. All rights reserved.
Contents 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . Required Documentation for Deploying the Dell|Oracle Database . . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 8 Terminology Used in This Document Getting Help Dell Support . . . . . . . . . . . . . . . . . . . . . . Oracle Support 2 7 . . . . . . . . . . . . . . . . . . . . Configuring Your Network . Configuring the Public Network. 9 . . . . . . . . . . .
3 Setting Up a Fibre Channel Cluster Hardware Connections for a Fibre Channel Cluster . . . . . . . . . . . . . . . . . . . Cabling Your Fibre Channel Storage System . . . . . . . . . . 29 30 Setting Up a SAS Cluster for the Dell PowerVault MD3000 and MD1000 Expansion Enclosures . . . . 33 . . . . . . . . . . . . . . . . 35 . . . . . . . . 37 Verifying and Upgrading the Firmware . . . . . . . . . 37 Installing the SAS 5/E Adapter Driver . . . . . . . . . .
6 Setting Up an iSCSI Cluster for the Dell EqualLogic PS Series Storage System . . . . . . . . . . . . . EqualLogic Terminology . . . . . . . . 45 . . . . . . . . . . . . . . . . 45 Setting Up the EqualLogic iSCSI Storage System . Creating Volumes . . . . 46 . . . . . . . . . . . . . . . . . 48 Configuring the iSCSI Networks . . . . . . . . . . . . . . . . . 51 . . . . . . . . 63 Configuring Host Access to Volumes. 7 Configuring Database Storage on the Host . . . . . . . . . . . . . . .
Contents
Overview The document provides a generalized guide to configure the network and storage requirements for running the Dell|Oracle database on a system installed with the Red Hat® Enterprise Linux® or the Oracle® Enterprise Linux operating system. This document applies to Oracle Database 11g R2 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.3 AS x86_64. For the list of network and storage configurations supported by your system, go to dell.com/oracle and select Dell™ Validated Components.
Terminology Used in This Document Throughout this document, the terms logical unit number (LUN) and virtual disk are used synonymously. The term LUN is commonly used in a Dell/EMC Fibre Channel storage system environment. The term virtual disk is commonly used in a Dell PowerVault™ Serial-attached SCSI (SAS) (PowerVault MD3000 and PowerVault MD3000i with PowerVault MD1000 expansion) or a Dell EqualLogic iSCSI storage environment.
Oracle Support • For training information on your Oracle software and application clusterware and for information about contacting Oracle, see oracle.com, or see your Oracle documentation. • Technical support, downloads, and other technical information is available at metalink.oracle.com.
Overview
Configuring Your Network This section provides information about configuring the public and private cluster network. NOTE: Each node in a network requires a unique public and private Internet protocol (IP) address. An additional public IP address is required to serve as the virtual IP address for the client connections and the connection failover. Therefore, a total of three IP address are required for each node. The virtual IP address must belong to the same subnet as the public IP.
Configuring the Public Network NOTE: Ensure that the public IP address is a valid and routable IP address. NOTE: Each of the two bonded NIC ports for the private network must be on separate PCI buses. For example, a bonded pair can consist of one on-board NIC and one add-on NIC card. To configure the public network on each node: 1 Log in as root.
Configuring the Private Network Using Bonding Before you deploy the cluster, configure the private cluster network to allow the nodes to communicate with each other. This involves configuring network bonding and assigning a private IP address and host name to each node in the cluster. To set up network bonding for Broadcom® or Intel® NICs, and to configure the private network on each node: 1 Log in as root. 2 Add the following line to the /etc/modprobe.
5 For each device that is a bond member: a In the directory /etc/sysconfig/network-scripts/, edit the ifcfg-ethn file: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Type service network restart and ignore all warnings. 6 On each node, type ifconfig to verify that the private interface is functioning. The private IP address for the node must be assigned to the private interface bond0.
IP Address and Name Resolution Requirements For a Cluster Using GNS The basic requirements for setting up an Oracle 11g R2 RAC using Oracle Global Naming Server (GNS) are: • At least two interfaces configured on each node, one for the private IP address and one for the public IP address. • A Domain Naming Server (DNS) running in the network for the address resolution of GNS virtual IP address. • The DNS entry to establish DNS Lookup to direct DNS resolution of a sub-domain to the cluster.
Configuring a DNS Server To configure a DNS server using GNS: 1 Configure GNS VIP address on DNS server—In the DNS, create a name resolution entry for the GNS virtual IP address in the forward Lookup file. For example: gns-server IN A 192.0.2.2 where gns-server is the GNS virtual IP address given during grid installation. The address that you provide must be routable and should be in public range. For example, 192.0.2.2.
2 On all nodes in the cluster, edit the resolv.conf file to include name server entries that are resolvable to DNS servers. For example, edit the /etc/resolv.conf file as: options attempts: 2 options timeout: 1 search clusterdomain.example.com example.com nameserver 192.0.2.1 nameserver 192.0.2.2 NOTE: The total time-out period which is a combination of options attempted and options timed out should be less than 30 seconds. Where 192.0.2.1 is the valid DNS server address and 192.0.2.
Table 2-3 describes the different interfaces, IP address settings and the resolutions in a cluster. Table 2-3. IP Address Settings in a Cluster Using DNS Interface Type Resolution Public Static /etc/hosts or DNS Private Static Not required Node virtual IP Static /etc/hosts or DNS SCAN virtual IP Static DNS Configuring a DNS Server To configure changes on a DNS server for an Oracle 11g R2 cluster using a DNS (without GNS): 1 Configure SCAN NAME resolution on DNS server.
Configuring a DNS Client To configure the changes required on the cluster nodes for name resolution: 1 Add host entries in the /etc/hosts file. On each node, modify lines in the /etc/hosts file by typing: 127.0.0.1 localhost.
Enabling IPMI Intelligent Platform Management Interface (IPMI) provides a set of common interfaces to the hardware and firmware that system administrators can use to monitor system health and manage the system. With Oracle 11g R2, Oracle Clusterware can integrate IPMI to provide failure isolation support and to ensure cluster integrity. Prerequisites for Enabling IPMI Each cluster node requires a Baseboard Management Controller (BMC), running a firmware compatible with IPMI version 1.
5 Ensure that the system recognizes the IPMI device, using the following command: ls -l /dev/ipmi0 If the IPMI device has been dynamically loaded, then the output should be similar to the following: # ls -l /dev/ipmi0 crw------- 1 root root 252, 0 Dec 23 16:41 /dev/ipmi0 Configuring BMC Using IPMItool Use the following example to configure BMC using ipmitool version 2.0: 1 Log in as root. 2 Verify that ipmitool is communicating with the BMC using the IPMI driver.
3 Enable IPMI over LAN: a Determine the channel number for IPMI over LAN. Beginning with channel 1, run the following command until you find the channel that displays the required LAN attributes, such as the IP address: # ipmitool lan print 1 . . . IP Address Source : 0x01 IP Address : 140.87.155.89 . . . b Turn on LAN access for the channel found.
5 Establish an administration account with a user name and password, using the following procedure (assuming the channel is 1): a Configure BMC to authenticate password for Admin access over LAN. For example: # ipmitool lan set 1 auth ADMIN MD5,PASSWORD b List the account slots on the BMC, and identify an unused slot (a User ID with an empty user name field). For example: # ipmitool channel getaccess 1 . . .
d Verify the setup using the command lan print 1. The output should appear similar to the following: # ipmitool lan print 1 Set in Progress : Set Complete Auth Type Support : NONE MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 : User : MD2 MD5 : Operator : MD2 MD5 : Admin : MD5 PASSWORD : OEM : MD2 MD5 IP Address Source : DHCP Address [or Static Address] IP Address : 192.168.0.55 Subnet Mask : 255.255.255.
Fixed Name : No Access Available : call-in / callback Link Authentication : enabled IPMI Messaging : enabled Privilege Level : ADMINISTRATOR 6 Verify that BMC is accessible and controllable from a remote node in your cluster using the bmc info command.
Configuring Your Network
Setting Up a Fibre Channel Cluster WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. This section helps you to verify the hardware connections, and the hardware and software configurations of the Fibre Channel cluster.
Table 3-1 lists the Fibre Channel hardware connections depicted in Figure 3-1 and summarises the cluster connections. Table 3-1.
Cabling Your Fibre Channel Storage System Depending on your requirements, you can configure your Oracle database Fibre Channel cluster storage system in one of the following configurations: • Direct-attached Fibre Channel (see Figure 3-2) • Four-port SAN-attached Fibre Channel (see Figure 3-3) Configuring Direct-Attached Fibre Channel To configure the nodes in a direct-attached Fibre Channel configuration: 1 Connect one optical cable from HBA 0 on node 1 to port 0 of SP-A.
Configuring SAN-Attached Fibre Channel To configure your nodes in a four-port SAN-attached configuration: 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1. 3 Connect one optical cable from SP-A port 2 to Fibre Channel switch 0. 4 Connect one optical cable from SP-A port 3 to Fibre Channel switch 1. 5 Connect one optical cable from SP-B port 0 to Fibre Channel switch 1.
Figure 3-3.
Setting Up a Fibre Channel Cluster
Setting Up a SAS Cluster for the Dell PowerVault MD3000 and MD1000 Expansion Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell™ Regulatory Compliance website at www.dell.com/regulatory_compliance.
Figure 4-1. Cabling the Serial-Attached SCSI (SAS) Cluster and the Dell PowerVault MD3000 Storage Enclosure Client Systems Private Network DNS and DHCP Server LAN/WAN PowerEdge Systems PowerVault MD3000 Storage System Two PowerVault MD1000 Expansion Enclosures Table 4-1.
Table 4-1. SAS Cluster Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000 storage enclosure • Two CAT 5e/6 cables connected to LAN (one from each storage processor module) • Two SAS connections to each PowerEdge system node through the SAS 5/E cables NOTE: For more information on the PowerVault MD3000 storage enclosure interconnection, see "Setting Up the Hardware" on page 35.
6 If applicable, connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second PowerVault MD1000 expansion enclosure. NOTE: For information on configuring the PowerVault MD1000 expansion enclosure, see the PowerVault MD1000 storage system documentation at support.dell.com/manuals. Figure 4-2.
Installing Host-Based Storage Software To install the necessary host-based storage software for the PowerVault MD3000 storage enclosure, use the Dell PowerVault Resource media that shipped with the system. To install the Modular Disk Storage Manager (MDSM) software on the master node and the Multi-Path Input/Output (MPIO) software on the remaining nodes, follow the procedures in the PowerVault MD3000 storage enclosure documentation.
Performing the Post Installation Tasks After installing the drivers and the software, perform the post installation tasks listed in the PowerVault MD3000 Installation Guide. Create the environment shown in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation, and the Linux Guide. Both documents are available at support.dell.com/manuals. NOTE: It is recommended that you configure the disks for the LUNs in a RAID 10 configuration.
Setting Up an iSCSI Cluster for the Dell™ PowerVault™ MD3000i and MD1000 Storage Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Table 5-1. iSCSI Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000i storage system • Two CAT 5e/6 cables connected to LAN (one from each storage processor module) for the management interface • Two CAT 5e/6 cables per storage processor for iSCSI interconnect NOTE: For additional information on the PowerVault MD3000i storage enclosure, see the PowerVault MD3000i documentation at support.dell.com/manuals.
To configure your nodes in a direct-attached configuration, see Figure 5-1, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the In-0 port of RAID controller 0 in the PowerVault MD3000i storage enclosure. 2 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 1 to the In-0 port of RAID controller 1 in the PowerVault MD3000i storage enclosure.
Figure 5-2. Cabling iSCSI Switched Clusters Upto 16 Standalone Host Systems IP SAN (Dual Gigabit Ethernet Switches) LAN/WAN Ethernet Management Port CAT 5e/6 (Public NIC) Fibre Optic Cables PowerVault MD3000i RAID Enclosure (Dual-Controller) To configure your nodes in a switched configuration, see Figure 5-2, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1.
8 Connect one CAT 5e/6 cable from the other port of switch 2 to the In-1 port of RAID controller 1 in the PowerVault MD3000i storage enclosure. 9 If applicable, connect two SAS cables from the two PowerVault MD3000i storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 10 If applicable, connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the In-0 ports of the second PowerVault MD1000 expansion enclosure.
Verifying and Upgrading the Firmware 1 Discover the direct-attached storage of the host system using the Modular Disk Storage Manager software that is installed on the host system. 2 Verify that the firmware for the following storage components is at the minimum required version. • MD3000i storage system firmware • MD1000 expansion enclosure firmware NOTE: For the minimum firmware version requirements, select the Dell Validated Components link at dell.com/oracle.
Setting Up an iSCSI Cluster for the Dell EqualLogic PS Series Storage System WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell™ Regulatory Compliance website at www.dell.com/regulatory_compliance. EqualLogic Terminology The EqualLogic™ PS series storage array includes storage virtualization technology.
Setting Up the EqualLogic iSCSI Storage System Host systems can be attached to the EqualLogic PS5000XV iSCSI array through an IP SAN industry-standard Gigabit Ethernet switch. Figure 6-1 shows the recommended network configuration for a dual control module EqualLogic PS5000XV array. This configuration includes two Dell PowerConnect™ 6200 series Gigabit Ethernet switches to provide the highest network availability and the maximum network bandwidth.
Figure 6-2.
An EqualLogic PS-series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated. At any one time, a member can be assigned to only one pool. It is easy to assign a member to a pool and to move a member between pools with no impact to data availability. Pools can be organized according to different criteria, such as disk types or speeds, RAID levels, and application types.
Table 6-1 shows a sample volume configuration. Table 6-1.
Configuring the iSCSI Networks It is recommended to configure the host network interfaces for iSCSI traffic to use Flow Control and Jumbo Frame for optimal performance. Use the ethtool utility to configure Flow Control. Use the following command to check for Flow Control (RX/TX Pause) on the interfaces: # ethtool -a For example: # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on This example shows that Flow Control is already turned on.
Verify the Jumbo Frame setting using the ifconfig command: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 Obtain the hardware address of each network interface on the host used for iSCSI traffic. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, where n is the network interface number. 5 Create an interface for each network interface on the host used for iSCSI traffic. iscsiadm -m iface -I iface_name --op=new, where, iface_name is the name assigned to the interface. iscsiadm -m iface -I iface_name --op=update -n iface.
9 Discover the targets from all ifaces created in step 5. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, where, group_ip_address is the IP address of the EqualLogic storage group, iface_name1, iface_name2, iface_name3, iface_name4, etc, are the network interfaces (as defined in step 5) on the host that is used for iSCSI traffic. For example, the following command discovers four volumes at group IP address 10.16.
10 Verify all volumes are discovered from all the ifaces on the host: iscsiadm -m discovery --print=1 For example: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Log into all targets (volumes) from each interface you created in step 5: iscsiadm -m node -p group_ip_address --interface iface_name --login, where, group_ip_address is the IP address of the EqualLogic storage group, and iface_name is the network interface (as defined in step 5) on the host that is used for iSCSI traffic. The following example logs into three volumes from each of the two ifaces (eth0-iface and eth1-iface) on a host. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Uncomment the following section in /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Add the following section in /etc/multipath.conf. The WWID is obtained from step 1.
The following sample includes configurations of four volumes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Restart the multipath daemon and verify the alias names are displayed in the multipath -l1 output.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Setting Up an iSCSI Cluster
Configuring Database Storage on the Host WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. Oracle® Real Application Clusters (RAC) is a complex database configuration that requires an ordered list of procedures.
Table 7-1.
5 In the /proc/partitions file, ensure that: • All PowerPath pseudo devices appear in the file with similar device names across all nodes. For example: /dev/emcpowera, /dev/emcpowerb, and /dev/emcpowerc. • In the case of the PowerVault MD3000, MD3000i, or the EqualLogic storage array, all the virtual disks or volumes appear in the file with similar device names across all nodes.
Adjusting Disk Partitions for Systems Running the Linux Operating System CAUTION: In a system running the Linux operating system, align the partition table before data is written to the LUN/virtual disk. The partition map is rewritten and all data on the LUN/virtual disk is destroyed. Example: fdisk Utility Arguments The following example indicates the arguments for the fdisk utility. In this example, the LUN is mapped to /dev/emcpowera, and the LUN stripe element size is 128 blocks.
Using the fdisk Utility to Adjust a Disk Partition 1 At the command prompt, type the following: fdisk , where is the name of the partition that you are adjusting. For example, if the partition name is /dev/emcpowera, type: fdisk /dev/emcpowera The system displays the following message: The number of cylinders for this disk is set to 8782.
Configuring Shared Storage for Clusterware, Database and Recovery Files in a RAC Environment Use the ORACLEASM library driver to configure disks for Automatic Storage Management (ASM). To configure the ASM disks: 1 Log in as root.
6 Verify that the ASM disks are created and marked for ASM usage. In the terminal window, type the following and press : service oracleasm listdisks The disks that you created in step 4 are displayed. For example: ASM1 ASM2 7 Ensure that the remaining nodes are able to access the ASM disks that you created in step 4.
Configuring Database Storage on the Host
Index A E alias names, 58 EMC Navisphere, 64 PowerPath, 64 B Enterprise Linux, 8 bonded pair, 12 ethernet switch, 28 C F cable CAT 5e, 28 CAT 6, 28 Fibre Channel direct-attached configuration, 29 SAN-attached configuration, 30 cabling Fibre Channel storage, 29 iSCSI cluster, 40 H certification and training Dell, 8 Oracle, 9 help, 8 Dell support, 8 Oracle support, 9 high availability, 13 D Dell|EMC Fibre Channel storage, 28 switch, 28 Domain Naming Service, 11 I ifconfig, 12 IP address priva
J S Jumbo Frame, 50 SAS cluster setup, 33, 39, 45, 63 L link monitoring, 13 logical unit number, 8 M T term Group, 45 Member, 45 Pool, 45 Volume, 45 Modular Disk Storage Manager, 37 MPIO software, 37 V MTU, 50 virtual disk, 8 volumes, 48 N network bonding, 13 network parameters, 13 NIC port assignments, 11 P PowerConnect switch, 46 PowerPath pseudo devices, 64 R Resource Media PowerVault MD3000, 37 72 Index
Dell™ PowerEdge™ 系统 Enterprise Linux® x86_64 上的 Oracle® Database 存储设备和 网络指南 1.
注、小心和警告 注： “注”表示可以帮助您更好地使用计算机的重要信息。 小心： “小心”表示如果不遵循说明，就有可能损坏硬件或导致数据 丢失。 警告： “警告”表示可能会造成财产损失、人身伤害甚至死亡。 ____________________ 本说明文件中的信息如有更改，恕不另行通知。 © 2010 Dell Inc. 版权所有，翻印必究。 未经 Dell Inc. 书面许可，严禁以任何形式复制这些材料。 本文中使用的商标：Dell、 DELL 徽标、 EqualLogic、 Optiplex、 PowerConnect、 PowerEdge 和 PowerVault 是 Dell Inc.
目录 1 概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部署 Dell|Oracle 数据库所需的说明文件 . . . . . . . 79 . . . . . . . . . . . . . . . 80 . . . . . . . . . . . . . . . . . . . . . . . . 80 本说明文件中使用的术语 获得帮助 . Dell 支持 . . . . . . . . . . . . . . . . . . . . . . Oracle 支持 . 2 配置网络 79 80 . . . . . . . . . . . . . . . . . . . . 80 . . . . . . . . . . . . . . . . . . . . . . . . . 81 配置公用网络 . . . . . . . . . . . . . . . . . . . . . . 利用绑定功能配置专用网络 . . . . . . . . . . . . . . 82 . .
3 设置光纤信道群集 . . . . . . . . . . . . . . . . . 光纤信道群集的硬件连接 光纤信道存储系统布线. 4 . . . . . . . . . . . . . . . 95 . . . . . . . . . . . . . . . . 97 配置直接连接的光纤信道 . . . . . . . . . . . . 97 配置 SAN 连接的光纤信道 . . . . . . . . . . . . 98 设置用于 Dell PowerVault MD3000 和 MD1000 扩展盘柜的 SAS 群集 . 设置硬件 . . . . 101 . . . . . . . . . . . . . . . . . . . . . . . 103 安装基于主机的存储软件 验证并升级固件 . . . . . . . . . . . . . . . 104 . . . . . . . . . . . . . . . . . . . 105 安装 SAS 5/E 适配器驱动程序 执行安装后任务 . 5 . . . . . . . . . .
6 设置用于 Dell EqualLogic PS 系列存 储系统的 iSCSI 群集 . . . . . . . . . . . . . EqualLogic 术语 . 113 . . . . . . . . . . . . . . . . . . . . . . . 116 . . . . . . . . . . . . . . . . . . 配置主机对卷的访问 验证和识别存储磁盘 . 117 . . . . . . . . . . . . . . . 在主机上配置数据库存储设备 . . . . . . . 119 129 129 . . . . . . . . . . . . . . . . . 调整运行 Linux 操作系统的系统的磁盘分区 . 示例：fdisk 公用程序参数 . . . . 131 . . . . . . . . . . . . 131 使用 fdisk 公用程序调整磁盘分区 . . . . . . . . 在 RAC 环境中为群集件、数据库和恢复文件 配置共享存储设备 . . . . . . . . . . . . . . . .
目录
概览 本说明文件提供了一个一般性的指南，介绍如何针对在安装 Red Hat® Enterprise Linux® 或 Oracle® Enterprise Linux 操作系统的系统上运行 Dell|Oracle 数据库来配置网络和存储设备要求。本说明文件适用于在 Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.3 AS x86_64 上运行的 Oracle Database 11g R2。有关您的系统支持的网络和存储设备配置的列表， 请访问 dell.com/oracle 并选择 Dell™ Validated Components（经过验证的 Dell™ 组件）。 部署 Dell|Oracle 数据库所需的说明文件 注：以下说明文件可从 support.dell.
本说明文件中使用的术语 本说明文件中，术语逻辑单元号码 (LUN) 和虚拟磁盘作为同义词使用。 术语 LUN 通常用于 Dell/EMC 光纤信道存储系统环境。术语“虚拟磁盘” 通常在 Dell PowerVault™ 串行连接的 SCSI (SAS)（PowerVault MD3000 和带有 PowerVault MD1000 扩展的 PowerVault MD3000i） 或 Dell EqualLogic iSCSI 存储环境中使用。 注：除非另有说明，否则本说明文件中的术语 Enterprise Linux 同时适用于 Red Hat Enterprise Linux 和 Oracle Enterprise Linux。 获得帮助 Dell 支持 • 有关系统使用方面的详情，请参阅系统组件附带的说明文件。 • 有关白皮书、Dell 支持的配置和一般信息，请访问 dell.com/oracle。 • 要获得对硬件和操作系统软件的 Dell 技术支持并下载最新的系统 更新，请访问 support.dell.com/manuals。 • 与 Dell 联络的有关信息位于 support.
配置网络 本章介绍关于配置公用和专用群集网络的信息。 注：网络中的每个节点都需要一个唯一的公用和专用网际协议 (IP) 地址。 另外，还需要一个用作客户端连接和连接故障转移的虚拟 IP 地址的公用 IP 地址。因此，每个节点共需要三个 IP 地址。虚拟 IP 地址必须与公用 IP 属 于同一个子网。所有公用 IP 地址（包括虚拟 IP 地址）都必须向域命名服务 (DNS) 注册并且必须可路由。有关详情，请参阅第 84 页上的“IP 地址和名称 解析要求”。 如表 2-1 中所示，根据可用 NIC 端口的数量配置接口。 表 2-1.
DEVICE=eth0 ONBOOT=yes IPADDR=< 公用 IP 地址 > NETMASK=< 子网掩码 > BOOTPROTO=static HWADDR= SLAVE=no GATEWAY=< 网关地址 > 3 编辑 /etc/sysconfig/network 文件，如果有必要，使用合格的公用节点名 称替换 localhost.localdomain。 例如，用于节点 1 的命令： hostname=node1.domain.
4 在 /etc/sysconfig/network-scripts/ 目录中，创建或编辑 ifcfg-bond0 配置 文件。 例如，使用示例网络参数时，该文件会显示如下： DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.
安装 User Equivalence 配置 ssh 1 在主节点上，作为用户 root 登录。 2 运行位于 sshsetup 文件夹下、Grid 二进制文件夹中的 sshUserSetup.sh 脚本： sh sshUserSetup.sh -hosts "host1 host2" -user grid – advanced sh sshUserSetup.
表 2-2 介绍了不同的接口、IP 地址设置和群集中的解析。 表 2-2. 使用 GNS 的群集中的 IP 地址设置 接口 类型 解析 公用 静态 /etc/hosts 专用 静态 不需要 节点虚拟 IP DHCP GNS GNS 虚拟 IP 静态 DNS SCAN 虚拟 IP DHCP GNS 配置 DNS 服务器 配置使用 GNS 的 DNS 服务器： 1 配置 DNS 服务器中的 GNS VIP 地址—在 DNS 中，创建名称解析条目用 于转发查找文件中的 GNS 虚拟 IP 地址。 例如：gns-server IN A 192.0.2.2 其中，gns-server 是网格安装期间指定的 GNS 虚拟 IP 地址。您提供的地 址必须可路由并且应处于公用范围内。例如，192.0.2.2。 2 配置 GNS 子域代理—在 DNS 中，创建条目以建立 DNS 查找将 GNS 子 域的 DNS 解析指向群集。将以下内容添加到 DNS 查找文件： clusterdomain.example.com.NS gnsserver.example.
配置 DNS 客户端 配置 DNS 客户端： 1 在 /etc/hosts 文件域名内添加主机条目。在每个节点上，通过键入以下 命令修改 /etc/hosts 文件中的行： 127.0.0.1 localhost.localdomain localhost < 公用 IP 节点 1> < 全限定主机名节点 1> < 公用主机名节点 1> < 公用 IP 节点 2> < 全限定主机名节点 2> < 公用主机名节点 2> 2 在群集中的所有节点上，编辑 resolv.conf 文件以包括解析为 DNS 服务 器的名称服务器条目。 例如，编辑 /etc/resolv.conf 文件如下： options attempts: 2 options timeout: 1 search clusterdomain.example.com example.com nameserver 192.0.2.1 nameserver 192.0.2.2 注：总超时周期（即尝试选项和超时选项的组合）应少于 30 秒。 其中，192.0.2.1 是有效的 DNS 服务器地址，192.0.2.
对于使用 DNS 的群集 使用 Oracle DNS（不带 GNS）设置 Oracle 11g R2 RAC 的基本要求如下： 1 每个节点中至少配置两个接口，一个用于专用 IP 地址，一个用于公用 IP 地址。 2 在 DNS 中配置 SCAN NAME 用于三个地址（建议使用）或至少一个地 址的循环解析。SCAN 地址必须与虚拟 IP 地址和公用 IP 地址位于同一 子网。 注：对于高可用性和可扩展性，Oracle 建议您将 SCAN 配置为使用三个 IP 地址的 循环解析。SCAN 的名称不能以数字开头。要使安装成功，SCAN 必须解析至少一 个地址。 表 2-3 介绍了不同的接口、IP 地址设置和群集中的解析。 表 2-3.
配置 DNS 客户端 配置群集节点所需的更改用于名称解析： 1 在 /etc/hosts 文件中添加主机条目。在每个节点上，通过键入以下命令 修改 /etc/hosts 文件中的行： 127.0.0.1 localhost.localdomain localhost < 公用 IP 节点 1> 节点 1> < 全限定主机名节点 1> < 公用主机名 < 公用 IP 节点 2> 节点 2> < 全限定主机名节点 2> < 公用主机名 < 虚拟 IP 节点 1> 名节点 1> < 全限定虚拟主机名节点 1> < 虚拟主机 < 虚拟 IP 节点 2> 名节点 2> < 全限定虚拟主机名节点 2> < 虚拟主机 2 必须在群集中的节点上配置 resolv.conf，以包含可解析为 DNS 服务器 的名称服务器条目。提供类似如下的条目： /etc/resolv.conf: search ns1.domainserver.com nameserver 192.0.2.100 其中，192.0.2.100 是网络中有效的 DNS 服务器地址， 而 ns1.domainserver.
启用 IPMI 智能平台管理接口 (IPMI) 提供一组硬件和固件常用接口，系统管理员可以 用来监测系统运行状况并管理系统。通过 Oracle 11g R2，Oracle 群集件可以 集成 IPMI 以提供故障隔离支持和确保群集完整性。 启用 IPMI 的前提条件 每个群集节点需要一个底板管理控制器 (BMC)，该控制器运行与 IPMI 版本 1.5 或更高版本兼容的固件并且配置为使用 LAN 进行远程控制。 注：建议您对 IPMI 使用专用的管理网络（DRAC 端口）。 ipmitool 所需的 Linux rpm 为 OpenIPMI-tools-2.0.6-11.el5.x86_64.
使用 IPMItool 配置 BMC 通过以下示例使用 ipmitool 版本 2.0 配置 BMC： 1 作为 root 登录。 2 验证 ipmitool 是否使用 IPMI 驱动程序与 BMC 进行通信。通过以下 命令检查输出中的设备 ID： # ipmitool bmc info Device ID : 32（设备 ID：32） Device Revision : 0（设备修订版本：0） Firmware Revision : 0.20（固件修订版本：0.20） IPMI Version : 2.0（IPMI 版本：2.
4 使用以下步骤之一配置 IPMI 的 IP 地址设置： • 使用动态 IP 寻址—动态 IP 寻址是 Oracle Universal Installer 假定 的默认设置。建议您选择此选项以便更轻松地从群集添加或删除 节点，因为这会自动分配地址设置。 例如，如果是通道 1，则输入以下命令以启用 DHCP 并设置该通道： # ipmitool lan set 1 ipsrc dhcp 注：使用 DHCP 要求 DHCP 服务器位于子网上。 • 使用静态 IP 寻址—如果 BMC 与操作系统共享网络连接，则 IP 地 址必须位于同一子网中。您不但要设置 IP 地址，而且要设置适当 的子网掩码值和默认网关。例如，假定是通道 1： # ipmitool lan set 1 ipaddr 192.168.0.55 # ipmitool lan set 1 netmask 255.255.255.0 # ipmitool lan set 1 defgw ipaddr 192.168.0.1 示例中指定的地址 (192.168.0.
c 分配所需的管理员用户名和密码，然后启用已标识插槽的消息 传送。同时将该插槽在 LAN 上访问 （通道 1）的权限级别设置为 ADMIN （4 级）。例如： # ipmitool user set name 4 bmcuser # ipmitool user set password 4 password # ipmitool user enable 4 # ipmitool channel setaccess 1 4 privilege=4 # ipmitool channel setaccess 1 4 link=on # ipmitool channel setaccess 1 4 ipmi=on 其中 bmcuser 是管理用户名，而 password 是密码。 d 使用命令 lan print 1 验证设置。输出应显示类似如下： # ipmitool lan print 1 Set in Progress : Set Complete（设置进度：设置已 完成） Auth Type Support : NONE MD2 MD5 PASSWORD（验证 类型支持：无 MD2 MD5 密码） Au
MAC Address : 00:14:22:23:fa:f9（MAC 地址： 00:14:22:23:fa:f9） SNMP Community String : public（SNMP 团体字符串： public） IP Header : TTL=0x40 Flags=0x40 Precedence=… （IP 标头：TTL=0x40 Flags=0x40 Precedence=…） Default Gateway IP : 192.168.0.1（默认网关 IP： 192.168.0.1） Default Gateway MAC : 00:00:00:00:00:00 （默认网关 MAC：00:00:00:00:00:00） . . .
6 从群集中的远程节点使用 bmc info 命令验证 BMC 是否可访问并可 控制。 例如，如果 node2-ipmi 是分配给 BMC 用于 node2 的网络主机名， 然后要从 node1 验证 node2 上的 BMC，请在 node1 中输入以下 命令： $ ipmitool -H node2-ipmi -U bmcuser -P password bmc info 其中 bmcuser 是管理员帐户，而 password 是密码。 如果 BMC 已正确配置，将在远程节点中显示关于 BMC 的信息。 如果您看到错误信息（例如，Error: Unable to establish LAN session [ 错误：无法建立 LAN 会话 ]），则必须检查远程 节点中的 BMC 配置。 94 配置网络
设置光纤信道群集 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） 网站 www.dell.com/regulatory_compliance。 本章帮助您验证硬件连接，以及光纤信道群集的硬件和软件配置。 光纤信道群集的硬件连接 图 3-1 展示了光纤信道群集的硬件连接。 图 3-1.
表 3-1 列出了图 3-1 中描述的光纤信道硬件连接并总结了群集连接。 表 3-1.
光纤信道存储系统布线 根据您的需要，可在以下其中一个配置中对 Oracle 光纤信道群集存储系统 进行配置： • 直接连接的光纤信道（请参阅图 3-2） • 四个端口的 SAN 连接光纤信道（请参阅图 3-3） 配置直接连接的光纤信道 在直接连接的光纤信道配置中配置节点： 1 使用一根光缆从节点 1 上的 HBA 0 连接至 SP-A 的端口 0。 2 使用一根光缆从节点 1 上的 HBA 1 连接至 SP-B 的端口 0。 3 使用一根光缆从节点 2 上的 HBA 0 连接至 SP-A 的端口 1。 4 使用一根光缆从节点 2 上的 HBA 1 连接至 SP-B 的端口 1。 图 3-2 展示了直接连接的光纤信道群集中的电缆连接。 图 3-2.
配置 SAN 连接的光纤信道 在四个端口的 SAN 连接配置中配置节点： 1 使用一根光缆从 SP-A 端口 0 连接至光纤信道交换机 0。 2 使用一根光缆从 SP-A 端口 1 连接至光纤信道交换机 1。 3 使用一根光缆从 SP-A 端口 2 连接至光纤信道交换机 0。 4 使用一根光缆从 SP-A 端口 3 连接至光纤信道交换机 1。 5 使用一根光缆从 SP-B 端口 0 连接至光纤信道交换机 1。 6 使用一根光缆从 SP-B 端口 1 连接至光纤信道交换机 0。 7 使用一根光缆从 SP-B 端口 2 连接至光纤信道交换机 1。 8 使用一根光缆从 SP-B 端口 3 连接至光纤信道交换机 0。 9 使用一根光缆从节点 1 上的 HBA 0 连接至光纤信道交换机 0。 10 使用一根光缆从节点 1 上的 HBA 1 连接至光纤信道交换机 1。 11 使用一根光缆从节点 2 上的 HBA 0 连接至光纤信道交换机 0。 12 使用一根光缆从节点 2 上的 HBA 1 连接至光纤信道交换机 1。 98 设置光纤信道群集
图 3-3 展示了 SAN 连接的光纤信道群集中的电缆连接。 图 3-3.
设置光纤信道群集
设置用于 Dell PowerVault MD3000 和 MD1000 扩展盘柜的 SAS 群集 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践信息，请参阅 Dell™ Regulatory Compliance （Dell 管制标准） 网站 www.dell.
图 4-1. 串行连接的 SCSI (SAS) 群集和 Dell PowerVault MD3000 存储设备盘柜布线 客户端系统 DNS 和 DHCP 服务器 专用网络 LAN/WAN PowerEdge 系统 PowerVault MD3000 存储系统 两个 PowerVault MD1000 扩展盘柜 CAT 5e/6 （公用 NIC） CAT 5e/6 （铜质千兆位 NIC） 光缆 表 4-1.
设置硬件 SAS 群集只能安装在直接连接的群集中并且仅限于两个节点。 在直接连接的配置中配置节点： 1 使用一根 SAS 电缆从节点 1 的 SAS 控制器的一个端口连接至 PowerVault MD3000 存储设备盘柜中 RAID 控制器 0 的 In-0 端口。 2 使用一根 SAS 电缆从节点 1 的 SAS 控制器的另一个端口连接至 PowerVault MD3000 存储设备盘柜中 RAID 控制器 1 的 In-0 端口。 3 使用一根 SAS 电缆从节点 2 的 SAS 控制器的一个端口连接至 PowerVault MD3000 存储设备盘柜中 RAID 控制器 0 的 In-1 端口。 4 使用一根 SAS 电缆从节点 2 的 SAS 控制器的另一个端口连接至 PowerVault MD3000 存储设备盘柜中 RAID 控制器 1 的 In-1 端口。 5 如果可用，使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备盘 柜 Out（输出）端口连接至第一个 PowerVault MD1000 扩展盘柜的两 个 In（输入）端口。 6 如果可用，使用两根 SAS 电缆从
图 4-2.
验证并升级固件 1 使用安装在主机系统中的 MDSM 软件搜索直接连接的主机系统存储 设备。 2 验证以下存储设备组件的固件是否满足最低所需版本： • RAID 控制器固件 • PowerVault MD3000 存储系统固件 • PowerVault MD1000 扩展盘柜固件 注：有关最低固件版本要求，请选择 dell.com/oracle 上的 Dell Validated Components（经过验证的 Dell 组件）链接。 安装 SAS 5/E 适配器驱动程序 从 PowerVault MD3000 Resource 介质安装 SAS 5/E 驱动程序。 注：确保 SAS 5/E 驱动程序的版本与 Solution Deliverable List （可提供的解决 方案列表，SDL）中列出的版本相同或者更新，各个经 Dell 认证的组件的 SDL 都可在 dell.
设置 SAS 群集
设置用于 Dell™ PowerVault™ MD3000i 和 MD1000 存储设备盘柜 的 iSCSI 群集 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） 网站 www.dell.com/regulatory_compliance。 本节提供有关如何配置 Dell PowerEdge™ 系统以及 PowerVault MD3000i 和 MD1000 存储设备盘柜，使其能在 Oracle® Real Application Cluster (RAC) 环境中正常运行的信息和步骤。 通过 support.dell.com/manuals 上的 Dell PowerVault MD3000i Support Matrix （Dell PowerVault MD3000i 支持值表）的 Supported Configuration（支持的 配置）部分，验证硬件连接以及硬件和软件配置。 表 5-1.
设置硬件 直接连接的 iSCSI 群集仅限于两个节点。 图 5-1.
6 如果可用，使用两根 SAS 电缆从两个 PowerVault MD1000 存储设备盘 柜输出端口连接至第二个 MD1000 扩展盘柜的两个 In-0 端口。 注：有关配置 PowerVault MD1000 扩展盘柜的信息，请参阅 support.dell.com/manuals 上的 PowerVault MD3000i 存储系统说明文件。 交换式 iSCSI 群集可以支持最多八个节点。 图 5-2.
要在交换式配置（请参阅图 5-2）中配置节点，请完成以下步骤： 1 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 1 的端口。 2 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 2 的端口。 3 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 1 的端口。 4 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 2 的端口。 5 使用一根 CAT 5e/6 电缆从交换机 1 的一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-0 端口。 6 使用一根 CAT 5e/6 电缆从交换机 1 的另一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-0 端口。 7 使用一根 CAT 5e/6 电缆从交换机 2 的一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器
安装存储设备所需的基于主机的软件 要安装用于 PowerVault MD3000i 存储系统的基于主机的必需存储软件， 请使用随 PowerVault MD3000i 存储系统附带的 Dell PowerVault Resource 介质。按照 support.dell.com/manuals 上提供的 PowerVault MD3000i 存储设 备盘柜说明文件中的步骤进行操作，在主节点上安装 Modular Disk Storage Manager 软件并在其余节点上安装多路径 (MPIO) 软件。 验证并升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager 软件搜索直接 连接的主机系统存储设备。 2 验证以下存储组件的固件是否满足最低所需版本。 • MD3000i 存储系统固件 • MD1000 扩展盘柜固件 注：有关最低固件版本要求，请选择 dell.com/oracle 上的 Dell Validated Components（经过验证的 Dell 组件）链接。 安装后任务 安装驱动程序和软件后，请执行位于 support.dell.
设置 iSCSI 群集
设置用于 Dell EqualLogic PS 系列 存储系统的 iSCSI 群集 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践信息，请参阅 Dell™ Regulatory Compliance （Dell 管制标准） 网站 www.dell.
图 6-1.
图 6-2. 配置带有三个 PS5000XV 阵列的示例 Oracle® RAC Dell™ Optiplex™ 台式机 DNS 和 DHCP 服务器 公用网络 RAC 专用互连 iSCSI SAN LAN/WAN PowerConnect 千兆位以太网交换机 链路聚合组 PowerConnect 6200 系列千 兆位以太网交换机 高带宽交换机之间 的链路 Dell EqualLogic PS 系列以太网交换机 存储设备成员 oracle-member01 存储设备成员 oracle-member02 OCR 和 CSS 投票磁 盘卷 存储设备成员 oracle-member03 快擦写恢复区域卷 数据卷 RAID 5 存储池 RAID 10 存储池 存储组：oracle-group 注：有关如何初始化 EqualLogic 阵列的详情，请参阅 support.dell.
一个 EqualLogic PS 系列存储组可以分离到多个层或池中。层叠存储可使管 理员更好地控制磁盘资源的分配方式。每次可将一个成员仅分配到一个池。 将成员分配到池以及在不同池间移动成员很容易，而且不会影响数据的可 用性。池可以根据不同标准（如磁盘类型或速度、RAID 级别和应用类型） 加以组织。 在图 6-2 中，池按照成员 RAID 级别进行组织： • 一个名称为 RAID 10 的池由 RAID10 成员组成。 • 一个名称为 RAID 5 的池由 RAID5 成员组成。 创建卷 能够存储数据之前，EqualLogic PS5000XV 存储阵列的物理磁盘必须配置为 可使用组件（称为卷）。卷代表存储池的一部分，具有具体大小、访问控制 和其它属性。卷可以跨越多个磁盘和组成员。它在网络上显示为 iSCSI 目标 设备。卷分配给池并可以在不同的池间轻松移动，而且不会影响数据的可 用性。此外，池还将根据池中的存储设备硬件资源的总工作负载进行自动数 据分布和自动负载平衡。 116 设置 iSCSI 群集
表 6-1 是一个卷配置示例。 表 6-1.
通过添加 MTU="" 参数，即可在 /etc/sysconfig/networkscripts/ifcfg-< 接口 > 脚本中配置超长帧。 以下示例中，MTU 被设置为 9000。 # cat /etc/sysconfig/network-scripts/ifcfg-eth2 DEVICE=eth2 HWADDR=00:15:17:80:43:50 ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPADDR=10.16.7.125 NETMASK=255.255.255.0 USERCTL=no MTU=9000 请使用 ifconfig 命令来验证超长帧设置： $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.
配置主机对卷的访问 本节介绍关于通过 iscsiadm 工具配置到 iSCSI 卷的主机访问权限的信息。 iscsiadm 工具即 open-iSCSI 管理公用程序。 1 作为 root 用户登录到系统。验证是否所有主机系统上都已安装 openiSCSI 启动程序软件： rpm -qa|grep -i iscsi-initiator 如果安装了 open-iSCSI 启动程序 RPM，将显示以下输出： iscsi-initiator-utils-6.2.0.868-0.7.
7 修改主机上 /etc/iscsi/iscsid.conf 中的 CHAP 信息。 node.session.auth.username = username node.session.auth.password = password discovery.sendtargets.auth.username = username discovery.sendtargets.auth.
10 验证是否已从所有主机接口搜索所有卷：iscsiadm -m discovery --print=1 例如： # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.
11 从步骤 5 中创建的每个接口登录到所有目标（卷）： iscsiadm -m node -p group_ip_address --interface iface_name --login, 其中，group_ip_address 是 EqualLogic 存储组中的 IP 地址， 而 iface_name 是用于 iSCSI 通信的主机上的网络接口（如步骤 5 中 定义）。 以下示例介绍如何从主机上的两个接口（eth0-iface 和 eth1-iface） 分别登录到三个卷。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 取消 /etc/multipath.conf 中以下部分的注释。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 在 /etc/multipath.
以下示例包括四个卷的配置。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 126 设置 iSCSI 群集 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1
5 重新启动多路径守护程序，并验证是否在 multipath -l1 输出中显示 别名。 service multipathd restart multipath -ll 例如： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 验证是否已创建 /dev/mapper/* 设备。这些设备名称必须用于访问后续 各部分中的多路径设备以及与这些设备交互。 例如： # ls -lt /dev/mapper/* crw------- 1 root root 10, /dev/mapper/control brw-rw---- 1 root disk 253, /dev/mapper/data1 brw-rw---- 1 root disk 253, /dev/mapper/data2 brw-rw---- 1 root disk 253, /dev/mapper/fra1 brw-rw---- 1 root disk 253, /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, /dev/mapper/osvg-home brw-rw---- 1 root disk 253, /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, /dev/ma
在主机上配置数据库存储设备 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） 网站 www.dell.
要验证是否所有节点均能检测每个存储 LUN 或逻辑磁盘，请按照以下步骤 执行： 1 对于 Dell/EMC 光纤信道存储系统，请验证每个节点上是否均已安装 EMC® Navisphere® 代理程序和正确版本的 PowerPath®。验证每个节 点是否已分配到 EMC Navisphere 软件中正确的存储组中。有关说明， 请参阅随 Dell/EMC 光纤信道存储系统附带的说明文件。 注：如果要在节点上安装群集或重新安装软件，则必须执行步骤 1。 2 通过目测检查来验证存储设备和节点是否已正确连接至光纤信道交换 机（请参阅图 3-1 和表 3-1）。 3 验证您是否已作为 root 登录。 4 在每个节点上，键入： more /proc/partitions 节点将检测并显示 LUN 或逻辑磁盘，以及在这些外部设备上创建的 分区。 注：列出的设备可能有所不同，具体视存储系统的配置而定。 屏幕将显示一个列表，其中列出节点检测到的 LUN 或逻辑磁盘以及在 这些外部设备上创建的分区。列表中还将显示 PowerPath 虚拟设备， 如 /dev/emcpowera、/dev/emcpowerb 和 /dev/emc
• 外部存储设备的逻辑卷显示为 SCSI 设备，并且每个节点配置相同 数目的 LUN、虚拟磁盘或卷。例如，如果节点配置为已连接 SCSI 驱动器或 RAID 容器： 在具有三个逻辑磁盘的光纤信道存储设备中： sda 标识节点的 RAID 容器或内部驱动器 • emcpowera、 emcpowerb 和 emcpowerc 标识 LUN （或 PowerPath 虚拟设备） • 在具有三个虚拟磁盘的直接连接的 SAS 或 iSCSI 存储设备中： • sda 标识节点的 RAID 容器或内部驱动器 sdb、 sdc 和 sdd 标识外部存储逻辑卷 • 6 如果外部存储设备未出现在 /proc/partitions 文件中，请重新启动该 节点。 调整运行 Linux 操作系统的系统的磁盘分区 小心： 在运行 Linux 操作系统的系统中，请在数据写入到 LUN/ 虚拟磁盘之前 对齐分区表。否则分区映射将会重新写入并且破坏 LUN/ 虚拟磁盘上的所有 数据。 示例：fdisk 公用程序参数 以下示例表示 fdisk 公用程序的参数。在本例中，LUN 映射到 /dev/emcpowera，而 LUN 磁
使用 fdisk 公用程序调整磁盘分区 1 在命令提示符下，键入以下命令： fdisk < 分区名称 >， 其中 < 分区名称 > 是您要调整的分区的名称。 例如，如果分区名称为 /dev/emcpowera，键入： fdisk /dev/emcpowera 系统会显示以下信息： The number of cylinders for this disk is set to 8782.（此磁盘的磁柱数量设置为 8782。） There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with:（这并没有问题，但由于该值大于 1024，因此可能会在特定设置中导致以下问题：） 1) software that runs at boot time (e.g.
在 RAC 环境中为群集件、数据库和恢复文件 配置共享存储设备 使用 ORACLEASM 库驱动程序配置用于自动存储管理 (ASM) 的磁盘。配置 ASM 磁盘： 1 作为 root 登录。 2 打开终端窗口，并在所有节点上执行以下步骤： a 键入 service oracleasm configure b 对所有节点输入以下内容： Default user to own the driver interface [ ]:grid （拥有驱动程序接 口的默认用户 [ ]：grid） Default group to own the driver interface [ ]:asmadmin（拥有驱动 程序接口的默认组 [ ]：asmadmin） 引导时启动 Oracle ASM 库驱动程序 (y/n) [n]:y 引导时修复 Oracle ASM 磁盘的权限 (y/n) [y]:y 3 仅当 RAC 配置使用 EqualLogic iSCSI 存储设备和 Linux Device Mapper Multipath 驱动程序时，才执行此步骤。 a 将 /etc/sysconfig/oracleasm
6 验证是否已创建和标记针对 ASM 用途的 ASM 磁盘。在终端窗口中， 键入以下命令并按 键： service oracleasm listdisks 此时将显示在步骤 4 中创建的磁盘。例如： ASM1 ASM2 7 确保其余节点可以访问您在步骤 4 中创建的 ASM 磁盘。在其余每个节 点上，打开终端窗口，键入以下命令并按 键： service oracleasm scandisks 134 在主机上配置数据库存储设备
索引 D N Dell|EMC 光纤信道 存储设备 , 96 交换机 , 96 NIC 端口分配 , 81 E P PowerConnect 交换机 , 113 EMC Navisphere, 130 PowerPath, 130 PowerPath 虚拟设备 , 130 Enterprise Linux, 80 S I SAS 群集设置 , 101, 107, 113, 129 ifconfig, 82 IP 地址 公用 IP 地址 , 81 虚拟 IP 地址 , 81 专用 IP 地址 , 81 Z 帮助 , 80 Dell 支持 , 80 Oracle 支持 , 80 绑定对 , 81 M Modular Disk Storage Manager, 104 MPIO 软件 , 104 MTU, 118 别名 , 125 布线 iSCSI 群集 , 108 光纤信道存储设备 , 97 超长帧 , 118 电缆 CAT 5e, 96 CAT 6, 96 索引 135
高可用性 , 82 光纤信道 SAN 连接配置 , 98 直接连接配置 , 97 卷 , 116 链接监测 , 82 逻辑单元编号 , 80 认证与培训 Dell, 80 Oracle, 80 术语 成员 , 113 池 , 113 卷 , 113 组 , 113 网络绑定 , 82 网络参数 , 83 虚拟磁盘 , 80 以太网交换机 , 96 域命名服务 , 81 资源介质 PowerVault MD3000, 105 136 索引
Oracle® Database sous Enterprise Linux® x86_64 pour systèmes Dell™ PowerEdge™ Guide de stockage et de mise en réseau Version 1.
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION indique un risque de dommage matériel ou de perte de données en cas de non-respect des instructions. AVERTISSEMENT : Un AVERTISSEMENT vous avertit d'un risque d'endommagement du matériel, de blessure corporelle ou de mort.
Table de matières 1 Présentation . . . . . . . . . . . . . . . . . . . . . Documentation requise pour déployer Dell|Oracle Database . . . . . . . . . 143 . . . . . . . . . . . . 144 Obtention d'aide . . . . . . . . . . . . . . . . . . . . . 144 Support Dell . . . . . . . . . . . . . . . . . . . . . 144 Terminologie utilisée dans le présent document . Support Oracle 2 143 145 . . . . . . . . . . . . . . . . . . . Configuration du réseau . . . . . . . . . . . .
3 Configuration d'un cluster Fibre Channel Connexions matérielles pour un cluster Fibre Channel . . . . . . . . . . . . . 163 . . . . . . . . . . . . . 163 Câblage du système de stockage Fibre Channel 4 . . . 166 Configuration Fibre Channel à connexion directe . . . . . . . . . . . . . . . . 166 Configuration Fibre Channel à connexion SAN . . . . . . . . . . . . . . . . . 167 Configuration d'un cluster SAS pour les châssis d'extension Dell PowerVault MD3000 et MD1000 . . . . . . . . . . . .
5 Configuration d'un cluster iSCSI pour les châssis de stockage Dell™ PowerVault ™ MD3000i et MD1000 . . . . . . . . . . . . . . . . . . Configuration du matériel . . . . . Tâches de post-installation 179 . . . . . . . . . . . . . 180 . . . . . . . . . . . . . . . 180 Vérification et mise à niveau du micrologiciel . Configuration d'un cluster iSCSI pour le système de stockage Dell EqualLogic série PS . . . . . . . Terminologie EqualLogic 176 . . . . . . . . . . . . . . . .
7 Configuration du stockage de la base de données sur l'hôte . . . . . 199 . . . . . . 199 . . . . . . . . . . 202 Vérification et identification des disques de stockage . . . . . . . . . . . . . . . . Définition des partitions de disque pour les systèmes exécutant Linux Exemple : arguments de l'utilitaire fdisk . . . . . 202 Utilisation de fdisk pour le paramétrage d'une partition de disque . . . . . . . . . . . . . 203 . . . . . . . 204 . . . . . . . . . . . . . . . . . . . . . . . . . .
Présentation Ce document est un guide général de configuration des composants de stockage et réseau requis pour exécuter la base de données Dell|Oracle sur un système sur lequel le système d'exploitation Red Hat® Enterprise Linux® ou Oracle® Enterprise Linux est installé. Il s'applique à Oracle Database 11g R2 exécuté sur Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.3 AS x86_64. Pour la liste des configurations de stockage et réseau prises en charge par votre système, accédez à dell.
Terminologie utilisée dans le présent document Dans ce document, les termes LUN (numéro d'unité logique) et disque virtuel sont synonymes. Le terme LUN est généralement utilisé pour les environnements de systèmes de stockage Fibre-Channel Dell/EMC. Le terme disque virtuel est plutôt réservé aux environnements de stockage SAS Dell PowerVault™ (PowerVault MD3000 et PowerVault MD3000i avec châssis d'extension PowerVault MD1000) ou iSCSI Dell EqualLogic.
Support Oracle • Pour des informations sur les formations relatives au logiciel Oracle et au clusterware de l'application, mais aussi pour contacter Oracle, voir oracle.com ou votre documentation Oracle. • Pour le support technique, les fichiers téléchargements et d'autres informations techniques, voir le site Web metalink.oracle.com.
Présentation
Configuration du réseau Cette section fournit des informations sur la configuration du réseau de clusters publics et privés. REMARQUE : Chaque nœud d'un réseau doit posséder une adresse IP publique et privée unique. Une adresse IP publique supplémentaire doit être utilisée comme adresse IP virtuelle pour les connexions des clients et le basculement en cas de panne. De ce fait, il faut au total trois adresses IP pour chaque nœud.
Configuration du réseau public REMARQUE : Vérifiez que l'adresse IP publique est valide et routable. REMARQUE : Pour le réseau privé, les deux ports de carte réseau avec lien réseau doivent être sur des bus PCI distincts. Par exemple, une paire avec lien peut être composée d'une carte réseau intégrée et d'une carte réseau supplémentaire. Pour configurer le réseau public sur chaque nœud : 1 Ouvrez une session en tant que root.
Configuration du réseau privé à l'aide de liens (bonding) Avant de déployer le cluster, vous devez configurer le réseau privé de manière à permettre aux nœuds de communiquer entre eux. Pour ce faire, il est nécessaire de configurer des liens réseau et d'attribuer une adresse IP privée et un nom d'hôte à chaque nœud du cluster.
5 Pour chaque périphérique membre d'un lien, effectuez les opérations suivantes : a Dans le répertoire /etc/sysconfig/network-scripts/, modifiez le fichier ifcfg-ethn : DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Tapez service network restart et ne tenez pas compte des avertissements. 6 Sur chaque nœud, tapez ifconfig pour vérifier le bon fonctionnement de l'interface privée.
Configuration des équivalences d'utilisateurs Configuration de la commande ssh 1 Sur le nœud principal, ouvrez une session en tant qu'utilisateur root. 2 Exécutez le script sshUserSetup.sh qui se trouve dans le sous-dossier binaire Grid du dossier sshsetup : sh sshUserSetup.sh -hosts "host1 host2" -user grid –advanced sh sshUserSetup.sh -hosts "host1 host2" -user oracle –advanced où host1 et host2 correspondent aux noms des nœuds du cluster.
Le tableau 2-2 décrit les différents interfaces, paramètres d'adresses IP et résolutions d'un cluster. Tableau 2-2.
Configuration d'un client DNS Pour configurer un client DNS : 1 Ajoutez les entrées hôtes dans le nom de domaine du fichier /etc/hosts. Sur chaque nœud, modifiez les lignes du fichier /etc/hosts en tapant : 127.0.0.1 localhost.localdomain localhost 2 Sur tous les nœuds du cluster, ajoutez dans le fichier resolv.
Pour un cluster utilisant un serveur DNS Les exigences minimales pour installer un cluster Oracle 11g R2 RAC à l'aide d'un serveur DNS Oracle (sans GNS) sont les suivantes : 1 Au moins deux interfaces configurées sur chaque nœud, une pour l'adresse IP privée et une pour l'adresse IP publique. 2 Un NOM SCAN configuré sur le serveur DNS pour la résolution “round robin” (répétition alternée) vers trois adresses (recommandé) ou au moins une adresse.
Configuration d'un serveur DNS Pour configurer les modifications sur un serveur DNS pour un cluster Oracle 11g R2 avec un DNS (sans GNS) : 1 Configurez la résolution NOM SCAN sur le serveur DNS. Sur le serveur DNS, créez une entrée de résolution de nom pour l'adresse IP virtuelle du serveur GNS dans le fichier de recherche. Par exemple : scancluster IN A 192.0.2.1 IN A 192.0.2.2 IN A 192.0.2.3 où scancluster correspond au NOM SCAN fourni lors de l'installation de la grille.
2 Vous devez configurer le fichier resolv.conf sur les nœuds du cluster en y ajoutant des entrées serveurs de noms qui peuvent être résolues vers le serveur DNS. Spécifiez une entrée similaire à celle-ci : /etc/resolv.conf: search ns1.domainserver.com nameserver 192.0.2.100 où 192.0.2.100 correspond à une adresse de serveur DNS valide de votre réseau, et ns1.domainserver.com au serveur de domaine de votre réseau. 3 Vérifiez l'ordre de la configuration. Le fichier /etc/nsswitch.
Configuration du pilote Open IPMI 1 Ouvrez une session en tant que root. 2 Pour activer le service IPMI, tapez : Chkconfig ipmi on 3 Pour démarrer le service IPMI, tapez : Service ipmi start 4 Exécutez la commande /sbin/lsmod|grep ipmi pour vérifier que les modules IPMI ont été chargés.
Configuration du contrôleur BMC à l'aide d'IPMItool Utilisez l'exemple suivant pour configurer le contrôleur BMC avec ipmitool version 2.0 : 1 Ouvrez une session en tant que root. 2 Vérifier que ipmitool communique avec le contrôleur BMC à l'aide du pilote IPMI. Utilisez les commandes suivantes pour vérifier l'ID du périphérique dans la sortie : # ipmitool bmc info Device ID : 32 Device Revision : 0 Firmware Revision : 0.20 IPMI Version : 2.
4 Configurez les paramètres d'adresses IP du service IPMI en utilisant les procédures ci-dessous : • Avec l'adressage IP dynamique—L'adressage IP dynamique est l'option par défaut dans Oracle Universal Installer. Il est recommandé de la sélectionner afin de pouvoir ajouter ou supprimer facilement des nœuds, car elle permet d'attribuer automatiquement les paramètres d'adresses.
b Affichez la liste des emplacements de comptes sur le contrôleur BMC, puis identifiez un emplacement non utilisé (ID d'utilisateur avec champ de nom d'utilisateur vide). Par exemple : # ipmitool channel getaccess 1 . . . User ID : 4 User Name : Fixed Name : No Access Available : call-in / callback Link Authentication : disabled IPMI Messaging : disabled Privilege Level : NO ACCESS . . .
d Vérifiez la configuration à l'aide de la commande lan print 1. La sortie devrait ressembler à ceci : # ipmitool lan print 1 Set in Progress : Set Complete Auth Type Support : NONE MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 : User : MD2 MD5 : Operator : MD2 MD5 : Admin : MD5 PASSWORD : OEM : MD2 MD5 IP Address Source : DHCP Address [or Static Address] IP Address : 192.168.0.55 Subnet Mask : 255.255.255.
Fixed Name : No Access Available : call-in / callback Link Authentication : enabled IPMI Messaging : enabled Privilege Level : ADMINISTRATOR 6 Vérifiez que le contrôleur BMC est accessible et qu'il peut être commandé à partir d'un nœud distant de votre cluster à l'aide de la commande bmc info.
Configuration d'un cluster Fibre Channel AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 3-1.
Le tableau 3-1 répertorie les connexions matérielles Fibre Channel présentées sur la figure 3-1 et résume les connexions du cluster. Tableau 3-1.
Câblage du système de stockage Fibre Channel Selon vos besoins, vous pouvez configurer le système de stockage du cluster Fibre Channel de votre base de données Oracle de différentes façons : • Environnement Fibre Channel à connexion directe (voir la figure 3-2) • Environnement Fibre Channel relié à un SAN et comprenant quatre ports (voir la figure 3-3) Configuration Fibre Channel à connexion directe Pour effectuer une configuration Fibre Channel à connexion directe des nœuds : 1 Installez un câble à fib
Figure 3-2. Câblage d'un cluster Fibre Channel à connexion directe Deux ports HBA pour le nœud 1 Deux ports HBA pour le nœud 2 0 1 0 1 PS-B 1 1 PS-A 0 0 Stockage Fibre Channel Dell/EMC CX4-480 Configuration Fibre Channel à connexion SAN Pour effectuer une configuration à connexion SAN à quatre ports pour vos nœuds : 1 Installez un câble à fibre optique entre le port 0 du processeur de stockage PS-A et le commutateur Fibre Channel 0.
8 Installez un câble à fibre optique entre le port 3 du processeur de stockage PS-B et le commutateur Fibre Channel 0. 9 Installez un câble à fibre optique entre l'adaptateur HBA 0 du nœud 1 et le commutateur Fibre Channel 0. 10 Installez un câble à fibre optique entre l'adaptateur HBA 1 du nœud 1 et le commutateur Fibre Channel 1. 11 Installez un câble à fibre optique entre l'adaptateur HBA 0 du nœud 2 et le commutateur Fibre Channel 0.
Configuration d'un cluster SAS pour les châssis d'extension Dell PowerVault MD3000 et MD1000 AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations sur le site Web de Dell™, à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 4-1.
Tableau 4-1.
Configuration du matériel Les clusters SAS ne peuvent être installés que dans un environnement à connexion directe ; ils sont limités à deux nœuds. Pour configurer les nœuds dans un environnement à connexion directe : 1 Installez un câble SAS entre un port du contrôleur SAS du nœud 1 et le port In-0 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000.
Figure 4-2.
Vérification et mise à niveau du micrologiciel 1 Lancez la détection des unités de stockage à connexion directe du système hôte à l'aide du logiciel MDSM installé sur l'hôte. 2 Vérifiez que le micrologiciel utilisé par les composants de stockage répertoriés ci-après respecte la version minimale requise.
Configuration d'un cluster iSCSI pour les châssis de stockage Dell™ PowerVault™ MD3000i et MD1000 AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations sur le site Web de Dell™, à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 5-1. Interconnexions de composants matériels iSCSI (suite) Composant de cluster Connexions Système de stockage PowerVault MD3000i • Deux câbles CAT 5e/6 connectés au réseau local (un à partir de chaque processeur de stockage) pour l'interface de gestion • Deux câbles CAT 5e/6 par processeur de stockage pour l'interconnexion iSCSI REMARQUE : Pour des informations supplémentaires sur le châssis de stockage PowerVault MD3000i, voir la documentation connexe sur support.dell.com/manuals.
Pour créer une configuration à connexion directe pour les nœuds du cluster (voir la figure 5-1), procédez comme suit : 1 Installez un câble CAT 5e/6 entre un port (adaptateur HBA iSCSI ou carte réseau) du nœud 1 et le port In-0 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000i. 2 Installez un câble CAT 5e/6 entre l'autre port (adaptateur HBA iSCSI ou carte réseau) du nœud 1 et le port In-0 du contrôleur RAID 1 du châssis de stockage PowerVault MD3000i.
Figure 5-2.
7 Installez un câble CAT 5e/6 entre un port du commutateur 2 et le port In-1 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000i. 8 Installez un câble CAT 5e/6 entre l'autre port du commutateur 2 et le port In-1 du contrôleur RAID 1 du châssis de stockage PowerVault MD3000i. 9 Le cas échéant, connectez deux câbles SAS entre les deux ports de sortie du châssis de stockage PowerVault MD3000i et les deux ports d'entrée (“In”) du premier châssis d'extension PowerVault MD1000.
Vérification et mise à niveau du micrologiciel 1 Lancez la détection des unités de stockage à connexion directe du système hôte à l'aide du logiciel Modular Disk Storage Manager installé sur l'hôte. 2 Vérifiez que le micrologiciel utilisé par les composants de stockage répertoriés ci-après correspond à la version minimale requise.
Configuration d'un cluster iSCSI pour le système de stockage Dell EqualLogic série PS AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations sur le site Web de Dell™, à l'adresse suivante : www.dell.com/regulatory_compliance.
Configuration du système de stockage iSCSI EqualLogic Les systèmes hôtes peuvent être connectés à la matrice iSCSI EqualLogic PS5000XV via un réseau de stockage SAN IP et un commutateur Ethernet Gigabit standard. La figure 6-1 présente la configuration réseau recommandée pour une matrice Dell EqualLogic PS5000XV à double module de contrôle. Cette configuration inclut deux commutateurs Ethernet Gigabit Dell PowerConnect™ série 6200, destinés à optimiser la disponibilité et la bande passante du réseau.
Figure 6-1.
Figure 6-2.
Un groupe de stockage Dell EqualLogic série PS peut être divisé en plusieurs niveaux ou pools. Le stockage à plusieurs niveaux offre aux administrateurs la possibilité de mieux contrôler l'allocation des ressources de disque. Un membre ne peut être attribué qu'à un seul pool à la fois. On peut facilement affecter un membre à un pool ou le déplacer d'un pool à un autre sans aucune incidence sur la disponibilité des données.
Le tableau 6-1 présente un exemple de configuration d'un volume. Tableau 6-1.
Configuration des réseaux iSCSI Il est recommandé de configurer les interfaces réseau hôtes pour le trafic iSCSI afin d'optimiser les performances à l'aide des paramètres Flow Control (Contrôle de flux) et Jumbo Frame (Trame Jumbo). Pour configurer le paramètre Flow Control (Contrôle de flux), utilisez l'utilitaire ethtool. Pour vérifier le paramètre Flow Control (RX/TX Pause) [Contrôle de flux (Pause RX/TX)] sur les interfaces, utilisez la commande suivante : # ethtool -a .
Pour vérifier la valeur du paramètre Jumbo Frame (Trame Jumbo), utilisez la commande ifconfig : $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.
3 Activez le lancement du service iSCSI au démarrage. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Procurez-vous l'adresse matérielle de chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, où n est le numéro de l'interface réseau. 5 Créez une interface pour chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. iscsiadm -m iface -I nom_iface --op=new, où nom_iface est le nom affecté à l'interface.
8 Redémarrez le service iSCSI pour que la nouvelle configuration prenne effet. service iscsi stop service iscsi start 9 Détectez les cibles des interfaces créées à l'étape 5.
10 Vérifiez que tous les volumes ont été détectés à partir de l'ensemble des interfaces de l'hôte : iscsiadm -m discovery --print=1 Par exemple : # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Connectez-vous à l'ensemble des cibles (volumes) à partir de chaque interface créée à l'étape 5. iscsiadm -m node -p adresse_ip_groupe --interface nom_iface --login, où adresse_ip_groupe est l'adresse IP du groupe de stockage EqualLogic et nom_iface l'interface réseau (définie à l'étape 5) de l'hôte utilisé pour le trafic iSCSI. Dans l'exemple ci-dessous, l'utilisateur se connecte à trois volumes à partir de chacune des deux interfaces (eth0-iface et eth1-iface) d'un hôte. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Supprimez les commentaires de la section suivante du fichier /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Ajoutez la section ci-dessous au fichier /etc/multipath.conf. Le WWID est obtenu à partir de l'étape 1.
L'exemple ci-dessous inclut les configurations de quatre volumes.
5 Redémarrez le démon du multiacheminement, puis vérifiez que les alias s'affichent dans la sortie multipath -l1. service multipathd restart multipath -ll Par exemple, fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 Vérifiez que les périphériques /dev/mapper/* ont été créés. Vous devez utiliser leurs noms pour communiquer avec les périphériques multiacheminement dans les sections suivantes.
Configuration du stockage de la base de données sur l'hôte AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 7-1.
5 Dans le fichier /proc/partitions, vérifiez que : • Tous les périphériques virtuels PowerPath apparaissent dans le fichier avec des noms similaires sur tous les nœuds. Exemple : /dev/emcpowera, /dev/emcpowerb et /dev/emcpowerc. • Pour PowerVault MD3000 ou MD3000i ou la matrice de stockage EqualLogic, tous les disques ou volumes virtuels apparaissent dans le fichier avec des noms de périphérique similaires sur tous les nœuds.
Définition des partitions de disque pour les systèmes exécutant Linux PRÉCAUTION : Dans un système exécutant Linux, alignez la table de partition avant l'écriture de données sur le LUN ou le disque virtuel. La carte de partition est réécrite, et toutes les données figurant sur le LUN ou le disque virtuel détruites. Exemple : arguments de l'utilitaire fdisk L'exemple suivant présente les arguments pouvant être utilisés avec fdisk.
Utilisation de fdisk pour le paramétrage d'une partition de disque 1 À l'invite de commandes, tapez ce qui suit : fdisk , où est le nom de la partition à paramétrer. Par exemple, si le nom de la partition est /dev/emcpowera, tapez : fdisk /dev/emcpowera Le système affiche le message suivant : The number of cylinders for this disk is set to 8782.
Configuration du stockage partagé pour le clusterware, la base de données et les fichiers de récupération dans un environnement RAC Utilisez le pilote de la bibliothèque ORACLEASM pour configurer les disques pour ASM (Automatic Storage Management). Pour configurer les disques ASM : 1 Ouvrez une session en tant que root. 2 Ouvrez une fenêtre de terminal et effectuez les opérations suivantes sur tous les nœuds : a Tapez service oracleasm configure.
6 Vérifiez que les disques ASM sont créés et marqués pour l'utilisation d'ASM. Dans la fenêtre de terminal, entrez la commande suivante, puis appuyez sur : service oracleasm listdisks Les disques créés à l'étape 4 s'affichent. Par exemple : ASM1 ASM2 7 Vérifiez que les autres nœuds peuvent accéder aux disques ASM créés à l'étape 4.
Configuration du stockage de la base de données sur l'hôte
Index A D adresse IP adresse IP privée, 147 adresse IP publique, 147 adresse IP virtuelle, 147 Dell/EMC Fibre Channel, 165 aide, 144 support Dell, 144 support Oracle, 145 alias, 195 C câblage cluster iSCSI, 176 stockage Fibre Channel, 166 câble CAT 5e, 165 CAT 6, 165 carte réseau affectation des ports, 147 certifications et formations Dell, 144 Oracle, 145 commutateur Ethernet, 165 commutateur PowerConnect, 182 disponibilité optimale, 149 disque virtuel, 144 E EMC Navisphere, 200 PowerPath, 200 Enter
J S Jumbo Frame, 187 SAS configuration d'un cluster, 169, 175, 181, 199 L service DNS (Domain Naming Service), 147 liens réseau, 149 logiciel MPIO, 173 LUN (numéro d'unité logique), 144 support Resource PowerVault MD3000, 174 surveillance des liaisons, 149 M T Modular Disk Storage Manager, 173 terme groupe, 181 membre, 181 pool, 181 volume, 181 MTU, 187 P paire liée, 148 V paramètres réseau, 149 volumes, 185 périphérique PowerPath fictif, 200 208 Index
Oracle® Database auf Dell™ PowerEdge™Systemen mit Enterprise Linux® x86_64 Speicher- und Netzwerkhandbuch Version 1.
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie das System besser einsetzen können. VORSICHTSHINWEIS: Durch VORSICHTSHINWEISE werden Sie auf potenzielle Gefahrenquellen hingewiesen, die Hardwareschäden oder Datenverlust zur Folge haben könnten, wenn die Anweisungen nicht befolgt werden.
Inhalt 1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . Erforderliche Dokumentation zum Bereitstellen von Dell|Oracle Database . . . . . . . . . . . . . . . . 215 In diesem Dokument verwendete Terminologie . . . . 216 . . . . . . . . . . . . . . . . 216 . . . . . . . . . . . . . . . . . . . . 216 Wie Sie Hilfe bekommen Dell Support . Oracle-Support . 2 215 217 . . . . . . . . . . . . . . . . . . Konfiguration des Netzwerks . . . . . . . .
3 Einrichten eines Fibre-Channel-Clusters Hardwareverbindungen für einen Fibre-Channel-Cluster . . . . . . . . . 237 . . . . . . . . . . . . . 238 Verkabeln des Fibre-ChannelSpeichersystems . . . . . . . . . . . . . . . . . . . . Direct-Attach-Fibre-ChannelKonfiguration . . . . . . . . . SAN-Attach-Fibre-ChannelKonfiguration . . . . . . . . 4 . . . . . . . . . . 240 . . . . . . . . . . .
5 Einrichten eines iSCSI-Clusters für Dell™ PowerVault ™ MD3000iund MD1000-Speichergehäuse . . Einrichten der Hardware 249 250 . . . . . . . . . . . . . . . . Installation der host-basierten Software für das Speichersystem . . . . . . . . . . . . . . . . . 253 Überprüfung und Upgrade der Firmware . . . . . . . . 254 . . . . . . . . . . . 254 Maßnahmen nach der Installation 6 . . . . . Einrichten eines iSCSI-Clusters für das Dell EqualLogic PS-Speichersystem . . . . . . . . . .
7 Konfigurieren des Datenbankspeichers auf dem Hostsystem . . . . . . . . . . . . . . . 273 Überprüfen und Identifizieren Ihrer Speicherlaufwerke . . . . . . . . . . . . . . . . Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem . Beispiel: Parameter des Dienstprogramms fdisk . . . . . . . . 276 . . . . . . . . . . . 276 Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk . . . . . . . . . .
Übersicht Das Dokument enthält allgemeine Anleitungen zur Konfiguration der Netzwerk- und Speicheranforderungen für den Betrieb der Dell|OracleDatenbank auf einem System, das unter dem Betriebssystem Red Hat® Enterprise Linux® oder Oracle® Enterprise Linux läuft. Dieses Dokument gilt für folgende Konfigurationen: Oracle Database 11g R2 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.3 AS x86_64.
In diesem Dokument verwendete Terminologie In diesem Dokument werden die Begriffe Logische Gerätenummer (LUN) und virtuelles Laufwerk synonym verwendet. Der Begriff LUN wird üblicherweise in Dell|EMC Fibre-Channel-Speichersystemumgebungen verwendet. Der Begriff „virtuelles Laufwerk“ wird in der Regel bei Dell PowerVault™ SAS-Speicherumgebungen (PowerVault MD3000 und PowerVault MD3000i mit Erweiterung PowerVault MD1000) oder Dell EqualLogic iSCSI-Speicherumgebungen verwendet.
Oracle-Support • Informationen über Schulungen für Oracle-Software und ClusterwareAnwendung sowie Kontaktinformationen von Oracle finden Sie unter oracle.com oder in Ihrer Oracle-Dokumentation. • Technischen Support, Downloads und andere technische Informationen finden Sie unter metalink.oracle.com.
Übersicht
Konfiguration des Netzwerks In diesem Abschnitt finden Sie Informationen zur Konfiguration des öffentlichen und privaten Clusternetzwerks. ANMERKUNG: Für jeden Knoten in einem Netzwerk wird eine eindeutige öffentliche und private IP-Adresse benötigt. Zusätzlich wird eine weitere öffentliche IP-Adresse benötigt, die als virtuelle IP-Adresse für die Clientverbindungen und als Failover-Verbindung dient. Somit sind für jeden Knoten insgesamt drei IP-Adressen erforderlich.
Konfiguration des öffentlichen Netzwerks ANMERKUNG: Stellen Sie sicher, dass die öffentliche IP-Adresse gültig und routingfähig ist. ANMERKUNG: Die beiden gebundenen Netzwerkanschlüsse für ein privates Netzwerk müssen sich an verschiedenen PCI-Bussen befinden. Ein gebundenes Paar kann beispielsweise aus einem auf der Platine integrierten NIC und einer NIC-Erweiterungskarte bestehen. So konfigurieren Sie das öffentliche Netzwerk auf den einzelnen Knoten: 1 Melden Sie sich als root beim System an.
6 Senden Sie von einem LAN-Client, der nicht Teil des Clusters ist, einen Ping-Befehl an jede öffentliche IP-Adresse, um die Netzwerkkonfiguration zu überprüfen. 7 Stellen Sie eine Verbindung zu jedem Knoten her, um die Betriebsbereitschaft des öffentlichen Netzwerks zu überprüfen. Geben Sie ssh <öffentliche IP> ein, um sich zu vergewissern, dass der Befehl secure shell (ssh) funktioniert.
4 Erstellen oder bearbeiten Sie im Verzeichnis /etc/sysconfig/network-scripts/ die Konfigurationsdatei ifcfg-bond0. Die Datei hat bei Verwendung von Beispielparametern für das Netzwerk folgenden Inhalt: DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.255 ONBOOT=yes BOOTPROTO=none USERCTL=no Die Einträge für NETMASK, NETWORK und BROADCAST sind optional. DEVICE=bondn ist der für die Bündelung benötigte Name, wobei n für die Bündelungsnummer steht.
7 Senden Sie nach dem Einrichten der privaten IP-Adressen Ping-Befehle von einem der Knoten an alle eingerichteten Adressen, um das private Netzwerk zu testen. 8 Stellen Sie zu jedem Knoten eine Verbindung her. Überprüfen Sie die Betriebsbereitschaft des privaten Netzwerks und des Secure Shell (ssh), indem Sie Folgendes eingeben: ssh Einrichten von Benutzeräquivalenz SSH-Konfiguration 1 Melden Sie sich am primären Knoten als root an. 2 Führen Sie das Skript sshUserSetup.
Anforderungen für die Auflösung der IP-Adresse und des Namens Für einen Cluster, der GNS verwendet Für das Einrichten eines Oracle 11g R2 RAC mit Oracle Global Naming Server (GNS) gelten die folgenden grundlegenden Anforderungen: • Mindestens zwei konfigurierte Schnittstellen für jeden Knoten, eine für die private IP-Adresse und eine für die öffentliche IP-Adresse. • Ein Domain Naming Server (DNS), der im Netzwerk ausgeführt wird, für die Auflösung der virtuellen IP-Adresse des GNS.
Konfiguration eines DNS-Server So konfigurieren Sie einen DNS-Server mit GNS: 1 Konfiguration der virtuellen IP-Adresse des GNS auf dem DNS-Server – Erstellen Sie auf dem DNS einen Eintrag zur Namensauflösung für die virtuelle IP-Adresse des GNS in der Lookup-Weiterleitungsdatei. Zum Beispiel: gns-server IN A 192.0.2.2 Dabei ist gns-server die virtuelle IP-Adresse des GNS, die während der Grid-Installation angegeben wurde.
2 Bearbeiten Sie für alle Knoten im Cluster die Datei resolv.conf so, dass sie Nameservereinträge enthält, die von DNS-Servern aufgelöst werden können. Bearbeiten Sie die Datei /etc/resolv.conf zum Beispiel wie: options attempts: 2 options timeout: 1 search clusterdomain.example.com example.com nameserver 192.0.2.1 nameserver 192.0.2.2 ANMERKUNG: Das gesamte Zeitlimit, das sich aus versuchten Optionen und Optionen mit überschrittenem Zeitlimit zusammensetzt, sollte unter 30 Sekunden liegen. Dabei ist 192.
Für einen Cluster, der DNS verwendet Für das Einrichten eines Oracle 11g R2 RAC mit Oracle DNS (ohne GNS) gelten die folgenden grundlegenden Anforderungen: 1 Mindestens zwei konfigurierte Schnittstellen für jeden Knoten, eine für die private IP-Adresse und eine für die öffentliche IP-Adresse. 2 Ein SCAN-NAME, der auf dem DNS für die zyklische Auflösung (Round Robin) an drei Adressen (empfohlen) oder mindestens eine Adresse konfiguriert ist.
Konfiguration eines DNS-Servers So konfigurieren Sie Änderungen an einem DNS-Server für einen Oracle 11g R2Cluster mit einem DNS (ohne GNS): 1 Konfigurieren Sie die SCAN-NAME-Auflösung auf dem DNS-Server. Erstellen Sie auf dem DNS einen Eintrag zur Namensauflösung für die virtuelle IP-Adresse des GNS in der Lookup-Weiterleitungsdatei. Beispiel: scancluster IN A 192.0.2.1 IN A 192.0.2.2 IN A 192.0.2.3 Dabei ist scancluster der SCAN-NAME, der während der Grid-Installation angegeben wurde.
2 Sie müssen die Datei resolv.conf für die Knoten im Cluster so bearbeiten, dass sie Nameservereinträge enthält, die vom DNS-Server aufgelöst werden können. Geben Sie einen ähnlichen Eintrag wie den folgenden an: /etc/resolv.conf: search ns1.domainserver.com nameserver 192.0.2.100 Dabei ist 192.0.2.100 eine gültige DNS-Serveradresse in Ihrem Netzwerk und ns1.domainserver.com ist der Domainserver in Ihrem Netzwerk. 3 Überprüfen Sie die Reihenfolge der Konfiguration. /etc/nsswitch.
Konfiguration des Open IMPI-Treibers 1 Melden Sie sich als root beim System an. 2 Geben Sie Folgendes ein, um den IPMI-Dienst zu aktivieren: Chkconfig ipmi on 3 Aktivieren Sie den IPMI-Dienst, indem Sie Folgendes eingeben: Service ipmi start 4 Führen Sie den Befehl /sbin/lsmod|grep ipmi aus, um zu überprüfen, ob die die IPMI-Module geladen wurden.
Konfiguration des BMC mit IPMItool Orientieren Sie sich an dem folgenden Beispiel, um den BMC mit ipmitool Version 2.0 zu konfigurieren: 1 Melden Sie sich als root beim System an. 2 Überprüfen Sie, dass ipmitool über den IPMI-Treiber mit dem BMC kommuniziert. Überprüfen Sie mit den folgenden Befehlen die Geräte-ID in der Ausgabe: # ipmitool bmc info Device ID : 32 Device Revision : 0 Firmware Revision : 0.20 IPMI Version : 2.
4 Konfigurieren Sie mit einem der folgenden Verfahren die IP-Adresseinstellungen für IPMI: • Mit dynamischer IP-Adressierung – Die dynamische IP-Adressierung ist die Standardeinstellung, von der Oracle Universal Installer ausgeht. Es wird empfohlen, diese Option auszuwählen, sodass Knoten problemlos zum Cluster hinzugefügt bzw. daraus entfernt werden können, da die Adresseinstellungen automatisch zugewiesen werden.
b Listen Sie die Konto-Slots auf dem BMC ein und identifizieren Sie einen unbenutzten Slot (eine Benutzer-ID mit leerem Benutzernamenfeld). Beispiel: # ipmitool channel getaccess 1 . . . User ID : 4 User Name : Fixed Name : No Access Available : call-in / callback Link Authentication : disabled IPMI Messaging : disabled Privilege Level : NO ACCESS . . . c Weisen Sie den gewünschten Administrator-Benutzernamen und das Kennwort zu und aktivieren Sie Meldungen für den identifizierten Slot.
d Überprüfen Sie die Einrichtung mit dem Befehl lan print 1. Die Ausgabe sollte in etwa folgendermaßen aussehen: # ipmitool lan print 1 Set in Progress : Set Complete Auth Type Support : NONE MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 : User : MD2 MD5 : Operator : MD2 MD5 : Admin : MD5 PASSWORD : OEM : MD2 MD5 IP Address Source : DHCP Address [or Static Address] IP Address : 192.168.0.55 Subnet Mask : 255.255.255.
Fixed Name : No Access Available : call-in / callback Link Authentication : enabled IPMI Messaging : enabled Privilege Level : ADMINISTRATOR 6 Überprüfen Sie, ob der BMC zugänglich ist und von einem Remoteknoten im Cluster gesteuert werden kann, indem Sie den Befehl bmc info verwenden.
Konfiguration des Netzwerks
Einrichten eines Fibre-ChannelClusters WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Hardwareverbindungen für einen FibreChannel-Cluster Abbildung 3-1 stellt die Hardwareverbindungen eines Fibre-Channel-Clusters dar. Abbildung 3-1.
Tabelle 3-1 listet die in Abbildung 3-1 abgebildeten Fibre-ChannelHardwareverbindungen auf und fasst die Clusterverbindungen zusammen. Tabelle 3-1.
Verkabeln des Fibre-Channel-Speichersystems Sie können Ihr Oracle-Database-Fibre-Channel-Clustersystem je nach Ihren Anforderungen wie folgt konfigurieren: • Direct-Attach-Fibre-Channel (siehe Abbildung 3-2) • SAN-Attach-Fibre-Channel-Konfiguration mit vier Ports (siehe Abbildung 3-3) Direct-Attach-Fibre-Channel-Konfiguration So konfigurieren Sie die Knoten in einer Direct-Attach-Fibre-ChannelKonfiguration: 1 Verbinden Sie HBA 0 von Knoten 1 durch ein Glasfaserkabel mit Port 0 vom SP-A.
SAN-Attach-Fibre-Channel-Konfiguration So konfigurieren Sie Ihre Knoten in einer SAN-Attach-Konfiguration mit vier Ports: 1 Verbinden Sie Port 0 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 0. 2 Verbinden Sie Port 1 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 1. 3 Verbinden Sie Port 2 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 0. 4 Verbinden Sie Port 3 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 1.
Abbildung 3-3.
Einrichten eines SAS-Clusters für Dell PowerVault MD3000 und MD1000-Erweiterungsgehäuse WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell™ Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 4-1. Verkabelung des SAS (Serial-Attached SCSI)-Clusters und des Speichergehäuses Dell PowerVault MD3000 Clientsysteme Privates Netzwerk DNS- und DHCP-Server LAN/WAN PowerEdge-Systeme Speichersystem PowerVault NX3000 Zwei PowerVault MD1000Erweiterungsgehäuse CAT 5e/6 (öffentlicher NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Tabelle 4-1.
Tabelle 4-1. Verbindungen der SAS-Clusterhardware (fortgesetzt) Clusterkomponente Verbindungen PowerVault MD3000 Speichergehäuse • Zwei CAT 5e/6-Kabel zum LAN (eines von jedem Speicherprozessormodul) • Zwei SAS-Verbindungen zu jedem PowerEdge-Systemknoten über die SAS 5/E-Kabel. ANMERKUNG: Weitere Information zu Verbindungen bei PowerVault MD3000-Speichergehäusen finden Sie unter „Einrichten der Hardware“ auf Seite 245. Dell PowerVault MD1000 Speichergehäuse (optional).
6 Verbinden Sie gegebenenfalls die beiden Ausgänge des PowerVault MD1000 Speichergehäuses durch zwei SAS-Kabel mit den beiden In-0Eingängen des zweiten PowerVault MD1000-Erweiterungsgehäuses. ANMERKUNG: Informationen zur Konfiguration des PowerVault MD1000Erweiterungsgehäuses finden Sie in der Dokumentation des Speichersystems PowerVault MD1000 unter support.dell.com/manuals. Abbildung 4-2.
Installation der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichergehäuse PowerVault MD3000 zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem System geliefert wurde. Um die Modular Disk Storage Manager (MDSM) Software auf dem Master-Knoten und die Multi-Path Input/Output (MPIO) Software auf den restlichen Knoten zu installieren, folgen Sie den Anleitungen in der Dokumentation zum Speichergehäuse PowerVault MD3000.
Ausführen der nach der Installation erforderlichen Aufgaben Nachdem Sie Treiber und Software installiert haben, führen Sie die in der Installationsanleitung für den MD3000 genannten Aufgaben nach der Installation durch.Erstellen Sie die in der Dokumentation Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Installationshandbuch für Betriebssystem und Hardware und im Linux-Handbuch gezeigte Umgebung. Beide Dokumente stehen unter support.dell.com/manuals zur Verfügung.
Einrichten eines iSCSI-Clusters für Dell™ PowerVault™ MD3000iund MD1000-Speichergehäuse WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 5-1. iSCSI-Hardwareverbindungen (fortgesetzt) Clusterkomponente Verbindungen Speichersystem PowerVault MD3000i • Zwei CAT 5e/6-Kabel zum LAN (eines von jedem Speicherprozessormodul) für die Verwaltungsschnittstelle • Zwei CAT 5e/6-Kabel je Speicherprozessor als iSCSIVerbindung ANMERKUNG: Weitere Informationen zu PowerVault MD3000i-Speichergehäusen finden Sie in der PowerVault MD3000i-Dokumentation unter support.dell.com/manuals.
Um eine Direct-Attach-Konfiguration für die Knoten einzurichten, beachten Sie die Hinweise unter Abbildung 5-1, und führen Sie die folgenden Schritte durch: 1 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit Port In-0 von RAID-Controller 0 im PowerVault MD3000i-Speichergehäuse. 2 Verbinden Sie den anderen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit Port In-0 von RAID-Controller 1 im PowerVault MD3000i-Speichergehäuse.
Abbildung 5-2. iSCSI-Cluster über Switches verkabeln Bis zu 16 eigenständige Hostserver IP-SAN (zwei GigabitEthernet-Switchmodule) LAN/WAN EthernetVerwaltungss chnittstelle CAT 5e/6 (öffentlicher NIC) Glasfaserkabel PowerVault MD3000i RAID-Gehäuse (Dual-Controller) Um die Knoten über Switches zu konfigurieren (siehe Abbildung 5-2), gehen Sie wie folgt vor: 1 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerkswitch 1.
7 Verbinden Sie einen Port von Switch 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im PowerVault MD3000i-Speichergehäuse. 8 Verbinden Sie den anderen Port von Switch 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000iSpeichergehäuse. 9 Verbinden Sie gegebenenfalls die beiden Ausgänge des PowerVault MD3000i-Speichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses.
Überprüfung und Upgrade der Firmware 1 Verwenden Sie die auf dem Hostsystem installierte Software Modular Disk Storage Manager, um den direkt mit dem Hostsystem verbundenen Speicher zu erkennen. 2 Stellen Sie sicher, dass die Firmware-Mindestanforderungen der folgenden Speicherkomponenten erfüllt sind.
Einrichten eines iSCSI-Clusters für das Dell EqualLogic PS-Speichersystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell™ Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Einrichten des EqualLogic iSCSISpeichersystems Hostsysteme lassen sich mit dem EqualLogic PS5000XV iSCSI-Array über einen üblichen IP-SAN-Gigabit-Ethernet-Switch verbinden (SAN = Storage Area Network). Abbildung 6-1 zeigt die empfohlene Netzwerkkonfiguration für ein EqualLogic PS5000XV-Array mit zwei Steuermodulen. Diese Konfiguration verwendet zwei Gigabit-Ethernet-Switchmodule der Reihe Dell PowerConnect™ 6200, um die höchste Netzwerkverfügbarkeit und maximale Netzwerkbandbreite zu bieten.
Abbildung 6-1.
Abbildung 6-2.
Eine EqualLogic PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden. Mit gestaffeltem Speicher haben Administratoren mehr Kontrolle über die Zuweisung von Datenträgerressourcen. Zu jedem Zeitpunkt kann ein Mitglied nur einem einzigen Pool zugewiesen werden. Ein Mitglied lässt sich einem Pool problemlos zuweisen und zwischen Pools verschieben, ohne dass dies die Datenverfügbarkeit beeinflusst.
Tabelle 6-1 zeigt eine Volume-Beispielkonfiguration. Tabelle 6-1.
Konfigurieren der iSCSI-Netzwerke Es wird empfohlen, die Host-Netzwerkschnittstellen für iSCSI-Datenverkehr mit Flusskontrolle und Jumbo-Frames zu konfigurieren, um die Leistung zu optimieren. Verwenden Sie das Dienstprogramm ethtool, um Flow Control (Flusskontrolle) zu konfigurieren.
Überprüfen Sie die Jumbo-Frame-Einstellung mit dem Befehl ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 Aktivieren Sie den iSCSI-Dienst für Autostart beim Hochfahren des Systems. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Sie benötigen die Hardwareadresse jeder Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n = die Netzwerkschnittstellennummer. 5 Erstellen Sie eine Schnittstelle für jede Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird.
8 Starten Sie den iSCSI-Dienst neu, damit die neue Konfiguration wirksam wird. service iscsi stop service iscsi start 9 Führen Sie eine Erkennung der Ziele von allen ifaces (Schnittstellen) durch, die in Schritt 5 erstellt wurden. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, dabei gilt: group_ip_address = die IP-Adresse der EqualLogicSpeichergruppe, iface_name1, iface_name2, iface_name3, iface_name4 usw.
10 Vergewissern Sie sich, dass alle Volumes von allen ifaces (Schnittstellen) auf dem Hostsystem erkannt werden: iscsiadm -m discovery -print=1 Beispiel: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Melden Sie sich an allen Zielen (Datenträgern) von jeder in Schritt 5 erstellten Schnittstelle aus an: iscsiadm -m node -p group_ip_address --interface iface_name --login, dabei gilt: group_ip_address = die IP-Adresse der EqualLogicSpeichergruppe und iface_name = die Netzwerkschnittstelle (die in Schritt 5 auf dem für iSCSI-Datenverkehr verwendeten Hostsystem definiert wird). Im folgenden Beispiel erfolgt die Anmeldung an drei Volumes von jeder der zwei ifaces (eth0-iface und eth1-iface) auf einem Host.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Heben Sie die Kommentierung des folgenden Abschnitts in /etc/multipath .conf auf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Fügen Sie den nachstehenden Abschnitt in /etc/multipath .conf ein. Die WWID wird von Schritt 1 bezogen.
Das folgende Beispiel enthält die Konfigurationen von vier Volumes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Starten Sie den Multipath-Daemon neu und vergewissern Sie sich, dass die Aliasnamen in der multipath -l1-Ausgabe angezeigt werden.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Konfigurieren des Datenbankspeichers auf dem Hostsystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 7-1.
5 Stellen Sie in der Datei /proc/partitions Folgendes sicher: • Alle PowerPath-Pseudogeräte erscheinen in der Datei mit ähnlichen Gerätepfaden auf allen Knoten. Zum Beispiel /dev/emcpowera, dev/emcpowerb und /dev/emcpowerc. • Bei einem PowerVault MD3000/MD3000i-Speichersystem oder dem EqualLogic-Speicherarray erscheinen alle virtuellen Laufwerke bzw. Volumes in der Datei mit ähnlichen Gerätepfaden auf allen Knoten.
Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem VORSICHTSHINWEIS: Bei Systemen, die mit Linux betrieben werden, muss die Partitionstabelle angeglichen werden, bevor Daten auf die LUN/das virtuelle Laufwerk geschrieben werden. Die Partitionszuordnung wird neu erstellt und alle Daten auf der LUN /dem virtuellen Laufwerk werden zerstört. Beispiel: Parameter des Dienstprogramms fdisk Das folgende Beispiel verdeutlicht die Parameter für das Dienstprogramm fdisk.
Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk 1 Geben Sie an der Eingabeaufforderung Folgendes ein: fdisk , wobei der Name der Partition ist, die angepasst werden soll. Wenn die Partition beispielsweise den Namen /dev/emcpowera hat, geben Sie Folgendes ein: fdisk /dev/emcpowera Das System zeigt die folgende Meldung an: The number of cylinders for this disk is set to 8782.
Konfiguration des gemeinsamen Speichers für Clusterware, Datenbank und Wiederherstellungsdateien in einer RAC-Umgebung Konfigurieren Sie Festplatten mit dem ORACLEASM-Bibliothekstreiber für das automatische Speichermanagement (ASM). So konfigurieren Sie die ASM-Laufwerke: 1 Melden Sie sich als root beim System an. 2 Öffnen Sie ein Terminalfenster und führen Sie auf allen Knoten die folgenden Schritte durch: a Geben Sie ein: service oracleasm configure.
6 Überprüfen Sie, ob die ASM-Datenträger erstellt wurden und für ASMVerwendung gekennzeichnet sind. Geben Sie im Terminalfenster den folgenden Befehl ein, und drücken Sie die : service oracleasm listdisks Die in Schritt 4 erstellten Laufwerke werden angezeigt. Beispiel: ASM1 ASM2 7 Stellen Sie sicher, dass die übrigen Knoten auf die in Schritt 4 erstellten ASM-Laufwerke zugreifen können.
Konfigurieren des Datenbankspeichers auf dem Hostsystem
Stichwortverzeichnis A F Aliasnamen, 269 Fibre-Channel Direct-Attach-Konfiguration, 240 SAN-Attach-Konfiguration, 241 B Begriff Gruppe, 255 Mitglied, 255 Pool, 255 Volume, 255 G Gebundenes Paar, 220 H D Dell|EMC Fibre-Channel Speicher, 239 Switch, 239 Domain Naming Service (DNS), 219 Hilfe, 216 Dell Support, 216 Oracle-Support, 217 Hohe Verfügbarkeit, 221 I ifconfig, 220 E EMC Navisphere, 274 PowerPath, 274 IP-Adresse Öffentliche IP-Adresse, 219 private IP-Adresse, 219 Virtuelle IP-Adresse, 219 E
K R Kabel CAT 5e, 239 CAT 6, 239 Resource-Medium PowerVault MD3000, 247 S L Logische Gerätenummer, 216 M Modular Disk Storage Manager, 247 MPIO-Software, 247 MTU, 261 SAS Cluster-Einrichtung, 243, 249, 255, 273 V Verbindungsüberwachung, 221 Verkabelung Fibre-Channel-Speicher, 240 iSCSI-Cluster, 250 Virtueller Datenträger, 216 N Volumes, 259 Netzwerkbündelung, 221 Netzwerkparameter, 222 NIC Port-Zuordnungen, 219 P PowerConnect-Switch, 256 PowerPath-Pseudogeräte, 274 282 Stichwortverzeichnis Z
Dell™ PowerEdge™ システム — Enterprise Linux® x86_64 で使用する Oracle® データベース ストレージ & ネットワークガイド バージョン 1.
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明してい ます。 注意：手順に従わない場合は、ハードウェアの損傷やデータの損失の可能 性があることを示しています。 警告： 物的損害、けが、または死亡の原因となる可能性があることを示 しています。 ____________________ 本書の内容は予告なく変更されることがあります。 © 2010 すべての著作権は Dell Inc. にあります。 Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられてい ます。 本書に使用されている商標：Dell、DELL ロゴ、EqualLogic、Optiplex、PowerConnect、 PowerEdge および PowerVault は Dell Inc.
目次 1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dell|Oracle データベースの導入に必要な マニュアル . . . . . . . . . . . . . . . . . . . . . . . 289 . . . . . . . . . . . . . 290 . . . . . . . . . . . . . . . . . . . . . 290 本書で使用されている用語 . 困ったときは . デルサポート . . . . . . . . . . . . . . . . . . . Oracle のサポート . 2 ネットワークの設定 290 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . パブリックネットワークの設定 291 293 . . . . . . . . . . . ボンディングを使用したプライベ ートネットワークの設定 . . . . . . 294 . . . . . . . .
3 4 ファイバーチャネルクラスタの セットアップ . . . . . . . . . . . . . . . . . . . . ファイバーチャネルクラスタ用のハード ウェアの接続 . . . . . . . . . . . . . . . . . . . . . 311 ファイバーチャネルストレージシステム のケーブル接続 . . . . . . . . . . . . . . . . . . . . 313 直接接続ファイバーチャネルの構成 . . . . . 313 SAN 接続ファイバーチャネルの構成 . . . . . 314 Dell PowerVault MD3000/MD1000 拡張エンクロージャ用の SAS ク ラスタのセットアップ . . . . . . . . . . . . 317 . . . . . . . . . . . 319 ハードウェアのセットアップ ホストベースのストレージソフトウェアの インストール . . . . . . . . . . . . . . . . . . . . .
5 Dell™ PowerVault™ MD3000i / MD1000 ストレージエンクロージ ャ用の iSCSI クラスタのセット アップ . . . . . . . . . . . . . . . . . . . . . . . ハードウェアのセットアップ 323 325 . . . . . . . . . . . . ストレージに必要なホストベースソフト ウェアのインストール . . . . . . . . . . . . . . . . 328 ファームウェアの確認とアップグレード . . . . . 328 . . . . . . . . . . . . . . . 328 インストール後のタスク 6 . . . Dell EqualLogic PS シリーズのス トレージシステム用の iSCSI クラ スタのセットアップ . . . . . . . . . . . EqualLogic の用語 . . . 329 . . . . . . . . . . . . . . . . . . .
7 ホストのデータベースストレ ージ（記憶域）の設定 . . . . . ストレージディスクの検証と識別 . . . . . . . . 347 . . . . . . . . 347 Linux システム用のディスクパーティ ションの調整 . . . . . . . . . . . . . . . 例：fdisk ユーティリティの引数 . . . . . . 350 . . . . . . . 350 ディスクパーティションの調整に fdisk ユーティリティを使用する方法 . . . . RAC 環境におけるクラスタウェア、データ ベース、およびリカバリファイル用の共有 ストレージの設定 . . . . . . . . . . . . . . . 索引 . 288 目次 . . . 351 352 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
概要 本書は、Red Hat® Enterprise Linux® または Oracle® Enterprise Linux をインストールしたシステムで Dell|Oracle データベースを実行するた めのネットワークとストレージの要件を概説したものです。本書の説 明は、Red Hat Enterprise Linux または Oracle Enterprise Linux 5.3 AS x86_64 上で使用されている Oracle Database 11g R2 に適用されます。 お使いのシステムでサポートされているネットワークとストレージの 構成のリストについては、dell.com/oracle にアクセスし、Dell™ Validated Components（Dell 承認のコンポーネント）を選択してく ださい。 Dell|Oracle データベースの導入に必要なマ ニュアル メモ：以下のマニュアルは support.dell.
本書で使用されている用語 本書では、「LUN」と「仮想ディスク」は同義語として使われています。 「LUN」は、Dell/EMC ファイバーチャネルストレージシステムの環境で 通常使われる用語です。「仮想ディスク」は、Dell PowerVault™ シリ アル接続 SCSI（SAS） （PowerVault MD3000/MD3000i + PowerVault MD1000 拡張）または Dell EqualLogic iSCSI ストレージ環境で通常使 われる用語です。 メモ：本書で使われている「Enterprise Linux」という用語は、特に説明の ない限り、Red Hat Enterprise Linux と Oracle Enterprise Linux の両方に適用さ れます。 困ったときは デルサポート 290 • システムの詳しい使い方については、システムコンポーネントに付 属のマニュアルを参照してください。 • 各種のホワイトペーパー、デルがサポートする設定、一般情報につ いては、dell.
Oracle のサポート • Oracle ソフトウェアおよびアプリケーションクラスタウェアのト レーニング、および Oracle へのお問い合わせの方法については、 oracle.com または Oracle のマニュアルを参照してください。 • テクニカルサポート、ダウンロード、その他の技術情報につい ては、metalink.oracle.
概要
ネットワークの設定 本項では、パブリックおよびプライベートクラスタのネットワークを設 定する方法について説明します。 メモ：ネットワークの各ノードには、固有のパブリックおよびプライベー ト IP アドレスを設定する必要があります。クライアント接続および接続の フェイルオーバーのために、仮想 IP アドレスとしての機能を果たす追加 のパブリック IP アドレスが必要です。したがって、各ノードに合計 3 つの IP アドレスが必要です。仮想 IP アドレスはパブリック IP と同じサブネッ トに属していなければなりません。仮想 IP アドレスを含むすべてのパブ リック IP アドレスは、ドメインネームシステム（DNS）に登録する必要が あり、ルータブルでなければなりません。詳細については、298 ページの 「IP アドレスと名前を解決するための要件」を参照してください。 利用可能な NIC ポートの数に応じて、表 2-1 に示すとおりにインタ フェースを設定します。 表 2-1.
パブリックネットワークの設定 メモ：パブリック IP アドレスが有効でルータブルな IP アドレスであるこ とを確認してください。 メモ：プライベートネットワーク用の 2 個のボンディング済み NIC ポー トは、それぞれ別々の PCI バス上に置かれている必要があります。たと えば、ボンディング済みのペアは、1 枚のオンボード NIC カードと 1 枚の アドオン NIC カードで構成される場合があります。 各ノードのパブリックネットワークを設定するには、次の手順を実行し ます。 1 root としてログインします。 2 ネットワークデバイスファイル /etc/sysconfig/networkscripts/ifcfg-eth# を編集します。# はネットワークデバイスの番号です。 メモ：Gateway アドレスがパブリックネットワークインタフェース 用に設定されていることを確認します。Gateway アドレスが設定され ていない場合は、グリッドのインストールが失敗するおそれがあり ます。 DEVICE=eth0 ONBOOT=yes IPADDR=< パブリック IP アドレス > NETMASK=
6 ネットワークの設定をテストするには、クラスタに属していない LAN のクライアントから各パブリック IP アドレスに対して ping を 実行します。 7 各ノードに接続して、パブリックネットワークが機能していること を確認します。ssh < パブリック IP> と入力して、セキュアシ ェル（ssh）コマンドが機能していることを確認します。 ボンディングを使用したプライベートネット ワークの設定 クラスタを導入する前に、プライベートクラスタネットワークを設 定し、ノード間で通信できるようにします。このためには、ネットワー クボンディングを設定して、プライベート IP アドレスとホスト名をク ラスタ内の各ノードに割り当てます。 Broadcom® または Intel® の NIC でネットワークボンディングを行い、 各ノードでプライベートネットワークを設定するには、次の手順を実行 します。 1 root としてログインします。 2 /etc/modprobe.conf ファイルに、次の行を追加します。 alias bond0 bonding 3 可用性を高めるためには、/etc/modprobe.
4 /etc/sysconfig/network-scripts/ ディレクトリで、ifcfg-bond0 設定 ファイルを作成または編集します。 たとえは、サンプルネットワークのパラメータを使った場合、 ファイルは次のようになります。 DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.
7 各ノードにプライベート IP アドレスをすべて設定したら、1 つの ノードから各 IP アドレスを ping して、プライベートネットワーク が機能していることを確認します。 8 各ノードに接続します。次のように入力して、プライベートネット ワークとセキュアシェル（ssh）が正しく機能していることを確認し ます。 ssh < プライベート IP> ユーザー等価のセットアップ ssh の設定 1 プライマリノードで、root としてログインします。 2 sshsetup フォルダの下の Grid バイナリフォルダ内にある sshUserSetup.sh スクリプトを実行します。 sh sshUserSetup.sh -hosts "host1 host2" -user grid –advanced sh sshUserSetup.
IP アドレスと名前を解決するための要件 GNS を使用するクラスタの場合 Oracle Global Naming Server（GNS）を使用して Oracle 11g R2 RAC をセットアップするための基本要件は、以下のとおりです。 • 各ノードで少なくとも 2 つのインタフェース（プライベート IP アド レス用とパブリック IP アドレス用）が設定されていること。 • GNS の仮想 IP アドレスのアドレス解決のために、ネットワーク内で ドメインネームサーバー（DNS）が実行されていること。 • サブドメインの DNS 解決をクラスタにダイレクトするための DNS 参 照を確立する DNS エントリ があること。 • クラスタのパブリックネットワーク上で DHCP サービスが実行されて いること。 • 各ノードの仮想 IP に 1 つの IP アドレスを、SCAN が使用するクラス タ用に 3 つの IP アドレスを提供するために、DHCP に十分なアドレス があること。 1 つのクラスタ内のさまざまなインタフェース、IP アドレスの設定、 および解決を 表 2-2 に示し
DNS サーバーの設定 GNS を使用して DNS サーバーを設定するには、以下の手順を実行します。 1 DNS サーバーの GNS VIP アドレスを設定する — DNS で、前方参照 ファイル内に GNS 仮想 IP アドレス用の名前解決エントリを作成し ます。 たとえば、次のとおりです。gns-server IN A 192.0.2.2 gns-server は、グリッドのインストール中に与えた GNS 仮想 IP アド レスです。与えるアドレスはルータブルで、パブリックレンジ内にあ る必要があります（例：192.0.2.2）。 2 GNS サブドメインの委任を設定する — DNS 内で、GNS サブドメイン の DNS 解決をクラスタにダイレクトする DNS 参照を確立するための エントリを作成します。DNS 参照ファイルに以下を追加します。 clusterdomain.example.com.NS gns-server.example.com. clusterdomain.example.com が委任する GNS サブドメイン（グリッ ドのインストール中に与えたもの）で、gns-server.
2 クラスタ内のすべてのノードで、resolv.conf ファイルを編集して DNS サーバーに対して解決可能なネームサーバーエントリを含め ます。 たとえば、/etc/resolv.conf ファイルを次のように編集します。 options attempts: 2 options timeout: 1 search clusterdomain.example.com example.com nameserver 192.0.2.1 nameserver 192.0.2.2 メモ：合計タイムアウト期間（options attempts と options timeout の和）は、30 秒未満に設定する必要があります。 192.0.2.1 はネットワーク内の有効な DNS サーバーアドレス、 192.0.2.2 はネットワーク内の GNS 仮想 IP アドレス、 clusterdomain.example.com は GNS サブドメインです。 3 設定の順序を確認します。/etc/nsswitch.
DNS を使用するクラスタの場合 Oracle DNS を使用して（GNS を使用せずに）Oracle 11g R2 RAC をセット アップするための基本要件は、以下のとおりです。 1 各ノードで少なくとも 2 つのインタフェース（プライベート IP アドレ ス用とパブリック IP アドレス用）が設定されていること。 2 ラウンドロビン解決のために DNS 上で SCAN 名が 3 つのアドレス （推奨）または少なくとも 1 つのアドレスに設定されていること。 SCAN アドレスは、仮想 IP アドレスおよびパブリック IP アドレスと同 じサブネット上に設定されている必要があります。 メモ：可用性とスケーラビリティを高めるために、Oracle では、3 つの IP アド レスに対してラウンドロビン解決を使用するように SCAN を設定することをお 勧めしています。SCAN 用の名前は先頭を数字にすることができません。イン ストールを成功させるには、SCAN が少なくとも 1 つのアドレスを解決するよ うに設定しておく必要があります。 1 つのクラスタ内のさまざまなインタフェース、IP アドレスの設定、およ
DNS サーバーの設定 DNS を使用して（GNS を使用せずに）Oracle 11g R2 クラスタ用に DNS サーバーに変更を設定するには、次の手順を実行します。 1 DNS サーバー上で SCAN 名解決を設定します。DNS 内で、前方参照 ファイル内に GNS 仮想 IP アドレス用の名前解決エントリを作成し ます。たとえば、次のとおりです。 scancluster IN A 192.0.2.1 IN A 192.0.2.2 IN A 192.0.2.3 scancluster はグリッドのインストール中に与えた SCAN 名です。 メモ：SCAN IP アドレスはルータブルで、パブリックレンジ内にある必 要があります。 DNS クライアントの設定 名前解決のためにクラスタノード上で必要な変更を設定するには、以下 の手順を実行します。 1 /etc/hosts ファイル内にホストエントリを追加します。各ノードで、 /etc/hosts ファイルに以下のように入力して各行を修正します。 127.0.0.1 localhost.
2 クラスタ内のノードで、resolv.conf ファイルを編集して、 DNS サーバーに対して解決可能なネームサーバーエントリを含める 必要があります。以下のようなエントリを入力します。 /etc/resolv.conf: search ns1.domainserver.com nameserver 192.0.2.100 192.0.2.100 はネットワーク内の有効な DNS サーバーアドレスで、 ns1.domainserver.com はネットワーク内のドメインサーバーです。 3 設定の順序を確認します。/etc/nsswitch.
Open IPMI ドライバの設定 1 root としてログインします。 2 IPMI サービスを有効にするには、次のように入力します。 Chkconfig ipmi on 3 IPMI サービスを開始するには、次のように入力します。 Service ipmi start 4 IPMI モジュールがロードされたことを確認するには、コマンド /sbin/lsmod|grep ipmi を実行します。たとえば、次のとおり です。 # /sbin/lsmod | grep ipmi ipmi_devintf 44753 2 ipmi_si 77453 1 ipmi_msghandler ipmi_devintf,ipmi_si 72985 2 5 次のコマンドを使用して、IPMI デバイスがシステムによって認識さ れることを確認します。ls -l /dev/ipmi0 IPMI デバイスが動的にロードされたら、次のような出力が表示され ます。 # ls -l /dev/ipmi0 crw------- 1 root root 252, 0 Dec 23 16:41 /dev/ipmi0 304
IPMItool を使用した BMC の設定 以下の例に従って、ipmitool バージョン 2.0 を使用して BMC を設定 します。 1 root としてログインします。 2 ipmitool が IPMI ドライバを使用して BMC と通信していることを 確認します。以下のコマンドを使用して、出力内のデバイス ID を チェックします。 # ipmitool bmc info Device ID : 32 Device Revision : 0 Firmware Revision : 0.20 IPMI Version : 2.
b 見つかったチャネルの LAN アクセスをオンにします。たとえば、 チャネルが 1 の場合は次のコマンドを入力します。 # ipmitool lan set 1 access on 4 以下のいずれかの手順に従って、IPMI の IP アドレス設定を行い ます。 • 動的 IP アドレス設定による方法 — 動的 IP アドレス設定は、 Oracle Universal Installer のデフォルトです。クラスタへのノー ドの追加や削除を容易に行えるように、このオプションを選択す ることをお勧めします。このオプションなら、アドレス設定が自 動的に行われます。 たとえば、チャネルが 1 の場合は、次のコマンドを入力して DHCP を有効にし、チャネルを設定します。 # ipmitool lan set 1 ipsrc dhcp メモ：DHCP を使用するには、サブネット上に DHCP サーバーが 必要です。 • 静的 IP アドレス設定による方法 — BMC が OS とネットワーク 接続を共有している場合、IP アドレスは同じサブネット上にあ ることが必要です。IP アドレスだけでなく、netm
5 次の手順に従って、ユーザー名とパスワードを設定して管理アカウ ントを作成します（チャネルが 1 の場合）。 a BMC を設定して、LAN 経由の Admin アクセス用のパスワード を認証します。たとえば、次のとおりです。 # ipmitool lan set 1 auth ADMIN MD5,PASSWORD b BMC 上のアカウントスロットを一覧表示し、未使用のスロット （ユーザー名フィールドが空のままのユーザー ID）を特定し ます。たとえば、次のとおりです。 # ipmitool channel getaccess 1 ... User ID : 4 User Name : Fixed Name : No Access Available : call-in / callback Link Authentication : disabled IPMI Messaging : disabled Privilege Level : NO ACCESS ...
d コマンド lan print 1 を使用してセットアップを確認します。 次のような出力が表示されます。 # ipmitool lan print 1 Set in Progress : Set Complete Auth Type Support : NONE MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 : User : MD2 MD5 : Operator : MD2 MD5 : Admin : MD5 PASSWORD : OEM : MD2 MD5 IP Address Source : DHCP Address [or Static Address] IP Address : 192.168.0.55 Subnet Mask : 255.255.255.0 MAC Address : 00:14:22:23:fa:f9 SNMP Community String : public IP Header : TTL=0x40 Flags=0x40 Precedence=... Default Gateway IP : 192.168.
Fixed Name : No Access Available : call-in / callback Link Authentication : enabled IPMI Messaging : enabled Privilege Level : ADMINISTRATOR 6 bmc info コマンドを使用して、クラスタ内のリモートノードから BMC がアクセスおよび制御可能なことを確認します。 たとえば、node2 用の BMC に割り当てられているネットワーク ホスト名が node2-ipmi である場合、node1 から node2 上の BMC を確認するには、node1 で次のコマンドを入力します。 $ ipmitool -H node2-ipmi -U bmcuser -P password bmc info bmcuser は Administrator アカウントで、password はパスワード です。 BMC が正しく設定されていれば、リモートノード上の BMC に関 する情報が表示されます。Error: Unable to establish LAN session のようなエ
ネットワークの設定
ファイバーチャネルクラスタの セットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.com/regulatory_compliance を参照してください。 本項の情報は、ハードウェア接続とファイバーチャネルクラスタのハー ドウェアおよびソフトウェアの構成を確認する際に役立ちます。 ファイバーチャネルクラスタ用のハードウェ アの接続 ファイバーチャネルクラスタのハードウェア接続を 図 3-1 に示します。 図 3-1.
図 3-1 に示すファイバーチャネルのハードウェア接続は、表 3-1 に一覧 表示され、クラスタ接続の概要が説明されています。 表 3-1.
ファイバーチャネルストレージシステムの ケーブル接続 必要に応じて、Oracle データベースのファイバーチャネルクラスタス トレージシステムを次のいずれかの構成にすることができます。 • 直接接続ファイバーチャネル（図 3-2 を参照） • 4 ポート SAN 接続のファイバーチャネル（図 3-3 を参照） 直接接続ファイバーチャネルの構成 ノードを直接接続ファイバーチャネル構成にするには、以下の手順を実行 します。 1 1 本の光ケーブルをノード 1 の HBA 0 から SP-A のポート 0 に接続 します。 2 1 本の光ケーブルをノード 1 の HBA 1 から SP-B のポート 0 に接続し ます。 3 1 本の光ケーブルをノード 2 の HBA 0 から SP-A のポート 1 に接続 します。 4 1 本の光ケーブルをノード 2 の HBA 1 から SP-B のポート 1 に接続し ます。 直接接続ファイバーチャネルクラスタのケーブル接続を 図 3-2 に示し ます。 ファイバーチャネルクラスタのセットアップ 313
図 3-2.
8 1 本の光ケーブルを SP-B ポート 3 からファイバーチャネルスイッ チ 0 に接続します。 9 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 10 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 11 1 本の光ケーブルをノード 2 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 12 1 本の光ケーブルをノード 2 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 SAN 接続ファイバーチャネルクラスタのケーブル接続を 図 3-3 に示し ます。 図 3-3.
ファイバーチャネルクラスタのセットアップ
Dell PowerVault MD3000/MD1000 拡張エンクロージャ用の SAS ク ラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 4-1. SAS（シリアル接続 SCSI）クラスタと Dell PowerVault MD3000 ストレー ジエンクロージャのケーブル接続 クライアントシステム プライベートネットワーク DNS/DHCP サーバー LAN/WAN PowerEdge システム PowerVault MD3000 ストレージシステム PowerVault MD1000 拡張エンクロージャ 2台 表 4-1.
表 4-1.
6 必要に応じて、PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の PowerVault MD1000 拡張エンクロー ジャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、 support.dell.com/manuals で PowerVault MD1000 ストレージシステムのマニュ アルを参照してください。 図 4-2.
ホストベースのストレージソフトウェアのイ ンストール PowerVault MD3000 ストレージエンクロージャに必要なホストベース のストレージソフトウェアをインストールするには、システムに付属の Dell PowerVault Resource メディアを使用します。Modular Disk Storage Manager（MDSM）ソフトウェアをマスターノードに、マル チパス入出力（MPIO）ソフトウェアを残りのノードにインストールす るには、PowerVault MD3000 ストレージエンクロージャのマニュアル に記載されている手順に従います。 ファームウェアの確認とアップグレード 1 ホストシステムにインストールされている MDSM ソフトウェアを使 用して、ホストシステムの直接接続ストレージを検出します。 2 次のストレージコンポーネント用のファームウェアが最低必要な バージョンであることを確認します。 • RAID コントローラファームウェア • PowerVault MD3000 ストレージシステムファームウェア • PowerVault MD1000 拡張エンクロージャファー
SAS 5/E アダプタドライバのインストール SAS 5/E ドライバを PowerVault MD3000 Resource メディアからイン ストールします。 メモ：SAS 5/E ドライバのバージョンが、dell.
Dell™ PowerVault™ MD3000i / MD1000 ストレージエンクロー ジャ用の iSCSI クラスタのセッ トアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.com/regulatory_compliance を参照してください。 本項では、Dell PowerEdge™ システムと PowerVault MD3000i/ MD1000 ストレージエンクロージャが Oracle® RAC（Real Application Cluster）環境で機能するように設定するための情報と手順を示します。 support.dell.
表 5-1.
ハードウェアのセットアップ 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 5-1.
5 必要に応じて、PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 必要に応じて、PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の MD1000 拡張エンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、 support.dell.com/manuals で PowerVault MD3000i ストレージシステムのマ ニュアルを参照してください。 スイッチ式 iSCSI クラスタは、最大 8 ノードをサポートします。 図 5-2.
ノードをスイッチ式で構成するには、図 5-2 を参照し、以下の手順を実 行します。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと PowerVault MD3000i ストレージエンクロー ジャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 6 スイッチ 1 のもう一方のポートと PowerVault MD3000i ストレージ エンクロージャ内の RAID
ストレージに必要なホストベースソフトウェ アのインストール PowerVault MD3000i ストレージシステムに必要なホストベースのス トレージソフトウェアをインストールするには、PowerVault MD3000i ストレージシステムに付属の Dell PowerVault の Resource メディアを 使用します。PowerVault MD3000i ストレージエンクロージャのマ ニュアル（support.dell.
Dell EqualLogic PS シリーズのス トレージシステム用の iSCSI ク ラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
EqualLogic iSCSI ストレージシステムのセッ トアップ ホストシステムは、IP SAN 業界標準ギガビットイーサネットスイ ッチを経由して EqualLogic PS5000XV iSCSI アレイに接続できます。 図 6-1 は、デュアルコントロールモジュール EqualLogic PS5000XV アレイに推奨されるネットワーク構成を示しています。 Dell PowerConnect™ 6200 シリーズのギガビットイーサネットスイッ チ 2 台による構成で、ネットワークの可用性と帯域幅が共に最大とな ります。 メモ：ギガビットイーサネットスイッチは 2 台使用することをお勧めし ます。イーサネットスイッチが 1 台のみの環境でスイッチに障害が発生す ると、スイッチを物理的に交換して設定を復元するまで、どのホストもス トレージにアクセスできなくなります。スイッチ 1 台の構成では、スイッ チ間またはトランク間の接続を提供するために、リンクアグリゲーション を使用する複数のポートが必要です。各コントロールモジュールから、 1 つのギガビットインタフェースを 1 台のイーサネットスイッチに、残り
図 6-1.
図 6-2. PS5000XV アレイ 3 つを使用した Oracle® RAC 構成例 Dell™ Optiplex™ デスクトップ パブリックネッ トワーク RAC プライベー ト相互接続 iSCSI SAN DNS/DHCP サーバー LAN/WAN PowerConnect ギガビットイーサネットスイッチ リンクアグリゲーショング ループ PowerConnect 6200 シリーズの ギガビットイーサネットス イッチ 高帯域幅インター スイッチリンク ストレージメンバー oracle-member01 ストレージメンバー oracle-member02 OCR および CSS 仮想 ディスクボリューム データボリューム RAID10 ストレージ プール Dell EqualLogic PS シリーズのイーサ ネットスイッチ ストレージメンバー oracle-member03 フラッシュリカバ リ領域ボリューム RAID5 ストレージ プール ストレージグループ : oracle-group メモ：EqualLogic アレイの初期化の詳細については、 support.dell.
EqualLogic PS シリーズのストレージグループは、複数の階層または プールに分割できます。ストレージを階層化すると、ディスクリソース をより自在に割り当てることができるようになります。メンバーを同時 に複数のプールに割り当てることはできません。メンバーをプールに割 り当てたり、別のプールに移動する操作は簡単に行うことができ、デー タの可用性に何ら影響はありません。プールは、ディスクのタイプ、速 度、RAID レベル、アプリケーションのタイプなど、さまざまな基準に 従って組むことができます。 図 6-2 では、プールはメンバーの RAID レベルに従って組まれてい ます。 • RAID 10 という名前のプールは、RAID 10 のメンバーで構成されて います。 • RAID 5 という名前のプールは、RAID 5 のメンバーで構成されてい ます。 ボリュームの作成 データを保存する前に、EqualLogic PS5000XV ストレージアレイの物 理ディスクを設定して、ボリュームと呼ばれる使用可能なコンポーネン トにする必要があります。ボリュームはストレージプールを構成する一 部であり、特定
表 6-1 はボリューム構成の一例を示したものです。 表 6-1.
iSCSI ネットワークの設定 最適なパフォーマンスが得られるように、iSCSI トラフィック用のホス トネットワークインタフェースがフロー制御とジャンボフレームを使用 するように設定することをお勧めします。ethtool ユーティリティを 使用してフロー制御を設定します。 次のコマンドを使用して、インタフェース上のフロー制御（RX/TX Pause）をチェックします。# ethtool -a < インタフェース > たとえば、次のとおりです。 # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on この例は、フロー制御がすでにオンになっていることを示しています。 フロー制御がオンになっていない場合は、次のコマンドを使用してオン にします。 # ethtool -A < インタフェース > rx on tx on ジャンボフレームは、/etc/sysconfig/network-scripts/ifcfg-< イン タフェース > スクリプト内に MTU="" パラメータを追加し て設定します。
ifconfig コマンドを使用して、ジャンボフレームの設定を確認し ます。 $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 起動時に iSCSI サービスの開始を有効にします。 hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのハードウェアアドレスを取得します。 grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n はネットワークインタフェース番号です。 5 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのインタフェースを作成します。 iscsiadm -m iface -I インタフェース名 --op=new インタフェース名 はインタフェースに割り当てられる名前です。 iscsiadm -m iface -I インタフェース名 --op=update -n iface.
8 新しい構成を有効にするには、iSCSI サービスを再起動します。 service iscsi stop service iscsi start 9 手順 5 で作成したすべての ifaces からターゲットを検出します。 iscsiadm -m discovery -t st -p グループ IP アドレス -interface= インタフェース名 1 --interface= インタ フェース名 2 --interface= インタフェース名 3 -interface= インタフェース名 4 グループ IP アドレスは EqualLogic ストレージグループの IP アドレ スで、インタフェース名 1、インタフェース名 2、インタフェー ス名 3、インタフェース名 4 ... は、iSCSI トラフィックに使用される ホスト上のネットワークインタフェース（手順 5 で定義）です。 たとえば、次のコマンドを実行すると、eth0-iface および eth1-iface という名前の 2 つのインタフェースを持つホストから、 グループ IP アドレス 10.16.7.
10 ホスト上のすべての ifaces からすべてのボリュームが検出されたこ とを確認します。iscsiadm -m discovery --print=1 たとえば、次のとおりです。 # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.
11 手順 5 で作成した各インタフェースからすべてのターゲット（ボ リューム）にログインします。 iscsiadm -m node -p グループ IP アドレス --interface インタフェース名 --login グループ IP アドレスは EqualLogic ストレージグループの IP アドレ スで、インタフェース名は、iSCSI トラフィックに使用されるホスト 上のネットワークインタフェース（手順 5 で定義）です。 次の例のコマンドを実行すると、ホスト上の 2 つのインタフェース （eth0-iface と eth1-iface）のそれぞれから 3 つのボリュームにロ グインします。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 /etc/multipath.conf 内の次のセクションからコメントを削除し ます。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 /etc/multipath.
次のサンプルには、4 つのボリュームの構成が含まれています。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 マルチパスデーモンを再起動し、エイリアス名が multipath -l1 の 出力結果に表示されていることを確認します。 service multipathd restart multipath -ll たとえば、次のとおりです。 fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
ホストのデータベースストレ ージ（記憶域）の設定 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
表 7-1.
5 /proc/partitions ファイル内で、以下のことを確認します。 • すべての PowerPath 擬似デバイスが、すべてのノードで類似す るデバイス名を持つファイル内に表示されていること。 たとえば、/dev/emcpowera、/dev/emcpowerb、および /dev/emcpowerc です。 • PowerVault MD3000/MD3000i または EqualLogic ストレージア レイの場合は、すべての仮想ディスクまたはボリュームが、すべ てのノードで類似するデバイス名を持つファイル内に表示されて いること。 たとえば、/dev/sdb、/dev/sdc、および /dev/sdd です。 • 外付けストレージの論理ボリュームが SCSI デバイスとして表示 され、各ノードが同数の LUN、仮想ディスク、またはボリュー ムで構成されていること。たとえば、ノードが SCSI ドライブま たは RAID コンテナを取り付けて構成されている場合は、次のと おりです。 3 つの論理ディスクを持つファイバーチャネルストレージデバイ スの場合： • sda はノードの RAI
Linux システム用のディスクパーティション の調整 注意：Linux を使用しているシステムでは、データを LUN/ 仮想ディスクに 書き込む前にパーティションテーブルを揃えます。パーティションマップ が書き換えられ、LUN/ 仮想ディスク上のすべてのデータが破棄されます。 例：fdisk ユーティリティの引数 次の例では、fdisk ユーティリティの引数を示します。この例では、LUN が /dev/emcpowera にマップされ、LUN ストライプエレメントのサイ ズは 128 ブロックです。 メモ：この例では、ディスク /dev/emcpowera にはプライマリパ ーティション /dev/emcpowera1 がすでに存在しています。 PowerVault MD3000/MD3000i または EqualLogic ストレージアレイの 場合、パーティションは /dev/sdb1 上に作成されます。 fdisk /dev/emcpowera メモ：以下の手順を実行する前に、/dev/emcpowera 上にパーティションを 作成します。 x # expert mode（エキスパートモード）
ディスクパーティションの調整に fdisk ユーティリティを使用す る方法 1 コマンドプロンプトで、次のように入力します。 fdisk < パーティション名 > < パーティション名 > は、調整するパーティションの名前です。 たとえば、パーティション名が /dev/emcpowera なら、次のよう に入力します。fdisk /dev/emcpowera 次のメッセージが表示されます。 The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs(e.g.
6 コマンドプロンプトで、fdisk ユーティリティ引数 w を入力します。 次のメッセージが表示されます。 The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks.
3 この手順は、RAC の構成に EqualLogic iSCSI ストレージと Linux Device Mapper Multipath ドライバを使用する場合にのみ行ってく ださい。 a /etc/sysconfig/oracleasm 内の ORACLEASM_SCANORDER パ ラメータを dm に設定します。 b システムを再起動して変更を適用します。 4 最初のノードのターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm createdisk ASM2 /dev/emcpowerc1 5 ASM ディスクを追加で作成する必要がある場合は、それぞれに 手 順 4 を繰り返します。 6 ASM ディスクが作成され、ASM 使用のマークが付いていることを 確認します。ターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm listdisks 手順 4 で作成したディスクが表示され
ホストのデータベースストレ ージ（記憶域）の設定
索引 D M Dell|EMC ファイバーチャネル スイッチ , 312 ストレージ , 312 Modular Disk Storage Manager, 321 MPIO ソフトウェア , 321 MTU, 335 E EMC Navisphere, 348 PowerPath, 348 Enterprise Linux, 290 I ifconfig, 294 IP アドレス 仮想 IP アドレス , 293 パブリック IP アドレス , 293 プライベート IP アドレス , 293 L N NIC ポートの割り当て , 293 P PowerConnect スイッチ , 330 PowerPath 擬似デバイス , 348 S SAS クラスタのセットアップ , 317, 323, 329, 347 LUN, 290 い イーサネットスイッチ , 312 え エイリアス名 , 343 索引 355
か ふ 仮想ディスク , 290 ファイバーチャネル SAN 接続構成 , 314 直接接続構成 , 313 け ケーブル CAT 5e, 312 CAT 6, 312 ケーブル接続 iSCSI クラスタ , 325 ファイバーチャネルストレー ジ , 313 へ ヘルプ , 290 Oracle サポート , 291 デルサポート , 290 ほ ボリューム , 333 こ 高可用性 , 295 ボンディング済みのペア , 294 よ し ジャンボフレーム , 335 用語 グループ , 329 プール , 329 ボリューム , 329 メンバー , 329 と り ドメインネームサービス , 293 リソースメディア PowerVault MD3000, 322 資格認証とトレーニング Oracle, 291 デル , 290 リンク監視 , 295 ね ネットワークパラメータ , 296 ネットワークボンデ ィング , 295 356 索引
Sistemas Dell™ PowerEdge™ — Base de datos Oracle® en Enterprise Linux® x86_64 Guía de almacenamiento y redes versión 1.
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones o incluso la muerte. ____________________ La información contenida en este documento puede modificarse sin previo aviso. © 2010 Dell Inc. Todos los derechos reservados.
Contenido 1 Información general 363 Documentación necesaria para implantar la base de datos Dell|Oracle . . . . . . . . . . . . . . 363 Terminología utilizada en este documento . . . . . . . 364 . . . . . . . . . . . . . . . . . . . 364 Obtención de ayuda Asistencia de Dell 364 . . . . . . . . . . . . . . . . . Asistencia de Oracle 2 . . . . . . . . . . . . . . . 365 . . . . . . . . . . . . . . . . Configuración de la red . . . . . . . . . . . . .
3 4 Configuración de un clúster Fibre Channel . . . . . . . . . . . . . . . . . . . . Conexiones de hardware para un clúster Fibre Channel. . . . . . . . . . . . . . . . . . . . . . 383 Cableado del sistema de almacenamiento Fibre Channel. . . . . . . . . . . . . . . . . . . . . . 386 Configuración Fibre Channel de conexión directa . . . . . . . . . . . . . . . . 386 Configuración Fibre Channel de conexión mediante SAN . . . . . . . . . . . .
5 Configuración de un clúster iSCSI para los alojamientos para almacenamiento Dell™ PowerVault ™ MD3000i y MD1000 . . . . . . . . . . . . . . Configuración del hardware. Tareas posteriores a la instalación . 400 . . . . . . . 400 . . . . . . . . . . 400 Configuración de un clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS . . . . . . . . . . . . 401 . . . . . . . . . . . . . . Configuración de un sistema de almacenamiento iSCSI EqualLogic . . . . . . . . . . . . . . . .
7 Configuración del almacenamiento de base de datos en el host . . . . . . Verificación e identificación de los discos de almacenamiento . . . . . . . . . . . . . . . . 419 . . . . . 419 Ajuste de las particiones de disco para sistemas que ejecutan el sistema operativo Linux . . . . . . . 422 . . . . 422 . . . . . . . 423 Ejemplo: Argumentos de la utilidad fdisk . Uso de la utilidad fdisk para ajustar una partición de disco . . . . . . .
Información general Este documento constituye una guía general para configurar los requisitos de red y de almacenamiento necesarios para la ejecución de la base de datos Dell|Oracle en un sistema instalado con el sistema operativo Red Hat® Enterprise Linux® u Oracle® Enterprise Linux. Este documento se aplica a la base de datos Oracle 11g R2 con Red Hat Enterprise Linux u Oracle Enterprise Linux 5.3 AS x86_64.
Terminología utilizada en este documento En este documento, los términos número de unidad lógica (LUN) y disco virtual se utilizan como sinónimos. El término LUN suele utilizarse en un entorno de sistema de almacenamiento Dell/EMC Fibre Channel. El término disco virtual suele utilizarse en un entorno de almacenamiento SAS (SCSI de conexión serie) Dell PowerVault™ (PowerVault MD3000 y PowerVault MD3000i con expansión PowerVault MD1000) o en un entorno de almacenamiento iSCSI Dell EqualLogic.
Asistencia de Oracle • Para obtener información de formación sobre el software Oracle y el software de clúster de aplicaciones e información sobre cómo ponerse en contacto con Oracle, visite la página web de Oracle (oracle.com) o consulte la documentación de Oracle. • Encontrará información sobre asistencia técnica, descargas y otras cuestiones técnicas en metalink.oracle.com.
Información general
Configuración de la red En esta sección se proporciona información sobre cómo configurar la red de clúster pública y privada. NOTA: Cada nodo de una red requiere una dirección de protocolo Internet (IP) pública y privada exclusiva. Se requiere otra dirección IP pública que sirva de dirección IP virtual en las conexiones de cliente y en caso de sustitución tras error de las conexiones. Por lo tanto, cada nodo requiere un total de tres direcciones IP.
Configuración de la red pública NOTA: Asegúrese de que su dirección IP pública sea una dirección IP válida y enrutable. NOTA: Los dos puertos NIC de bonding de una red privada deben estar en buses PCI distintos. Por ejemplo, un par de bonding puede constar de una NIC integrada y una tarjeta NIC adicional. Para configurar la red pública en cada nodo: 1 Inicie la sesión como root.
Configuración de la red privada mediante bonding Antes de implantar el clúster, configure la red de clúster privada para permitir que los nodos se comuniquen entre sí. Para ello, es necesario configurar el bonding de red y asignar una dirección IP privada y un nombre de host a cada nodo del clúster. Para establecer el bonding de red para las NIC Broadcom® o Intel® y configurar la red privada en cada nodo: 1 Inicie la sesión como root. 2 Añada la siguiente línea al archivo /etc/modprobe.
5 Para cada uno de los dispositivos miembros del bond: a En el directorio /etc/sysconfig/network-scripts/, edite el archivo ifcfg-ethn: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Escriba service network restart e ignore todos los avisos. 6 En cada nodo, escriba ifconfig para comprobar que la interfaz privada está operativa. La dirección IP privada del nodo debe asignarse a la interfaz privada bond0.
Configuración de la equivalencia de usuario Configuración de ssh 1 En el nodo primario, inicie la sesión como root. 2 Ejecute la secuencia de comandos sshUserSetup.sh situada en la carpeta de binarios de Grid, bajo la carpeta sshsetup: sh sshUserSetup.sh -hosts "host1 host2" -user grid –advanced sh sshUserSetup.sh -hosts "host1 host2" -user oracle –advanced donde host1 y host2 son los nombres de los nodos del clúster.
En la tabla 2-2 se describen las interfaces, los valores de dirección IP y las resoluciones de un clúster. Tabla 2-2.
Configuración de un cliente DNS Para configurar un cliente DNS: 1 Añada entradas de host para el nombre de dominio en el archivo /etc/hosts. En cada nodo, modifique las líneas del archivo /etc/hosts; para ello, escriba: 127.0.0.1 localhost.localdomain localhost 2 En todos los nodos del clúster, edite el archivo resolv.
Para un clúster que utiliza DNS Los requisitos básicos para configurar un clúster Oracle 11g R2 RAC que utiliza DNS de Oracle (sin GNS) son: 1 Al menos dos interfaces configuradas en cada nodo, una para la dirección IP privada y otra para la dirección IP pública. 2 Un NOMBRE SCAN configurado en el DNS para la resolución por turnos en tres direcciones (opción recomendada) o en al menos una dirección.
Configuración de un servidor DNS Para configurar los cambios en un servidor DNS para un clúster Oracle 11g R2 que utiliza un DNS (sin GNS): 1 Configure la resolución del NOMBRE SCAN en el servidor DNS. En el DNS, cree una entrada de resolución de nombre para la dirección IP virtual de GNS en el archivo de búsqueda directa. Por ejemplo: scancluster IN A 192.0.2.1 IN A 192.0.2.2 IN A 192.0.2.3 Donde scancluster es el NOMBRE SCAN proporcionado durante la instalación de Grid.
2 Debe configurar resolv.conf en los nodos del clúster de modo que contengan entradas de servidor de nombres que el servidor DNS pueda resolver. Especifique una entrada parecida a la siguiente: /etc/resolv.conf: search ns1.domainserver.com nameserver 192.0.2.100 Donde 192.0.2.100 es una dirección válida del servidor DNS en la red y ns1.domainserver.com es el servidor de dominios de la red. 3 Compruebe el orden de configuración. /etc/nsswitch.conf controla el orden del servicio de nombres.
Configuración del controlador OpenIPMI 1 Inicie la sesión como root. 2 Para habilitar el servicio IPMI, escriba: Chkconfig ipmi on 3 Para iniciar el servicio IPMI, escriba: Service ipmi start 4 Ejecute el comando /sbin/lsmod|grep ipmi para confirmar que los módulos IPMI están cargados.
Configuración de la BMC mediante IPMItool Utilice el ejemplo siguiente para configurar la BMC utilizando la versión 2.0 de ipmitool: 1 Inicie la sesión como root. 2 Verifique que ipmitool se está comunicando con la BMC mediante el controlador IPMI. Utilice los comandos siguientes para comprobar la ID de dispositivo en la salida: # ipmitool bmc info Device ID : 32 Device Revision : 0 Firmware Revision : 0.20 IPMI Version : 2.
4 Configure los valores de dirección IP para IPMI siguiendo uno de estos procedimientos: • Mediante el direccionamiento IP dinámico: ésta es la opción predeterminada que toma Oracle Universal Installer. Se recomienda seleccionar esta opción para poder añadir y quitar nodos del clúster de forma más sencilla, ya que los valores de las direcciones pueden asignarse automáticamente.
b Enumere los espacios para cuentas de la BMC e identifique una ranura sin utilizar (una ID de usuario con un campo de nombre de usuario vacío). Por ejemplo: # ipmitool channel getaccess 1 . . . User ID : 4 User Name : Fixed Name : No Access Available : call-in / callback Link Authentication : disabled IPMI Messaging : disabled Privilege Level : NO ACCESS . . . c Asigne el nombre de usuario de administrador y la contraseña que desee y habilite la mensajería para la ranura identificada.
d Compruebe la configuración mediante el comando lan print 1. La salida debería ser parecida a la siguiente: # ipmitool lan print 1 Set in Progress : Set Complete Auth Type Support : NONE MD2 MD5 PASSWORD Auth Type Enable : Callback : MD2 MD5 : User : MD2 MD5 : Operator : MD2 MD5 : Admin : MD5 PASSWORD : OEM : MD2 MD5 IP Address Source : DHCP Address [or Static Address] IP Address : 192.168.0.55 Subnet Mask : 255.255.255.
Fixed Name : No Access Available : call-in / callback Link Authentication : enabled IPMI Messaging : enabled Privilege Level : ADMINISTRATOR 6 Compruebe que es posible acceder a la BMC y controlarla desde un nodo remoto del clúster mediante el comando bmc info.
Configuración de un clúster Fibre Channel AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance. En esta sección encontrará ayuda para comprobar las conexiones de hardware y las configuraciones de hardware y software del clúster Fibre Channel.
Ilustración 3-1.
Tabla 3-1. Interconexiones de hardware Fibre Channel (continuación) Componente del Conexiones clúster • Dos cables CAT 5e o CAT 6 conectados a la LAN Sistema de almacenamiento • De una a cuatro conexiones de cable de fibra óptica a cada Dell/EMC Fibre conmutador Fibre Channel.
Cableado del sistema de almacenamiento Fibre Channel Puede configurar el sistema de almacenamiento del clúster Fibre Channel de la base de datos Oracle con una de las configuraciones siguientes según sus necesidades: • Fibre Channel de conexión directa (vea la ilustración 3-2) • Fibre Channel de conexión mediante SAN de cuatro puertos (vea la ilustración 3-3) Configuración Fibre Channel de conexión directa Para configurar los nodos en una configuración Fibre Channel de conexión directa: 1 Conecte un cab
Ilustración 3-2. Cableado de un clúster Fibre Channel de conexión directa Dos puertos HBA para el nodo 1 Dos puertos HBA para el nodo 2 0 1 0 1 SP-B 1 1 SP-A 0 0 Almacenamiento Dell/EMC CX4-480 Fibre Channel Configuración Fibre Channel de conexión mediante SAN Para configurar los nodos con una configuración de conexión mediante SAN de cuatro puertos: 1 Conecte un cable óptico del puerto 0 de SP-A al conmutador 0 Fibre Channel.
8 Conecte un cable óptico del puerto 3 de SP-B al conmutador 0 Fibre Channel. 9 Conecte un cable óptico del HBA 0 del nodo 1 al conmutador 0 Fibre Channel. 10 Conecte un cable óptico del HBA 1 del nodo 1 al conmutador 1 Fibre Channel. 11 Conecte un cable óptico del HBA 0 del nodo 2 al conmutador 0 Fibre Channel. 12 Conecte un cable óptico del HBA 1 del nodo 2 al conmutador 1 Fibre Channel. En la ilustración 3-3 se muestran las conexiones de cables de un clúster Fibre Channel de conexión mediante SAN.
Configuración de un clúster SAS para los alojamientos de expansión Dell PowerVault MD3000 y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell™ sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 4-1. Cableado del clúster SCSI de conexión serie (SAS) y el alojamiento para almacenamiento Dell PowerVault MD3000 Sistemas Red privada Servidor DNS y DHCP LAN/WAN Sistemas PowerEdge Sistema de almacenamiento PowerVault MD3000 Dos alojamientos de expansión PowerVault MD1000 Tabla 4-1.
Tabla 4-1. Interconexiones de hardware del clúster SAS (continuación) Componente del clúster Conexiones Alojamiento para almacenamiento PowerVault MD3000 • Dos cables CAT 5e/6 conectados a la LAN (uno desde cada módulo del procesador de almacenamiento) • Dos conexiones SAS a cada nodo del sistema PowerEdge mediante cables SAS 5/E NOTA: Para obtener más información sobre la interconexión de alojamientos para almacenamiento PowerVault MD3000, consulte “Configuración del hardware” en la página 391.
6 Si procede, conecte dos cables SAS de los dos puertos de salida de los alojamientos para almacenamiento PowerVault MD1000 a los puertos In-0 del segundo alojamiento de expansión PowerVault MD1000. NOTA: Para obtener información sobre la configuración del alojamiento de expansión PowerVault MD1000, consulte la documentación del sistema de almacenamiento PowerVault MD1000 en support.dell.com/manuals. Ilustración 4-2.
Instalación de software de almacenamiento basado en host Para instalar el software de almacenamiento basado en host necesario para el alojamiento para almacenamiento PowerVault MD3000, utilice el soporte multimedia de recursos de Dell PowerVault que se incluye con el sistema.
Realización de las tareas posteriores a la instalación Una vez instalados los controladores y el software, realice las tareas posteriores a la instalación indicadas en la guía de instalación de PowerVault MD3000. Cree el entorno que se muestra en el documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de instalación del sistema operativo y el hardware y en la guía de Linux. Ambos documentos están disponibles en support.dell.com/manuals.
Configuración de un clúster iSCSI para los alojamientos para almacenamiento Dell™ PowerVault™ MD3000i y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Tabla 5-1.
Configuración del hardware Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 5-1.
5 Si procede, conecte dos cables SAS de los dos puertos de salida de los alojamientos para almacenamiento PowerVault MD3000 a los dos puertos de entrada del primer alojamiento de expansión PowerVault MD1000. 6 Si procede, conecte dos cables SAS de los dos puertos de salida de los alojamientos para almacenamiento PowerVault MD1000 a los puertos In-0 del segundo alojamiento de expansión MD1000.
Para configurar los nodos en una conexión conmutada, vea la Ilustración 5-2 y realice los pasos siguientes: 1 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 1. 2 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 2. 3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1.
Instalación del software basado en host necesario para el almacenamiento Para instalar el software de almacenamiento basado en host necesario para el sistema de almacenamiento PowerVault MD3000i, utilice el soporte multimedia de recursos de Dell PowerVault entregado con el sistema de almacenamiento PowerVault MD3000i. Siga los procedimientos descritos en la documentación del alojamiento para almacenamiento PowerVault MD3000i, disponible en support.dell.
Configuración de un clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell™ sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Configuración de un sistema de almacenamiento iSCSI EqualLogic Los sistemas host se pueden conectar a la matriz iSCSI EqualLogic PS5000XV a través de un conmutador Ethernet Gigabit estándar de SAN IP. En la ilustración 6-1 se muestra la configuración de red recomendada para una matriz EqualLogic PS5000XV de módulo de control dual. Esta configuración incluye dos conmutadores Ethernet Gigabit Dell PowerConnect™ serie 6200, que ofrecen la mayor disponibilidad de red y la máxima amplitud de banda de red.
Ilustración 6-1.
Ilustración 6-2.
Un grupo de almacenamiento EqualLogic serie PS se puede segregar en varios niveles en cascada o bloques. El almacenamiento en cascada proporciona a los administradores un mayor control sobre la asignación de recursos de disco. Un miembro sólo se puede asignar a un bloque a la vez. Es fácil asignar un miembro a un bloque y mover un miembro entre bloques sin influir en la disponibilidad de los datos.
En la tabla 6-1 se presenta una configuración de volúmenes de muestra. Tabla 6-1.
Configuración de redes iSCSI Se recomienda configurar las interfaces de red del host para el tráfico iSCSI de modo que utilicen el control de flujo y la trama gigante para obtener un rendimiento óptimo. Con la utilidad ethtool se puede configurar el control de flujo.
Compruebe la configuración de la trama gigante mediante el comando ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 Obtenga la dirección de hardware de cada interfaz de red en el host que se utiliza para el tráfico iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, donde n es el número de interfaz de red. 5 Cree una interfaz para cada interfaz de red en el host que se utiliza para el tráfico iSCSI. iscsiadm -m iface -I iface_name --op=new, donde iface_name es el nombre asignado a la interfaz. iscsiadm -m iface -I iface_name --op=update -n iface.
9 Detecte los destinos de todas las interfaces creadas en el paso 5. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name1, iface_name2, iface_name3, iface_name4, etc. son las interfaces de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI.
10 Compruebe que se hayan detectado todos los volúmenes de todas las interfaces del host: iscsiadm -m discovery --print=1 Por ejemplo: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Inicie sesión en todos los destinos (volúmenes) de cada interfaz creada en el paso 5: iscsiadm -m node -p group_ip_address --interface iface_name --login, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name es la interfaz de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI. En el ejemplo siguiente se inicia sesión en tres volúmenes de cada una de las dos interfaces (eth0-iface y eth1-iface) de un host. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Quite la marca de comentario de la sección siguiente de /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Añada la sección siguiente a /etc/multipath.conf. El WWID se obtiene en el paso 1.
En la muestra siguiente se incluyen configuraciones de cuatro volúmenes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Reinicie el daemon multirruta y compruebe que los nombres de alias se muestran en la salida de multipath -l1.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Configuración del almacenamiento de base de datos en el host AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance. Oracle® Real Application Clusters (RAC) es una configuración de base de datos compleja que requiere una lista ordenada de procedimientos.
Tabla 7-1.
5 En el archivo /proc/partitions, compruebe lo siguiente: • Todos los pseudodispositivos PowerPath aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/emcpowera, /dev/emcpowerb y /dev/emcpowerc. • En el caso de las matrices de almacenamiento PowerVault MD3000, MD3000i o EqualLogic, todos los volúmenes o discos virtuales aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/sdb, /dev/sdc y /dev/sdd.
Ajuste de las particiones de disco para sistemas que ejecutan el sistema operativo Linux PRECAUCIÓN: En un sistema que ejecuta el sistema operativo Linux, alinee la tabla de particiones antes de escribir datos en el LUN o disco virtual. El mapa de particiones se vuelve a escribir y se eliminan todos los datos del LUN o disco virtual. Ejemplo: Argumentos de la utilidad fdisk En el ejemplo siguiente se indican los argumentos de la utilidad fdisk.
Uso de la utilidad fdisk para ajustar una partición de disco 1 En el indicador de comandos, escriba: fdisk , donde es el nombre de la partición que está ajustando. Por ejemplo, si el nombre de la partición es /dev/emcpowera, escriba: fdisk /dev/emcpowera El sistema muestra el mensaje siguiente: The number of cylinders for this disk is set to 8782.
6 En el indicador de comandos, escriba el siguiente argumento de la utilidad fdisk: w El sistema muestra el mensaje siguiente: The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. (La tabla de particiones se ha modificado. Se está llamando a IOCTL () para volver a leer la tabla de particiones. Se están sincronizando los discos.) 7 Repita del paso 1 al paso 6 para el resto de los LUN con datos de Oracle.
4 En el primer nodo de la ventana de terminal, escriba lo siguiente y pulse : service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm createdisk ASM2 /dev/emcpowerc1 5 Repita el paso 4 para los discos ASM adicionales que necesite crear. 6 Compruebe que los discos ASM se hayan creado y se hayan marcado para el uso de ASM. En la ventana de terminal, escriba lo siguiente y pulse : service oracleasm listdisks Se muestran los discos que ha creado en el paso 4.
Configuración del almacenamiento de base de datos en el host
Índice A D alta disponibilidad, 369 Dell/EMC Fibre Channel almacenamiento, 385 conmutador, 385 ayuda, 364 asistencia de Dell, 364 asistencia de Oracle, 365 B dirección IP dirección IP privada, 367 dirección IP pública, 367 dirección IP virtual, 367 bonding de red, 369 disco virtual, 364 C E cable CAT 5e, 384 CAT 6, 384 EMC Navisphere, 420 PowerPath, 420 cableado almacenamiento Fibre Channel, 386 clúster iSCSI, 397 Enterprise Linux, 364 certificación y formación Dell, 364 Oracle, 365 Fibre Ch
M T Modular Disk Storage Manager, 393 MTU, 407 término bloque, 401 grupo, 401 miembro, 401 volumen, 401 N trama gigante, 407 NIC asignaciones de puerto, 367 nombres de alias, 415 número de unidad lógica, 364 P par de bonding, 368 parámetros de red, 369 pseudodispositivos PowerPath, 420 S SAS configuración del clúster, 389, 395, 401, 419 servicio de nombres de dominio, 367 software MPIO, 393 soporte multimedia de recursos PowerVault MD3000, 393 supervisión de enlaces, 369 428 Índice V volúmenes, 4
