Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Storage and Network Guide Version 4.
Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. WARNING: A WARNING indicates a potential for property damage, personal injury, or death. ____________________ Information in this publication is subject to change without notice. © 2009—2010 Dell Inc. All rights reserved.
Contents 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . Required Documentation for Deploying the Dell|Oracle Database . . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 8 Terminology Used in This Document Getting Help Dell Support . . . . . . . . . . . . . . . . . . . . . . Oracle Support 2 . . . . . . . . . . . . . . . . . . . . Configuring Your Network . Configuring the Public Network. 8 8 . . . . . . . . . . . .
SAS Cluster Setup for the Dell PowerVault MD3000, MD32xx, MD1000, and MD12xx Expansion Enclosures . . . . . . . . . . . . . . . 21 Setting Up the SAS Cluster With PowerVault MD3000 and MD1000 Expansion Enclosures . . . . . . 23 . . . . . . . . . . 23 Task 1: Setting Up the Hardware Task 2: Installing Host-Based Storage Software . Task 3: Verifying and Upgrading the Firmware . . . 25 . . . 25 Task 5: Performing the Post Installation Tasks . . . 26 . . . . . 26 . . . . . . . . . .
Setting Up the SAS Cluster With PowerVault MD32xxi and MD12xxi Expansion Enclosures Task 1: Setting Up the Hardware . . . . . . 39 . . . . . . . . . 39 Task 2: Installing Host-Based Storage Software . 6 . 39 . . . . . . . . . . . 43 . . . . . . . . . . . . . . . . 43 iSCSI Cluster Setup for the Dell EqualLogic PS Series Storage System . . . . . . . . . EqualLogic Terminology . Setting Up the EqualLogic iSCSI Storage System . Creating Volumes . . . . 43 . . . . . . . . . . . . . . . . .
Configuring Shared Storage for Clusterware, Database and Recovery Files in a RAC Environment Configuring Shared Storage Disks for Oracle Clusterware, Database, and Recovery Files Using OCFS2 . . . . . 6 65 . . . . . . . 65 Configuring Shared Storage Disks for Oracle Clusterware Using Raw Devices and for Database and Recovery Files Using ASM . . . 68 Configuring Shared Storage Disks for Oracle Clusterware Using Block Devices and for Database and Recovery Files Using ASM . . .
Overview This document applies to Oracle Database 10g R2 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.5 AS x86_64. NOTE: The document provides a generalized guide to configure the network and storage requirements for running the Dell|Oracle database on a system installed with the Red Hat Enterprise Linux or the Oracle Enterprise Linux operating system.
Terminology Used in This Document Throughout this document, the terms logical unit number (LUN) and virtual disk are used synonymously. The term LUN is commonly used in a Dell/EMC Fibre Channel storage system environment. The term virtual disk is commonly used in a Dell PowerVault Serial-attached SCSI (SAS) (PowerVault MD3000i and PowerVault MD3000i with PowerVault MD1000 expansion) or a Dell EqualLogic iSCSI storage environment.
Configuring Your Network This section guides you to configure the public and private cluster network. NOTE: Each node requires a unique public and private internet protocol (IP) address. An additional public IP address is required to serve as the virtual IP address for the client connections and the connection failover. The virtual IP address must belong to the same subnet as the public IP.
NETMASK= BOOTPROTO=static HWADDR= SLAVE=no 3 Edit the /etc/sysconfig/network file, and, if necessary, replace localhost.localdomain with the qualified public node name. For example, the command for node 1: hostname=node1.domain.com 4 Type:service network restart. 5 Type ifconfig to verify that the IP addresses are set correctly. 6 To check your network configuration, ping each public IP address from a client on the LAN that is outside of the cluster.
DEVICE=bondn is the required name for the bond, where n specifies the bond number. IPADDR is the private IP address. To use bond0 as a virtual device, you must specify the devices that are bonded as slaves. 4 For each device that is a bond member: a In the directory /etc/sysconfig/network-scripts/, edit the ifcfg-ethn file: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet MASTER=bond0 SLAVE=yes b Type service network restart and ignore all warnings.
Setting Up Oracle User Equivalence Configuring Secure Shell (ssh) 1 On all nodes, login as user oracle. 2 Generate an RSA key pair on your system using the command: ssh-keygen -t rsa 3 Press to accept the default location for the key file (In this case, /home/oracle/.ssh/id_rsa). 4 Press at both paraphrase prompts to enter an empty passphrase. 5 The ssh-keygen utility finishes the operation. The following message is displayed: Your identification has been saved in /home/oracle/.ssh/id.rsa.
8 Perform secure copies of your .pub keys to each of your nodes by using the scp command. The following example is with two nodes: (node1: Type the following command string): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh (node2: Type the following command string): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh Now, each of the systems has the other's public key under the /home/oracle/.ssh directory.
Configuring Your Network
Fibre Channel Cluster Setup WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at dell.com/regulatory_compliance. This section helps you to verify the hardware connections, and the hardware and software configurations of the Fibre Channel cluster set up by the Dell Professional Services representative.
Hardware Connections for a Fibre Channel Cluster See Figure 3-1 to visually verify all hardware connections of a Fibre Channel cluster. Table 3-1 lists the Fibre Channel hardware connections depicted in Figure 3-1. Figure 3-1.
Table 3-1.
Cabling Your Fibre Channel Storage System Depending on your requirements, you can configure your Oracle database Fibre Channel cluster storage system in one of the following configurations: • Direct-attached Fibre Channel (see Figure 3-2) • Four-port SAN-attached Fibre Channel (see Figure 3-3) The following sections describe the cabling requirements for these configurations.
SAN-Attached Fibre Channel Configuration To configure your nodes in a four-port SAN-attached configuration: 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1. 3 Connect one optical cable from SP-A port 2 to Fibre Channel switch 0. 4 Connect one optical cable from SP-A port 3 to Fibre Channel switch 1. 5 Connect one optical cable from SP-B port 0 to Fibre Channel switch 1.
Figure 3-3.
SAS Cluster Setup for the Dell PowerVault MD3000, MD32xx, MD1000, and MD12xx Expansion Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Figure 4-1. Cabling the Serial-Attached SCSI (SAS) Cluster and the Dell PowerVault MD3000 Storage Enclosure Private Network LAN/WAN PowerEdge Systems PowerVault MD3000 Storage System Two PowerVault MD1000 Expansion Enclosures CAT 5e/6 (Public NIC) CAT 5e/6 (Copper Gigabit NIC) Fiber Optic Cables Table 4-1.
Table 4-1. SAS Cluster Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000 storage enclosure • Two CAT 5e/6 cables connected to LAN (one from each storage processor module) • Two SAS connections to each PowerEdge system node through the SAS 5/E cables NOTE: For more information on the PowerVault MD3000 storage enclosure interconnection, see ”Setting Up the SAS Cluster With PowerVault MD3000 and MD1000 Expansion Enclosures” on page 23.
5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional). Connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second PowerVault MD1000 expansion enclosure. NOTE: For information on configuring the PowerVault MD1000 expansion enclosure, see the PowerVault MD3000 storage system documentation at support.dell.com/manuals. Figure 4-2.
Task 2: Installing Host-Based Storage Software To install the necessary host-based storage software for the PowerVault MD3000 storage enclosure, use the Dell PowerVault Resource media that was shipped with the system. To install the Modular Disk Storage Manager software on the Master node and the Multi-Path (MPIO) software on the remaining nodes, follow the procedures in the PowerVault MD3000 storage enclosure documentation.
Task 5: Performing the Post Installation Tasks After installing the drivers and the software, perform the post installation tasks listed in the PowerVault MD3000 Installation Guide. Create the environment shown in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation, and the Linux Guide. Both documents are available at support.dell.com/manuals. NOTE: It is recommended that you configure the disks for the LUNs in a RAID 10 configuration.
Installing the MD Storage Software The PowerVault MD3200 series storage software installer provides features that include the core software and providers. The Core Software feature includes the host-based storage agent, multipath driver, and MD Storage Manager application used to configure, manage and monitor the storage array solution. The Providers feature include providers for the Microsoft Virtual Disk Service (VDS) and Microsoft Volume Shadow-Copy Service (VSS) framework.
4 Install the MD Storage software. Select one of the following installation options: • Full—This package installs core software, providers, and utilities. It includes the necessary host-based storage agent, multipath driver, MD Storage Manager, providers, and optional utilities. • Host Only—This package includes the host context agent, multipath drivers, and optional utilities required to configure the host.
To run silent installation on a Linux system, perform the following steps: 1 To begin the installation with all the default options, navigate to the linux folder on the resource media and run the following command: ./md32xx_install.bin –i silent 2 To specify which features are to be installed silently, modify the custom_silent.properties file located in the same directory and copy it to a writable location on the host server. This file contains a list of supported features and their descriptions.
3 In the Enterprise Management Window (EMW), go to Setup→ Add Storage Array and start the automatic discovery of systems. NOTE: Only storage arrays configured with IP address on the same subnet as the management stations will be detected. NOTE: It may take several minutes for the discovery process to complete. Closing the Automatic Discovery Status window before this stops the discovery process. After discovery is complete, a confirmation screen appears. Click Close to close the screen.
Initial Setup Tasks 1 The name of the first storage array found appears in the devices tab of the EMW. To see a list of all storage arrays found on the local network, expand the discovered storage arrays tab in the device pane of the EMW. 2 The default name for a newly installed MD3200 Series storage array is Unnamed. If another name appears in MDSM, click the down arrow next to the name and click Unnamed in the drop-down list.
SAS Cluster Setup for the PowerVault Expansion Enclosure
iSCSI Cluster Setup for the Dell PowerVault MD3000i, MD32xxi, MD1000i, and MD12xxi Storage Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Table 5-1. iSCSI Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000i storage system • Two CAT 5e/6 cables connected to LAN (one from each storage processor module) for the management interface • Two CAT 5e/6 cables per storage processor for iSCSI interconnect NOTE: For additional information on the PowerVault MD3000i storage enclosure, see your PowerVault MD3000i set-up documentation at support.dell.com/manuals.
Setting Up the iSCSI Cluster for PowerVault MD3000i and MD1000 Expansion Enclosures Task 1: Setting Up the Hardware Direct-attached iSCSI clusters are limited to two nodes only. Figure 5-1.
4 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 2 to the In-1 port of RAID controller 1 in the PowerVault MD3000i storage enclosure. 5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional). Connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second MD1000 expansion enclosure.
To configure your nodes in a switched configuration, see Figure 5-2, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1. 2 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 2. 3 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 1.
Task 2: Installing Host-based Software Needed for Storage To install the necessary host-based storage software for the PowerVault MD3000i storage system, use the Dell PowerVault Resource media that came with your PowerVault MD3000i storage system. To install the Modular Disk Storage Manager software on the Master node and the Multi-Path (MPIO) software on the remaining nodes, see the PowerVault MD3000i storage enclosure documentation at support.dell.com/manuals.
Setting Up the SAS Cluster With PowerVault MD32xxi and MD12xxi Expansion Enclosures Task 1: Setting Up the Hardware For information on configuring the PowerVault MD32xxi and MD12xxi expansion enclosures, see the PowerVault MD3200i and MD1200i storage system documentation at support.dell.com/manuals. Task 2: Installing Host-Based Storage Software The PowerVault MD3200i Series storage software installer provides features that include the core software, providers, and optional utilities.
The PowerVault MD3200 Series resource media provided offers the following three installation methods: Graphical Installation (Recommended)—This is the recommended installation procedure for most users. The installer presents a graphical wizarddriven interface that allows customization of which components are installed. Console Installation—This installation procedure is useful for Linux users that do not desire to install an X-Window environment on their supported Linux platform.
Console Installation NOTE: Console installation only applies to Linux systems that are not running a graphical environment. The autorun script in the root of the resource media detects when there is no graphical environment running and automatically starts the installer in a text-based mode. This mode provides the same options as graphical installation with the exception of the MDCU specific options. The MDCU requires a graphical environment to operate.
iSCSI Cluster Setup for the PowerVault Enclosure
iSCSI Cluster Setup for the Dell EqualLogic PS Series Storage System WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at dell.com/regulatory_compliance. EqualLogic Terminology The EqualLogic PS series storage array includes storage virtualization technology.
NOTE: It is recommended that you use two Gigabit Ethernet switches. In the event of a switch failure in a single Ethernet switch environment, all hosts lose access to the storage until the switch is physically replaced and the configuration restored. In such a configuration, there must be multiple ports with link aggregation providing the inter-switch, or trunk connection.
Figure 6-2.
An EqualLogic PS-series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated. At any one time, a member can be assigned to only one pool. It is easy to assign a member to a pool and to move a member between pools with no impact to data availability. Pools can be organized according to different criteria, such as disk types or speeds, RAID levels, and application types.
Table 6-1. Volumes for Oracle RAC Configuration (continued) Volume Minimum Size RAID Number of Partitions Third Area Volume(s) Minimum 5 twice the size of your second area volume(s) One Used For Operating System Mapping Flash Recovery Area ASM disk group FLASHBACKDG Create volumes in the Dell EqualLogic array and create access list to allow all host iSCSI network interfaces to access the volumes.
The example below shows the MTU set to 9000. # cat /etc/sysconfig/network-scripts/ifcfg-eth2 DEVICE=eth2 HWADDR=00:15:17:80:43:50 ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPADDR=10.16.7.125 NETMASK=255.255.255.0 USERCTL=no MTU=9000 Verify the Jumbo Frame setting using the ifconfig command: $inconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.
Configuring Host Access to Volumes This section details the steps to configure the host access to iSCSI volumes using the iscsiadm tool. The iscsiadm tool is the open-iSCSI administration utility. 1 Log in to the system as root user. Verify the open-iSCSI initiator software is installed on all host systems: rpm -qa|grep -i iscsi-initiator If the open-iSCSI initiator RPM is installed, the following output is displayed: iscsi-initiator-utils-6.2.0.868-0.7.
# iscsiadm -m iface -I eth0-iface --op=update -n iface.hwaddress -v 00:18:8B:4E:E6:CC eth0-iface updated 6 Verify that the interfaces are created and associated properly: iscsiadm -m iface 7 Modify the CHAP information in /etc/iscsi/iscsid.conf on the host. node.session.auth.authmethod = CHAP node.session.auth.username = username node.session.auth.password = password discovery.sendtargets.auth.authmethod = CHAP discovery.sendtargets.auth.username = username discovery.sendtargets.auth.
spfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-93ee59d02-674f999767d4942e-mdi-data1 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-93ee59d02-674f999767d4942e-mdi-data1 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-95ce59d02-2e0f999767f4942e-mdi-data2 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-95ce59d02-2e0f999767f4942e-mdi-data2 10.16.7.100:3260,1 iqn.2001-05.com.
Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090697be59d02-d7ef99976814942e-mdi-fra1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface iSNS: No targets found. STATIC: No targets found.
Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.
Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.
Configuring Device Mapper Multipath to Volumes 1 Run the /sbin/scsi_id command against the devices created for Oracle to obtain their unique device identifiers: /sbin/scsi_id -gus /block/ For example: # scsi_id -gus /block/sda 2 Uncomment the following section in /etc/multipath.conf. blacklist { wwid devnode "^(ram|raw|loop|fd|md|dm|sr|scd|st)[0-9]*" devnode "^hd[a-z]" } 3 Uncomment the following section in /etc/multipath.conf.
4 Add the following section in /etc/multipath.conf. The WWID is obtained from step 1. Ensure the alias names are consistent on all hosts in the cluster. multipaths { multipath { wwid WWID_of_volume1 alias alias_of_volume1 } multipath { wwid WWID_of_volume2 alias alias_of_volume2 } (Add a multipath subsection for each additional volume.) } The following sample includes configurations of four volumes.
5 Restart the multipath daemon and verify the alias names are displayed in the multipath -l1 output. chkconfig multipathd on service multipathd restart multipath -ll For example, fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 Verify the /dev/mapper/* devices are created. These device names must be used to access and interact with multipath devices in the subsequent sections.
Configuring Database Storage on the Host WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. Oracle Real Application Clusters (RAC) is a complex database configuration that requires an ordered list of procedures.
To verify that each node can detect each storage LUN or logical disk: 1 For the Dell/EMC Fibre Channel storage system, verify that the EMC Navisphere agent and the correct version of PowerPath are installed on each node. Verify that each node is assigned to the correct storage group in the EMC Navisphere software. For instructions, see the documentation that came with your Dell/EMC Fibre Channel storage system.
5 In the /proc/partitions file, ensure that: • All PowerPath pseudo devices appear in the file with similar device names across all nodes. For example: /dev/emcpowera, /dev/emcpowerb, and /dev/emcpowerc. • In the case of the PowerVault MD3000 or MD3000i or the EqualLogic storage array, all the virtual disks or volumes appear in the file with similar device names across all nodes.
Adjusting Disk Partitions for Systems Running the Linux Operating System CAUTION: In a system running the Linux operating system, align the partition table before data is written to the LUN/virtual disk. The partition map is rewritten and all data on the LUN/virtual disk destroyed. Example: fdisk Utility Arguments The following example indicates the arguments for the fdisk utility. In this example, the LUN is mapped to /dev/emcpowera, and the LUN stripe element size is of 128 blocks.
Procedure: Using the fdisk Utility to Adjust a Disk Partition Use the following procedure to use the fdisk utility to adjust a disk partition. 1 At the command prompt, type the following: fdisk , where is the name of the partition that you are adjusting. For example, if the partition name is /dev/emcpowera, type: fdisk /dev/emcpowera The system displays the following message: The number of cylinders for this disk is set to 8782.
Configuring Database Storage Using ext3 File System for Single Node Only If you have additional storage device, perform the following steps: 1 Log in as root. 2 Type: cd /opt/oracle $> cd , where is similar to /u01/app/oracle. 3 Enter: mkdir oradata recovery Use the fdisk utility to create a partition where you want to store your database files. For example: Emcpowera1, if your storage device is emcpowera.
Configuring Shared Storage for Clusterware, Database and Recovery Files in a RAC Environment This section describes how to configure your shared storage disks in a RAC environment using one of the following three methods: • To use Oracle Cluster File System (OCFS2) for Clusterware, Database and Recovery files, see the “Configuring Shared Storage Disks for Oracle Clusterware, Database, and Recovery Files Using OCFS2” on page 65.
e After all the nodes are added, click Apply and then click Close in the Node Configuration window. NOTE: If you get the error message: Unable to access cluster service, when you perform step e, delete the file /etc/ocfs2/cluster.conf and try again. f g From the menu, click Cluster→ Propagate Configuration. The Propagate Cluster Configuration window appears. Wait until the message Finished appears in the window. Click Close. Select File→ Quit.
6 On any one node, format the external storage devices with 4 K block size, 128 K cluster size, and 4 node slots by using the command line utility mkfs.ocfs2: ocr.dbf and Voting Disk mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 Database Files mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Flash Recovery Area mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 NOTE: Node slots refer to the number of cluster nodes.
c On each node, type the following to mount all the volumes listed in the /etc/fstab file: mount -a -t ocfs2 d On each node, add the following command to the /etc/rc.
4 Verify that the scripts /etc/udev/scripts/raw-dev.sh and /etc/udev/rules.d/60-rawdevices.rules exist. If the scripts exist, continue with the next step in the Installation Guide. If the scripts do not exist, follow the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation Guide to install the Dell|Oracle Deployment Automation Scripts. 5 Type: chkconfig networkwait off. 6 Create the RAW devices by typing: udevstart.
Configuring Disks for ASM Using the ORACLEASM Library Driver Perform the following steps to configure the ASM disks: 1 Log in as root.
6 Verify that the ASM disks are created and marked for ASM usage. In the terminal window, type the following and press : service oracleasm listdisks The disks that you created in step 5 are displayed. For example: ASM1 ASM2 7 Ensure that the remaining nodes are able to access the ASM disks that you created in step 5.
3 On all the nodes in a Fibre Channel cluster, perform the following steps: 72 a Add the partition names for the primary and mirror OCR to the permissions.ini file. This file is located in the /dell-oracle-deployment/scripts/ directory: [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= For example, if the OCR and OCR mirror partitions are /dev/emcpowera1 and /dev/emcpowera2, then the permissions.
NOTE: Only modify the following five variables: primary_ocr, mirror_ocr, vote1, vote2, and vote3. 4 After you have set your permissions.ini file, run the permissions.py script located under the /dell-oracle-deployment/scripts/ folder: ./permissions.py 5 Run the following command to set the correct block device permissions: /etc/rc.
For example, if your ASM1 and ASM2 disk devices are /dev/emcpowerc1 and /dev/emcpowerd1 for Database and Recovery files respectively, then the permissions.ini file is modified as: [asm] asm1=/dev/emcpowerc1 asm2=/dev/emcpowerd1 To add an additional ASM disk device, ASM3, using /dev/emcpowere1, add another entry to the session: asm3=/dev/emcpowere1 4 After you set your permissions.ini file, run the permissions.py script located under the /dell-oracle-deployment/scripts/ folder: ./permissions.
5 Repeat step 4 for any additional ASM disks that need to be created. 6 Verify that the ASM disks are created and marked for ASM usage. In the terminal window, type the following and press : service oracleasm listdisks The disks that you created in step 5 are displayed. For example: ASM1 ASM2 7 Ensure that the remaining nodes are able to access the ASM disks that you created in step 5.
5 Perform step 5 only if the RAC configuration uses an EqualLogic iSCSI storage and a Linux Device Mapper Multipath driver. Set the ORACLEASM_SCANORDER parameter in /etc/sysconfig/oracleasm as follows: ORACLEASM_SCANORDER="dm" Reboot the system for the change to take effect. 6 Ensure that the new node can access the ASM disks. In the terminal window, enter the following: service oracleasm scandisks 7 Ensure that the ASM disks are available on the new node.
Index A Domain Naming Service, 9 alias names, 56 E B bonded pair, 9 EMC Navisphere, 60 PowerPath, 60 Enterprise Linux, 8 C ethernet switch, 17 cable CAT 5e, 17 CAT 6, 17 F cabling fibre channel storage, 18 iSCSI cluster, 35 SAS storage, 23, 26, 39 certification and training Dell, 8 Oracle, 8 Fibre Channel direct-attached configuration, 18 SAN-attached configuration, 19 H Clusterware configuring storage for, 65 help, 8 Dell support, 8 Oracle support, 8 D I Dell/EMC fibre channel, 17 ifconfig
IP adress private IP address, 9 P paraphrase prompt, 12 PowerConnect switch, 43 J PowerPath pseudo devices, 60 Jumbo Frame, 47 public key, 12 L R logical unit number, 8 Resource Media PowerVault MD3000, 25 LUNs, 18 RSA key pair, 12 M mirror partitions, 72 Modular Disk Storage Manager, 25 S SAS cluster setup, 21, 33, 43, 59 MPIO software, 25 MTU, 48 N network bonding, 10 network parameters, 10 NIC port assignments, 9 T term Group, 43 Member, 43 Pool, 43 Volume, 43 V virtual disk, 8 O volum
Dell PowerEdge 系统： Enterprise Linux x86_64 上的 Oracle Database 存储设备和网络指南 4.
注、小心和警告 注：“注”表示可以帮助您更好地使用计算机的重要信息。 小心：“小心”表示如果不遵循说明，就有可能损坏硬件或导致数据丢失。 警告： “警告”表示可能会造成财产损失、人身伤害甚至死亡。 ____________________ 本出版物中的信息如有更改，恕不另行通知。 © 2009—2010 Dell Inc. 版权所有，翻印必究。 未经 Dell Inc. 书面许可，严禁以任何形式复制这些材料。 本文中使用的商标：Dell™、 DELL 徽标、 PowerConnect™、 PowerEdge™ 和 PowerVault™ 是 Dell Inc. 的商标； Broadcom™ 是 Broadcom Corp 的商标； EMC®、Navisphere® 和 PowerPath® 是 EMC Corporation 的注册商标； Intel® 是 Intel 的注册商标； Oracle® 是 Oracle Corporation 和 / 或其附属机构的注册商标。 本出版物中述及的其它商标和产品名称是指拥有相应商标和产品名称的公司或其制造的产品。 Dell Inc.
目录 1 概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部署 Dell|Oracle Database 所需的说明文件 . . . . . 85 . . . . . . . . . . . . . . . 86 . . . . . . . . . . . . . . . . . . . . . . . . 86 本说明文件中使用的术语 获得帮助 . Dell 支持 . . . . . . . . . . . . . . . . . . . . . . Oracle 支持 . 2 配置网络 86 . . . . . . . . . . . . . . . . . . . . 86 . . . . . . . . . . . . . . . . . . . . . . . . . 87 配置公用网络 . . . . . . . . . . . . . . . . . . . . . . 87 利用绑定功能配置专用网络 . . . . . . . . . . . . . .
4 Dell PowerVault MD3000、 MD32xx、 MD1000 和 MD12xx 扩展盘柜的 SAS 群集设置 . . . . . . . . . . . 设置带有 PowerVault MD3000 和 MD1000 扩展盘柜的 SAS 群集 . . . . . . . . . . . 任务 1：设置硬件 . . . . . . 101 . . . . . . . . . . . . . . . . 101 任务 2：安装基于主机的存储软件 任务 3：验证和升级固件 . . . . . . . 102 . . . . . . . . . . . 103 任务 4：安装 SAS 5/E 适配器驱动程序 任务 5：执行安装后任务 . . . . . 103 . . . . . . . . . . . 103 设置带有 PowerVault MD32xx 和 MD12xx 扩展盘柜的 SAS 群集 . . . . . . . . . . . . 任务 1：设置硬件 . . . . . 104 . . . . . . . . . . . . . . . .
设置带有 PowerVault MD32xxi 和 MD12xxi 扩展盘柜的 SAS 群集. . . . . . . . . . . . . 任务 1：设置硬件 . . . . . . 114 . . . . . . . . . . . . . . . . 114 任务 2：安装基于主机的存储软件 6 Dell EqualLogic PS 系列存储 系统的 iSCSI 群集设置 . . . . . EqualLogic 术语 . 117 117 . . . . . . . . . . . 117 . . . . . . . . . . . . . . . . . . . . . . . 120 配置 iSCSI 网络 . . . . . . . . . . . . . . . . . . 配置主机对卷的访问权限 7 . . . . . . . . 114 . . . . . . . . . . . . . . . . . . . . 设置 EqualLogic iSCSI 存储系统 . 创建卷 . . . . . . . . . . . . . . . . . .
在 RAC 环境中为群集件、数据库和恢复文 件配置共享存储设备 . . . . . . . . . . . . . . . . . 使用 OCFS2 为 Oracle 群集件、数据库和 恢复文件配置共享存储磁盘 . . . . . . . . . . 使用原始设备为 Oracle 群集件配置共享 存储磁盘并使用 ASM 为数据库和恢复文 件配置共享存储磁盘 . . . . . . . . . . . . 使用块设备为 Oracle 群集件配置共 享存储磁盘并使用 ASM 为数据库和恢 复文件配置共享存储磁盘 . . . . . . . 索引 . 84 目录 138 138 . . 141 . . . . 144 使用 ASM 为 Oracle 数据库和恢复文 件配置共享存储磁盘 . . . . . . . . . . . . . . 146 使用 ASM 在新节点上配置共享存储设备 . . . . . 148 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
概览 本说明文件适用于在 Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.5 AS x86_64 上运行的 Oracle Database 10g R2。 注：本说明文件介绍了如何配置在安装 Red Hat Enterprise Linux 或 Oracle Enterprise Linux 操作系统的系统上运行 Dell|Oracle Database 所需的网络和存 储设备的一般性指南。有关您系统支持的网络和存储设备配置的列表，请选 择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序 解决方案）Web 站点 dell.
本说明文件中使用的术语 本说明文件中，术语逻辑单元号码 (LUN) 和虚拟磁盘作为同义词使用。术 语 LUN 通常用于 Dell/EMC 光纤信道存储系统环境。术语“虚拟磁盘”通 常在 Dell PowerVault 串行连接的 SCSI (SAS)（PowerVault MD3000i 和带有 PowerVault MD1000 扩展的 PowerVault MD3000i）或 Dell EqualLogic iSCSI 存储环境中使用。 注：除非另有说明，否则本说明文件中使用的术语 Enterprise Linux 同时适用 于 Red Hat Enterprise Linux 和 Oracle Enterprise Linux。 获得帮助 Dell 支持 • 有关系统使用方面的详情，请参阅系统组件附带的说明文件。 • 有关白皮书、Dell 支持的配置和一般信息，请访问 Oracle Databases and Applications Solutions（Oracle 数据库和应用程序解决方案）Web 站点：dell.
配置网络 本节指导您配置公用和专用群集网络。 注：每个节点都需要一个唯一的公用和专用网际协议 (IP) 地址。另外，还需 要一个用作客户端连接和连接故障转移的虚拟 IP 地址的公用 IP 地址。虚拟 IP 地址必须与公用 IP 属于同一个子网。所有公用 IP 地址（包括虚拟 IP 地 址）都必须向域命名服务 (DNS) 注册并且必须可路由。 如表 2-1 中所示，根据可用 NIC 端口的数量配置接口。 表 2-1.
3 编辑 /etc/sysconfig/network 文件，如果有必要，使用合格的公用节点名 称替换 localhost.localdomain。 例如，用于节点 1 的命令： hostname=node1.domain.com 4 键入：service network restart。 5 键入 ifconfig，验证 IP 地址设置是否正确。 6 要检查网络配置是否正确，请从群集之外的 LAN 上的某个客户端对每 个公用 IP 地址执行 ping 命令。 7 连接每个节点以验证公用网络的运行是否正常。键入 ssh < 公用 IP> 以验证 secure shell (ssh) 命令的运行是否正常。 利用绑定功能配置专用网络 在部署群集之前，应将专用群集网络配置为允许节点之间相互通信。此过程 包括配置网络绑定以及为群集中的每个节点分配专用 IP 地址和主机名。 要设置 Broadcom 或 Intel NIC 的网络绑定并配置专用网络，请在每个节点 上执行以下步骤： 1 作为 root 登录。 2 在 /etc/modprobe.
4 对于作为绑定成员的每个设备： a 在目录 /etc/sysconfig/network-scripts/ 中，编辑 ifcfg-ethn 文件： DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet MASTER=bond0 SLAVE=yes b 键入 service network restart 并忽略所有警告。 5 在每个节点上，键入 ifconfig 以验证专用接口的运行是否正常。 节点的专用 IP 地址必须分配给专用接口 bond0。 6 每个节点上的所有专用 IP 地址设置完成后，请从一个节点对每个 IP 地 址执行 ping 命令，确保专用网络可以正常工作。 7 连接每个节点。通过键入以下命令验证专用网络和 ssh 是否正常工作： ssh < 专用 IP> 设置 Oracle User Equivalence 配置 Secure Shell (ssh) 1 以用户 oracle 登录所有节点。 2 在系统中使用以下命令生成 RSA 密钥对： ssh-keygen -t rsa 3 按 键以接受密钥文件的默认位置
5 ssh-keygen 公用程序将结束该操作。系统将显示以下信息： Your identification has been saved in /home/oracle/.ssh/id.rsa. （您的标识已保存到 /home/oracle/.ssh/id.rsa 中。） Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. （您的公共密钥已保存到 /home/oracle/.ssh/id_rsa.pub 中。） The key fingerprint is: （密钥指纹为：） xx:xx:xx:xx:xx:xx:xx:xx oracle@< 节点名称 > 6 导航至 cd /home/oracle/.ssh 并验证是否是使用 ls -al 命令创建了 id_rsa 和 id_rsa.pub 文件。 7 通过使用 mv 命令，将公共密钥重命名为描述生成该密钥的系统的名 称： mv id_rsa.pub < 节点名称 >.
在 /etc/hosts 文件中添加主机条目 在每个节点上，通过键入以下命令修改 /etc/hosts 文件中的行： 127.0.0.1 localhost.
配置网络
光纤信道群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有 关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 dell.com/regulatory_compliance。 本节帮助您验证 Dell 专业服务代表设置的硬件连接，以及光纤信道群集的 硬件和软件配置。 图 3-1 和图 3-3 简要介绍了群集所需的连接，表 3-1 概述了群集连接。 光纤信道群集的硬件连接 请参阅图 3-1 来目测检查光纤信道群集的所有硬件连接。 表 3-1 列出了图 3-1 中所介绍的光纤信道硬件连接。 图 3-1.
表 3-1.
光纤信道存储系统布线 根据您的需要，可在以下其中一个配置中对 Oracle 数据库光纤信道群集存 储系统进行配置： • 直接连接的光纤信道（请参阅图 3-2） • 四个端口的 SAN 连接光纤信道（请参阅图 3-3） 以下各节将说明这些配置的布线要求。 直接连接的光纤信道配置 在直接连接的光纤信道配置中配置节点： 1 使用一根光缆从节点 1 上的 HBA 0 连接至 SP-A 的端口 0。 2 使用一根光缆从节点 1 上的 HBA 1 连接至 SP-B 的端口 0。 3 使用一根光缆从节点 2 上的 HBA 0 连接至 SP-A 的端口 1。 4 使用一根光缆从节点 2 上的 HBA 1 连接至 SP-B 的端口 1。 请参阅图 3-2 以了解 SAN 连接的光纤信道群集中的电缆连接。 图 3-2.
SAN 连接的光纤信道配置 在四个端口的 SAN 连接配置中配置节点： 1 使用一根光缆从 SP-A 端口 0 连接至光纤信道交换机 0。 2 使用一根光缆从 SP-A 端口 1 连接至光纤信道交换机 1。 3 使用一根光缆从 SP-A 端口 2 连接至光纤信道交换机 0。 4 使用一根光缆从 SP-A 端口 3 连接至光纤信道交换机 1。 5 使用一根光缆从 SP-B 端口 0 连接至光纤信道交换机 1。 6 使用一根光缆从 SP-B 端口 1 连接至光纤信道交换机 0。 7 使用一根光缆从 SP-B 端口 2 连接至光纤信道交换机 1。 8 使用一根光缆从 SP-B 端口 3 连接至光纤信道交换机 0。 9 使用一根光缆从节点 1 上的 HBA 0 连接至光纤信道交换机 0。 10 使用一根光缆从节点 1 上的 HBA 1 连接至光纤信道交换机 1。 11 使用一根光缆从节点 2 上的 HBA 0 连接至光纤信道交换机 0。 12 使用一根光缆从节点 2 上的 HBA 1 连接至光纤信道交换机 1。 请参阅图 3-3 以了解 SAN 连接的光纤信道群集中的电缆连接。 96 光纤信道群集设置
图 3-3.
光纤信道群集设置
Dell PowerVault MD3000、 MD32xx、MD1000 和 MD12xx 扩展 盘柜的 SAS 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有 关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.
图 4-1. 串行连接的 SCSI (SAS) 群集和 Dell PowerVault MD3000 存储设备盘柜布线 专用网络 LAN/WAN PowerEdge 系统 PowerVault MD3000 存储系统 两个 PowerVault MD1000 扩展盘柜 表 4-1.
表 4-1.
图 4-2.
任务 3：验证和升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager (MDSM) 软件 搜索直接连接的主机系统存储设备。 2 验证以下存储设备组件的固件是否满足最低所需版本： • RAID 控制器固件 • PowerVault MD3000 存储系统固件 • PowerVault MD1000 扩展盘柜固件 注：有关最低固件版本要求，请选择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序解决方案）Web 站点 dell.
设置带有 PowerVault MD32xx 和 MD12xx 扩展 盘柜的 SAS 群集 任务 1：设置硬件 有关配置 PowerVault MD32xx 和 MD12xx 扩展盘柜的信息，请参阅 support.dell.com/manuals 上的 PowerVault MD3200 和 MD1200 存储系统说 明文件。 任务 2：安装基于主机的存储软件 软件安装 要安装 PowerVault MD3000 存储设备盘柜所需的基于主机的存储软件，请使 用随系统附带的 Dell PowerVault Resource 介质。PowerVault MD3200 系列资 源介质包括适用于 Linux 和 Microsoft Windows 操作系统的软件和驱动程 序。介质根目录包含一个 readme.txt 文件，该文件包含适用于 Linux 和 Windows 操作系统的软件更改、更新、修补、增补软件以及其它重要数 据。该 readme.
PowerVault MD3200 系列资源介质提供以下三种安装方法： 图形化安装（推荐）—这是适用于大多数用户的推荐安装过程。安装程序显 示图形化向导驱动的界面，该界面允许定制要安装的组件。 控制台安装—此安装过程对于不想在其支持的 Linux 平台上安装 X-Window 环境的 Linux 用户非常有用。 无提示安装—此安装过程对于喜欢创建脚本安装的用户非常有用。 图形化安装 （推荐） 1 安装任何新软件之前，请关闭所有其它程序。 2 插入资源介质。 3 选择 Install MD32xx Storage Software （安装 MD32xx 存储软件）。 注：如果主机服务器运行 Windows Server Core 版本，或者安装程序没 有自动运行，则可浏览至介质的根目录并运行 md_launcher.
无提示安装 此选项允许您在无提示模式下安装软件。要在 Windows 系统中运行无提示 安装，可执行以下步骤： 1 要使用所有默认选项开始安装，可浏览至资源介质上的 windows 文件 夹并运行以下命令： md32xx_install -i silent 2 要指定要无提示安装的功能，必须修改位于相同目录中的 custom_silent.properties 文件，并将其复制到主机服务器上的可写位 置。此文件包含支持功能及其说明的列表。要利用修改后的 custom_silent.properties 文件，可运行以下命令： md32xx_install -f C:\path\to\custom_silent.properties 要在 Linux 系统中运行无提示安装，可执行以下步骤： 1 要使用所有默认选项开始安装，可浏览至资源介质上的 linux 文件夹并 运行以下命令： ./md32xx_install.bin – i silent 2 要指定要无提示安装的功能，必须修改位于相同目录中的 custom_silent.
2 启动 MDSM。 • 在 Microsoft Windows 操作系统中，单击 Start （开始） → Programs （程序） → Dell MD Storage Manager → Modular Disk Storage Manager Client （ Modular Disk Storage Manager 客 户端）。 • 在 Linux 操作系统中，单击 MD Storage Manager 桌面图标。还可 以通过在命令提示符下运行以下命令，在 Linux 中启动 MD Storage Manager： cd/opt/dell/mdstoragesoftware/mdstoragemanager /client.
初始设置任务 1 此时将在 EMW 中的 Devices （设备）选项卡中显示找到的第一个存 储阵列的名称。要查看在本地网络中找到的所有存储阵列的列表，请 在 EMW 的 Device （设备）窗格中展开 Discovered Storage Arrays （已 搜索到的存储阵列）选项卡。 2 新安装的 MD3200 系列存储阵列的默认名称为 Unnamed （未命名）。 如果 MDSM 中显示的是其它名称，则应单击该名称旁边的向下箭头， 然后单击下拉列表中的 Unnamed （未命名）。 3 双击已搜索到的阵列以启动阵列管理窗口，然后更改阵列的配置。 4 单击 Perform Initial Setup Tasks （执行初始设置任务）以查看简介和 其余安装后任务的链接。此时便已准备好配置阵列。有关阵列配置的 信息，请参阅 “用户手册”。 注：配置存储阵列之前，请检查 Device（设备）窗格上的状态图标以 确保存储阵列中的盘柜处于 Optimal（最佳）状态。有关状态图标的详 情，请参阅 support.dell.
Dell PowerVault MD3000i、 MD32xxi、 MD1000i 和 MD12xxi 存 储设备盘柜的 iSCSI 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有 关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.com/regulatory_compliance。 本节提供有关如何配置 Dell PowerEdge 系统以及 PowerVault MD3000i、 MD32xxi、MD1000i 和 MD12xxi 存储设备盘柜，使其能在 Oracle Real Application Cluster (RAC) 环境中正常运行的信息和步骤。 通过 support.dell.com/manuals 上的 Dell PowerVault MD3000i Support Matrix （Dell PowerVault MD3000i 支持值表）的 Supported Configuration（支持的 配置）部分，验证硬件连接以及硬件和软件配置。 表 5-1.
表 5-1. iSCSI 硬件互连 （续） 群集组件 连接 PowerVault 其它 SAS 电缆连接（根据 PowerVault MD1000 扩展盘柜 MD1000 存储设备 的需要） 扩展盘柜（可选） 设置 PowerVault MD3000i 和 MD1000 扩展盘柜 的 iSCSI 群集 任务 1：设置硬件 直接连接的 iSCSI 群集仅限于两个节点。 图 5-1.
要在直接连接的配置中配置节点，请参阅图 5-1，并完成以下步骤： 1 使用一根 CAT 5e/6 电缆从节点 1 的一个端口 （iSCSI HBA 或 NIC） 连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-0 端口。 2 使用一根 CAT 5e/6 电缆从节点 1 的另一个端口 （iSCSI HBA 或 NIC）连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-0 端口。 3 使用一根 CAT 5e/6 电缆从节点 2 的一个端口 （iSCSI HBA 或 NIC） 连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-1 端口。 4 使用一根 CAT 5e/6 电缆从节点 2 的另一个端口 （iSCSI HBA 或 NIC）连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-1 端口。 5 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备盘柜 输出端口连接至第一个 PowerVault MD1000
图 5-2.
8 使用一根 CAT 5e/6 电缆从交换机 2 的另一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-1 端口。 9 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000i 存储设备盘 柜输出端口连接至第一个 PowerVault MD1000 扩展盘柜的两个 In （输 入）端口。 10 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备盘柜 输出端口连接至第二个 PowerVault MD1000 扩展盘柜的 In-0 端口。 注：有关配置 PowerVault MD1000 扩展盘柜的信息，请参阅 support.dell.
设置带有 PowerVault MD32xxi 和 MD12xxi 扩展 盘柜的 SAS 群集 任务 1：设置硬件 有关配置 PowerVault MD32xxi 和 MD12xxi 扩展盘柜的信息，请参阅 support.dell.
图形化安装 （推荐） 1 安装任何新软件之前，请关闭所有其它程序。 2 插入资源介质。 3 选择 Install MD32xxi Storage Software （安装 MD32xxi 存储软件）。 注：如果主机服务器运行 Windows Server Core 版本，或者安装程序没有自 动运行，则可浏览至介质的根目录并运行 md_launcher.
无提示安装 此选项允许您在无提示模式下安装软件。要在 Windows 系统中运行无提示 安装，可执行以下步骤： 1 要使用所有默认选项开始安装，可浏览至资源介质上的 windows 文件 夹并运行以下命令： md32xxi_install -i silent 2 要指定要无提示安装的功能，必须修改位于相同目录中的 custom_silent.properties 文件，并将其复制到主机服务器上的可写位 置。此文件包含支持功能及其说明的列表。要利用修改后的 custom_silent.properties 文件，可运行以下命令： md32xxi_install -f < 路径 >/custom_silent.
Dell EqualLogic PS 系列存储系统 的 iSCSI 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有 关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 dell.
图 6-1.
图 6-2. 使用三个 PS6000XV 阵列的 Oracle RAC 配置示例 Dell Optiplex 台式机 公用网络 RAC 专用互连 iSCSI SAN LAN/WAN PowerConnect 千兆位以太网交换机 链路聚合组 PowerConnect 6200 系列千 兆位以太网交换机 高带宽交换机之间 的链路 存储设备成员 oracle-member01 存储设备成员 oracle-member02 OCR 和 CSS 投票磁 盘卷 Dell EqualLogic PS 系列以太网交换机 存储设备成员 oracle-member03 快擦写恢复区域卷 数据卷 RAID-5 存储池 RAID-10 存储池 存储组：oracle-group 注：有关如何初始化 EqualLogic 阵列的详情，请参阅 support.dell.
一个 EqualLogic PS 系列存储组可以分离到多个层或池中。分级存储可使管 理员更好地控制磁盘资源的分配方式。每次只能将一个成员分配到一个池。 将成员分配到池以及在不同池间移动成员很容易，而且不会影响数据的可用 性。池可以根据不同标准（如磁盘类型或速度、RAID 级别和应用类型）加 以组织。 在图 6-2 中，池按照成员 RAID 级别进行组织： • 一个名称为 RAID-10 的池由 RAID 10 成员组成。 • 一个名称为 RAID-5 的池由 RAID 5 成员组成。 创建卷 存储数据之前，EqualLogic 存储阵列的物理磁盘必须配置为可使用组件（称 为卷）。卷代表存储池的一部分，具有特定大小、访问控制以及其它属性。 卷可以跨越多个磁盘和组成员。它在网络上显示为 iSCSI 目标设备。卷分配 给池并可以在不同的池间轻松移动，而且不会影响数据的可用性。此外，池 还将根据池中的存储设备硬件资源的总工作负载进行自动数据分布和自动负 载平衡。 表 6-1 显示了一个卷配置示例。 表 6-1.
在 Dell EqualLogic 阵列中创建卷，然后创建访问列表，以允许所有主机 iSCSI 网络接口访问这些卷。例如，创建以下卷： • mdi-ocr-css-spfile • mdi-data1 • mdi-data2 • mdi-fra1 配置 iSCSI 网络 建议将用于 iSCSI 通信的主机网络接口配置为使用流控制和超长帧，以实现 最优性能。使用 ethtool 公用程序配置流控制。 使用以下命令检查接口上的流控制（RX/TX 暂停）：# ethtool -a < 接口 > 例如： # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on 此示例显示流控制已开启。如果流控制尚未开启，请使用以下命令开启： # ethtool -A < 接口 > rx on tx on 通过添加 MTU="" 参数，即可在 /etc/sysconfig/networkscripts/ifcfg-< 接口 > 脚本中配置超长帧。 以下示例中，MTU 被设置为 9000。 # cat /etc/s
请使用 ifconfig 命令来验证超长帧设置： $inconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 获取用于 iSCSI 通信的主机上每个网络接口的硬件地址。 grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn， 其中 n 是网络接口编号。 5 为用于 iSCSI 通信的主机上的每个网络接口创建接口。 iscsiadm -m iface -I iface_name --op=new， 其中， iface_name 是指定给接口的名称。 iscsiadm -m iface -I iface_name --op=update -n iface.hwaddress -v hardware_address 其中， hardware_address 是在步骤 4 中获取的接口硬件地址。 例如，以下命令为 eth0 接口 （其硬件地址为 00:18:8B:4E:E6:CC）创 建一个名为 eth0-iface 的接口 ： # iscsiadm -m iface -I eth0-iface --op=new 此时将添加新接口 eth0-iface。 # iscsiadm -m iface -I eth0-iface --op=update -n iface.
10 从步骤 5 中创建的所有接口搜索目标。 iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4， 其中， group_ip_address 是 EqualLogic 存储组的 IP 地址， iface_name1、 iface_name2、 iface_name3、 iface_name4 等是用于 iSCSI 通信的主机上的网络接口 （如步骤 5 中定义）。 例如，以下命令从具有两个接口 （名为 eth0-iface 和 eth1-iface）的主 机中搜索到在组 IP 地址 10.16.7.100 上有四个卷。 # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.
11 验证是否已从所有主机接口搜索所有卷：iscsiadm -m discovery --print=1 例如： # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.
12 从步骤 5 中创建的每个接口登录到所有目标 （卷）： iscsiadm -m node -p group_ip_address --interface iface_name --login， 其中， group_ip_address 是 EqualLogic 存储组的 IP 地址， iface_name 是用于 iSCSI 通信的主机上的网络接口 （如步骤 5 中定义）。 以下示例介绍如何从主机上的两个接口 （eth0-iface 和 eth1-iface）分 别登录到三个卷。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 取消 /etc/multipath.conf 中以下部分的注释。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 在 /etc/multipath.
以下示例包括四个卷的配置。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 重新启动多路径守护程序，并验证是否在 multipath -l1 输出中显示别 名。 chkconfig multipathd on service multipathd restart multipath -ll 130 EqualLogic 存储系统的 iSCSI 群集设置
例如： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 验证是否已创建 /dev/mapper/* 设备。这些设备名称必须用于访问后续 各部分中的多路径设备以及与这些设备交互。 例如： # ls -lt /dev/mapper/* crw------- 1 root root 10, /dev/mapper/control brw-rw---- 1 root disk 253, /dev/mapper/data1 brw-rw---- 1 root disk 253, /dev/mapper/data2 brw-rw---- 1 root disk 253, /dev/mapper/fra1 brw-rw---- 1 root disk 253, /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, /dev/mapper/osvg-home brw-rw---- 1 root disk 253, /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, /dev/ma
在主机上配置数据库存储设备 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有 关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.
2 通过目测检查来验证存储设备和节点是否已正确连接至光纤信道交换 机 （请参阅图 3-1 和表 3-1）。 3 验证您是否已作为 root 登录。 4 在每个节点上，键入： more /proc/partitions 节点将检测并显示 LUN 或逻辑磁盘，以及在这些外部设备上创建的分 区。 注：列出的设备可能有所不同，具体视存储系统的配置而定。 屏幕将显示一个列表，其中列出节点检测到的 LUN 或逻辑磁盘以及在 这些外部设备上创建的分区。列表中还将显示 PowerPath 虚拟设备，如 /dev/emcpowera、 /dev/emcpowerb 和 /dev/emcpowerc。 如果是直接连接的 SAS 或 iSCSI 配置，则虚拟磁盘显示为 /dev/sdb 和 /dev/sdc。 5 在 /proc/partitions 文件中，确保： • 对于所有节点，出现在该文件中的所有 PowerPath 虚拟设备使用类 似的设备名称。 例如：/dev/emcpowera、 /dev/emcpowerb 和 /dev/emcpowerc。 • 如果是 PowerVault MD3000、 MD3000i
调整运行 Linux 操作系统的系统的磁盘分区 小心：在运行 Linux 操作系统的系统中，请在数据写入到 LUN/ 虚拟磁盘之 前对齐分区表。否则分区映射将会重新写入并且破坏 LUN/ 虚拟磁盘上的所 有数据。 示例：fdisk 公用程序参数 以下示例表示 fdisk 公用程序的参数。在本例中，LUN 映射到 /dev/emcpowera，而 LUN 条带元素大小为 128 个数据块。 注：在本例中，磁盘 /dev/emcpowera 已创建了主分区 /dev/emcpowera1。如 果是 PowerVault MD3000、MD3000i 或 EqualLogic 存储阵列，该过程将在 /dev/sdb1 上执行。 fdisk /dev/emcpowera 注：执行以下步骤之前，请在 /dev/emcpowera 上创建一个分区。 x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128，（这是 Dell/EMC CX 系列光纤信道存储设备上 的默认磁条元素大小） w # w
过程：使用 fdisk 公用程序调整磁盘分区 可通过以下步骤使用 fdisk 公用程序调整磁盘分区。 1 在命令提示符下，键入以下命令： fdisk < 分区名称 >， 其中 < 分区名称 > 是您要调整的分区的名称。 例如，如果分区名称为 /dev/emcpowera，键入：fdisk /dev/emcpowera 系统会显示以下信息： The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs (e.g.
使用 ext3 文件系统配置数据库存储设备 （仅限单个节点） 如果您具有附加存储设备，请执行以下步骤： 1 作为 root 登录。 2 键入： cd /opt/oracle $> cd ， 其中 类似于 /u01/app/oracle。 3 输入：mkdir oradata recovery 使用 fdisk 公用程序创建您要在其中存储数据库文件的分区。 例如： Emcpowera1 （如果存储设备为 emcpowera ）。使用 fdisk 公用程序创建您要在其中存储恢复文件的分区。 例如： emcpowerb1 （如果存储设备为 emcpowerb）。 4 通过键入以下命令验证新分区： cat /proc/partitions 如果没有检测到新分区，请键入： sfdisk -R /dev/emcpowera sfdisk -R /dev/emcpowerb 5 键入： mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 通过添加如下条目编辑新建文件系统的 /etc/fstab 文件： /dev/e
在 RAC 环境中为群集件、数据库和恢复文件 配置共享存储设备 本节介绍如何使用以下三种方法之一在 RAC 环境中配置共享存储磁盘： • 要对群集件、数据库和恢复文件使用 Oracle 群集文件系统 (OCFS2)， 请参阅第 138 页上的“使用 OCFS2 为 Oracle 群集件、数据库和恢复文 件配置共享存储磁盘”。 • 要对群集件使用原始设备并对数据库和恢复文件使用 ASM，请参阅第 141 页上的“使用原始设备为 Oracle 群集件配置共享存储磁盘并使用 ASM 为数据库和恢复文件配置共享存储磁盘”。 • 要对群集件使用块设备并对数据库和恢复使用 ASM，请参阅第 144 页 上的“使用块设备为 Oracle 群集件配置共享存储磁盘并使用 ASM 为数 据库和恢复文件配置共享存储磁盘”。 使用 OCFS2 为 Oracle 群集件、数据库和恢复文件配置共享存储磁盘 在第一个节点上： 1 作为 root 登录。 2 请执行以下步骤： a 通过键入以下命令启动 X Window 系统：startx b 生成使用 ocfs2 默认群集名称的 OCFS2 配置文件 /etc/ocfs2
注：如果出现错误信息：Unable to access cluster service（无法访问群集服务），请在执行步骤 e 时，删除文件 /etc/ocfs2/cluster.conf 并再次尝试。 f g 从菜单中，单击 Cluster （群集） → Propagate Configuration （传播配置）。 此时会显示 Propagate Cluster Configuration （传播群集配置）窗 口。等待直到窗口中出现 Finished （已完成）信息。单击 Close （关闭）。 选择 File （文件） → Quit （退出）。 3 在所有节点上键入以下命令，以便在启动时启用群集堆栈： /etc/init.d/o2cb enable 4 更改所有节点上的 O2CB_HEARTBEAT_THRESHOLD 值： a 通过键入以下命令，在所有节点上停止 O2CB 服务： /etc/init.
6 在任一节点上，使用命令行公用程序 mkfs.ocfs2 以 4 K 数据块大小、 128 K 群集大小和 4 个节点插槽格式化外部存储设备： ocr.dbf 和投票磁盘 mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 数据库文件 mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 快擦写恢复区域 mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 注：节点插槽数是指群集节点数。 注：有关设置群集格式化参数的详情，请访问 OCFS2 常见问题 Web 站 点 oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html。 7 在每个节点上，执行以下步骤： 140 a 为每个 OCFS2 分区创建安装点。要执行此过程，请键入以下命令 创建目标分区目录并设置所有权： mkdir -p /u02 /u03 /u04 chown -R oracle.
使用原始设备为 Oracle 群集件配置共享存储磁盘并使用 ASM 为数 据库和恢复文件配置共享存储磁盘 注：Dell 支持在原始设备上配置 Oracle 群集件磁盘以及在 ASM 上配置数据 库和恢复磁盘，以上操作仅适用于 Red Hat Enterprise Linux 4 或 Oracle Enterprise Linux 4 操作系统。要在 Red Hat Enterprise Linux 5 或 Oracle Enterprise Linux 5 操作系统中配置共享存储磁盘，请参阅第 144 页上的“使用 块设备为 Oracle 群集件配置共享存储磁盘并使用 ASM 为数据库和恢复文件 配置共享存储磁盘”。 使用原始设备为 Oracle 群集件配置共享存储磁盘 1 在第一个节点上，使用 fdisk 公用程序在外部存储设备上创建六个分 区： 键入：fdisk /dev/emcpowerX， 然后创建六个 300 MB 的分区，分别用于 Oracle 群集库 (OCR)、投票 磁盘以及 Oracle 系统参数文件。 2 通过键入以下命令验证新分区：more /proc/partitions 如果 /p
5 键入：chkconfig networkwait off。 6 通过键入以下命令，创建原始设备：udevstart。 7 通过键入以下命令，重新启动原始设备服务：service rawdevices restart。 使用 ASM 为 Oracle 数据库和恢复文件配置共享存储磁盘 可以使用原始设备或 ORACLEASM 库驱动程序配置自动存储管理 (ASM) 磁 盘。 使用原始设备配置 ASM 磁盘 1 作为用户 root 登录。 2 在第一个节点上，使用 fdisk 在要用于数据库和恢复文件的磁盘设备上 创建一个包含整个磁盘的主分区。 3 编辑 etc/sysconfig/rawdevices 文件并添加附加的条目： /dev/raw/ASM1 /dev/emcpowerb1 /dev/raw/ASM2 /dev/emcpowerc1 其中， /dev/emcpowerb1 和 /dev/emcpowerc1 分别代表数据库和恢复磁 盘设备分区。 4 通过键入以下命令，重新启动原始设备服务：service rawdevices restart 使用 ORACLEASM 库驱动程序配置 ASM
Start Oracle ASM library driver on boot (y/n) [n]:y（引导时启动 Oracle ASM 库驱动程序 (y/n) [n]：y） Fix permissions of Oracle ASM disks on boot (y/n) [y]:y （引导时修复 Oracle ASM 磁盘的权限 (y/n) [y]：y） 3 仅当 RAC 配置使用共享存储设备和 Linux Device Mapper Multipath 驱 动程序时，才执行此步骤。 a 按如下方法在 /etc/sysconfig/oracleasm 中设置 ORACLEASM_SCANORDER 参数： ORACLEASM_SCANORDER="dm" 注：如果将 EMC 存储设备用于 RAC 配置，请在 /etc/sysconfig/oracleasm 中将 ORACLEASM_SCANORDER 参数设置为“emcpower”。 b 重新引导系统以使更改生效。 4 在终端窗口中的第一个节点上，键入以下命令并按 键： service oracleasm createdisk A
使用块设备为 Oracle 群集件配置共享存储磁盘并使用 ASM 为数据 库和恢复文件配置共享存储磁盘 注：对于 Red Hat Enterprise Linux 5 或 Oracle Enterprise Linux 5 操作系统，建议 仅在块设备上使用 Oracle 群集件磁盘，在 ASM 上使用数据库和恢复磁盘。 使用块设备为 Oracle 群集件配置共享存储磁盘 注：本节假定您已经执行了“操作系统和硬件安装指南”的“为 Oracle Database 安装配置操作系统”一节中列出的步骤，该指南可从 support.dell.
b 将投票磁盘的名称添加到 permissions.ini 文件。该文件位于 /delloracle-deployment/scripts/ 目录中： [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= 例如，如果投票磁盘为 emcpowerb1、 emcpowerb2 和 emcpowerb3，则 permissions.ini 修改为如下形式： [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 注：仅修改以下五个变量：primary_ocr、mirror_ocr、vote1、vote2 和 vote3。 4 设置 permissions.ini 文件后，请运行位于 /dell-oracledeployment/scripts/ 文件夹下的 permissions.py 脚本： ./permissions.py 5 运行以下命令以设置正确的块设备权限：/etc/rc.
使用 ASM 为 Oracle 数据库和恢复文件配置共享存储磁盘 注：本节假定您已经执行了《操作系统和硬件安装指南》的“为 Oracle Database 安装配置操作系统”一节中列出的步骤，该指南可从 Dell 支持 Web 站点 support.dell.com/manuals 获取。 可以使用块设备或 ORACLEASM 库驱动程序配置 ASM 磁盘。 使用块设备配置 ASM 磁盘 1 作为 root 登录。 2 在第一个节点上，使用 fdisk 在要用于数据库和恢复文件的磁盘设备上 创建一个包含整个磁盘的主分区。 3 将 asm1 和 asm2 的磁盘设备附加到 permissions.ini 文件中。此文件位 于 /dell-oracle-deployment/scripts/ 目录中。 请确保自紧接第 144 页上的 “使用块设备为 Oracle 群集件配置共享存 储磁盘”一节后的步骤中，保留此文件中必须存在的群集件配置。 例如，如果 ASM1 和 ASM2 磁盘设备是分别用于数据库和恢复文件的 /dev/emcpowerc1 和 /dev/emcpowerd1，则 permissions.
使用 ORACLEASM 库驱动程序配置 ASM 磁盘 1 作为 root 登录。 2 打开终端窗口，并在所有节点上执行以下步骤： a 键入：service oracleasm configure b 为所有节点键入以下内容： Default user to own the driver interface [ ]: oracle （拥有驱动程序接口的默认用户 [ ]：oracle） Default group to own the driver interface [ ]: dba （拥有驱动程序接口的默认组 [ ]：dba） Start Oracle ASM library driver on boot (y/n) [n]: y （引导时启动 Oracle ASM 库驱动程序 (y/n) [n]：y） Fix permissions of Oracle ASM disks on boot (y/n) [y]: y （引导时修复 Oracle ASM 磁盘的权限 (y/n) [y]：y） 3 仅当 RAC 配置使用共享存储设备和 Linux Device Mapper Multipath 驱 动程
使用 ASM 在新节点上配置共享存储设备 1 作为 root 登录。 2 打开终端窗口，然后作为 root 登录。 3 对于 Enterprise Linux 4： 从其中一个现有节点将 /etc/sysconfig/rawdevices 文件复制到新节点上 的相同位置。 注：验证 LUN 是否在所有节点中映射一致。 对于 Enterprise Linux 5： 有关说明，请参阅 “Dell PowerEdge Systems Oracle Database 10gR2 on Redhat Enterprise Linux or Oracle Enterprise Linux Advanced Server Storage and Network Guide version 1.0”（Dell PowerEdge 系统：Redhat Enterprise Linux 或 Oracle Enterprise Linux Advanced Server 上的 Oracle Database 10gR2：存储设备和网络指南 （版本 1.
5 仅当 RAC 配置使用 EqualLogic iSCSI 存储设备和 Linux Device Mapper Multipath 驱动程序时，才执行步骤 5。按如下方式设置 /etc/sysconfig/oracleasm 中的 ORACLEASM_SCANORDER 参数： ORACLEASM_SCANORDER="dm" 重新引导系统以使更改生效。 6 确保新节点可以访问 ASM 磁盘。 在终端窗口中，输入以下命令： service oracleasm scandisks 7 确保 ASM 磁盘在新节点上可用。 在终端窗口中，输入以下命令： service oracleasm listdisks 列出其余节点上所有可用的磁盘。 例如： ASM1 ASM2 在主机上配置数据库存储设备 149
在主机上配置数据库存储设备
索引 B E 绑定对 , 87 EMC Navisphere, 133 PowerPath, 133 帮助 , 86 Dell 支持 , 86 Oracle 支持 , 86 Enterprise Linux , 86 别名 , 129 布线 光纤信道存储设备 , 95 iSCSI 群集 , 110 SAS 存储设备 , 101, 104, 114 C 超长帧 , 121 D Dell/EMC 光纤信道 , 94 Dell|EMC 光纤信道 存储设备 , 94 交换机 , 94 电缆 CAT 5e, 94 CAT 6, 94 G 公共密钥 , 90 光纤信道 SAN 连接配置 , 96 直接连接配置 , 95 J ifconfig , 88 IP 地址 公用 IP 地址 , 87 虚拟 IP 地址 , 87 专用 IP 地址 , 87 镜像分区 , 144 卷 , 120 L LUN , 95 逻辑单元编号 , 86 索引 151
M S Modular Disk Storage Manager, 102 SAS 群集设置 , 99, 109, 117, 133 MPIO 软件 , 102 释义提示 , 89 MTU , 121 T N 投票磁盘 , 144 NIC 端口分配 , 87 W 网络绑定 , 88 O OCFS2 , 138 网络参数 , 88 X P PowerConnect 交换机 , 117 PowerPath 虚拟设备 , 134 虚拟磁盘 , 86 Y 以太网交换机 , 94 Q 群集件 配置存储设备 , 138 域命名服务 , 87 Z R RSA 密钥对 , 89 认证与培训 Dell, 86 Oracle, 86 152 索引 术语 成员 , 117 池 , 117 卷 , 117 组 , 117 资源介质 PowerVault MD3000, 103
Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge Guide de stockage et de mise en réseau Version 4.
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION indique un risque de dommage matériel ou de perte de données en cas de non-respect des instructions. AVERTISSEMENT : Un AVERTISSEMENT indique un risque d’endommagement du matériel, de blessures corporelles ou même de mort.
Table des matières 1 Présentation . . . . . . . . . . . . . . . . . . . . . Documentation requise pour déployer Dell|Oracle Database . . . . . . . . . . . . 160 . . . . . . . . . . . . . . . . . . . . . 160 Support Dell 161 . . . . . . . . . . . . . . . . . . . Configuration du réseau Configuration du réseau public . . . . . . . . . . . . 163 164 . . . . . . . . . . . . . . . . . 165 . . . . . . . . . . . . 166 Configuration du réseau privé à l’aide de liens .
Câblage du système de stockage Fibre Channel Configuration Fibre Channel à connexion directe . . . . . . . . 172 . . . . . . . . . . . 172 Configuration Fibre Channel avec connexion à un SAN . . . . . . . 4 . . . . . . . . Configuration d’un cluster SAS pour les châssis d’extension MD3000, MD32xx, MD1000 et MD12xx du système Dell PowerVault . . . . . . . . . . . 177 . . . . . 180 . . . . . . . 180 Configuration d’un cluster SAS comprenant des châssis d’extension PowerVault MD3000 et MD1000 .
5 Configuration d’un cluster iSCSI pour les châssis de stockage Dell PowerVault MD3000i, MD32xxi, MD1000i et MD12xxi . . . . . . . . . . . . Configuration du cluster iSCSI comprenant un système PowerVault MD3000i et des châssis d’extension MD1000 . . . . . . . . . . . . . . . Tâche 1 : configuration du matériel . . . . 191 191 . . . . . 194 . . . . . . 194 . . . . . . . . . . . . 194 Tâche 3 : vérification et mise à niveau du micrologiciel . . . . . . . . . . . . .
7 Configuration du stockage de la base de données sur l’hôte . . . . . . . . . . 217 Vérification et identification des disques de stockage . . . . . . . . . . . . . . . . . . . . . . 217 Définition des partitions de disque pour les systèmes exécutant Linux . . . . . . . . . . . . . . . 220 Exemple : arguments de l’utilitaire fdisk . . . . . 220 Procédure : utilisation de fdisk pour le paramétrage d’une partition de disque . . . . . .
Présentation Ce document s’applique à Oracle Database 10g R2 s’exécutant sur Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.5 AS x86_64. REMARQUE : ce document est un guide général servant à la configuration des composants réseau et de stockage requis pour exécuter la base de données Dell|Oracle sur un système doté du système d’exploitation Red Hat Enterprise Linux ou Oracle Enterprise Linux.
• Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide de dépannage : explique comment ajouter un nouveau nœud au cluster et résoudre les erreurs rencontrées lors des procédures d’installation présentées dans les modules précédents. REMARQUE : tous les modules indiquent comment recevoir une assistance technique auprès de Dell. Terminologie utilisée dans le présent document Dans ce document, les termes LUN (numéro d’unité logique) et disque virtuel sont synonymes.
Support Oracle • Pour des informations sur les formations relatives au logiciel Oracle et au clusterware de l’application, mais aussi pour contacter Oracle, voir le site web d’Oracle à l’adresse oracle.com, ou votre documentation Oracle. • Pour obtenir des informations sur le support technique, les téléchargements et d’autres informations techniques, rendez-vous sur le site web My Oracle Support à l’adresse support.oracle.com.
Présentation
Configuration du réseau Cette section explique comment configurer les réseaux public et privé du cluster. REMARQUE : chaque nœud doit posséder une adresse IP publique et privée unique. Une adresse IP publique supplémentaire doit être utilisée comme adresse IP virtuelle pour les connexions des clients et le basculement en cas de panne. L’adresse IP virtuelle doit appartenir au même sous-réseau que l’adresse IP publique.
Configuration du réseau public REMARQUE : vérifiez que l’adresse IP publique est valide et routable. REMARQUE : pour le réseau privé, les deux ports de carte réseau avec lien réseau doivent être sur des bus PCI distincts. Par exemple, une paire avec lien peut être composée d’une carte réseau intégrée et d’une carte réseau supplémentaire. Si le réseau public n’est pas déjà configuré, exécutez la procédure suivante sur chaque nœud : 1 Ouvrez une session en tant que root.
Configuration du réseau privé à l’aide de liens Avant de déployer le cluster, configurez le réseau privé de manière à permettre aux nœuds de communiquer entre eux. Pour ce faire, il est nécessaire de configurer des liens réseau et d’attribuer une adresse IP privée et un nom d’hôte à chaque nœud du cluster. Pour définir les liens réseau pour des cartes réseau Broadcom ou Intel et configurer le réseau privé, effectuez la procédure suivante sur chaque nœud : 1 Ouvrez une session en tant que root.
5 Sur chaque nœud, tapez ifconfig pour vérifier le bon fonctionnement de l’interface privée. L’adresse IP privée du nœud doit être associée à l’interface privée bond0. 6 Une fois les adresses IP privées définies sur chaque nœud, vérifiez le bon fonctionnement du réseau privé en lançant un test ping sur chaque adresse IP à partir d’un nœud. 7 Connectez-vous à chaque nœud.
7 Utilisez la commande mv pour renommer laclé publique de manière à indiquer le système dont elle est issue : mv id_rsa.pub .pub Une fois les clés publiques de tous les systèmes créées et renommées, passez à l’échange de clés sur les différents systèmes. 8 Effectuez des copies sécurisées de vos clés .pub sur chaque nœud à l’aide de la commande scp. Dans l’exemple ci-dessous, il y a deux nœuds : (nœud1 : tapez la chaîne de commande suivante) : scp/home/oracle/.ssh/.
Configuration du réseau
Configuration d’un cluster Fibre Channel AVERTISSEMENT : avant d’exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d’informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l’adresse dell.com/regulatory_compliance.
Connexions matérielles pour un cluster Fibre Channel Pour vérifier toutes les connexions matérielles d’un cluster Fibre Channel, voir la figure 3-1. Le tableau 3-1 répertorie l’ensemble des connexions Fibre Channel représentées sur la figure 3-1. Figure 3-1.
Tableau 3-1.
Câblage du système de stockage Fibre Channel Selon vos besoins, vous pouvez configurer le système de stockage du cluster Fibre Channel de votre base de données Oracle de différentes façons : • Environnement Fibre Channel à connexion directe (voir la figure 3-2) • Environnement Fibre Channel relié à un SAN et comprenant quatre ports (voir la figure 3-3) Les sections suivantes décrivent le câblage requis pour ces configurations.
Figure 3-2.
Configuration Fibre Channel avec connexion à un SAN Pour effectuer une configuration à connexion SAN à quatre ports pour vos nœuds : 1 Installez un câble à fibre optique entre le port 0 du processeur de stockage PS-A et le commutateur Fibre Channel 0. 2 Installez un câble à fibre optique entre le port 1 du processeur de stockage PS-A et le commutateur Fibre Channel 1. 3 Installez un câble à fibre optique entre le port 2 du processeur de stockage PS-A et le commutateur Fibre Channel 0.
Figure 3-3.
Configuration d’un cluster Fibre Channel
Configuration d’un cluster SAS pour les châssis d’extension MD3000, MD32xx, MD1000 et MD12xx du système Dell PowerVault AVERTISSEMENT : avant d’exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d’informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l’adresse suivante : www.dell.com/regulatory_compliance.
Figure 4-1. Câblage du cluster SAS et du châssis de stockage Dell PowerVault MD3000 Réseau privé Réseau local/Réseau étendu Systèmes PowerEdge Système de stockage PowerVault MD3000 Deux châssis d’extension PowerVault MD1000 Tableau 4-1.
Tableau 4-1.
Configuration d’un cluster SAS comprenant des châssis d’extension PowerVault MD3000 et MD1000 Tâche 1 : configuration du matériel Les clusters SAS ne peuvent être installés que dans un environnement à connexion directe ; ils sont limités à deux nœuds. Pour configurer les nœuds dans un environnement à connexion directe : 1 Installez un câble SAS entre un port du contrôleur SAS du nœud 1 et le port In-0 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000.
Figure 4-2.
Tâche 3 : vérification et mise à niveau du micrologiciel 1 Lancez la détection du stockage à connexion directe du système hôte à l’aide du logiciel Modular Disk Storage Manager (MDSM) installé sur le système hôte.
Configuration d’un cluster SAS comprenant des châssis d’extension PowerVault MD32xx and MD12xx Tâche 1 : configuration du matériel Pour obtenir des informations sur la configuration des châssis d’extension PowerVault MD32xx et MD12xx, consultez la documentation relatives aux systèmes de stockage PowerVault MD3200 et MD1200 disponible à l’adresse support.dell.com/manuals.
Installation du logiciel MD Storage Le programme d’installation du logiciel du système de stockage PowerVault de série MD3200 offre des fonctions incluant le logiciel noyau et les fournisseurs. La fonction Core Software (logiciel noyau) inclut l’agent de stockage hôte, le pilote multivoie et l’application MD Storage Manager utilisée pour configurer, gérer et surveiller la solution de baie de stockage.
4 Installez le logiciel MD Storage Manager. Sélectionnez l’une des options d’installation suivantes : • Full (Complète) : ce programme installe le logiciel noyau, les fournisseurs et les utilitaires. II comprend l’agent de stockage hôte requis, un pilote multiacheminement, MD Storage Manager, les fournisseurs et des utilitaires facultatifs.
2 Pour indiquer les fonctions à installer silencieusement, modifiez le fichier custom_silent.properties situé dans le même répertoire et copiez-le à un emplacement inscriptible sur le serveur hôte. Ce fichier contient la liste des fonctions prises en charge et leur description. Pour utiliser le fichier custom_silent.properties modifié, exécutez la commande : md32xx_install -f C:\path\to\custom_silent.
2 Lancez MDSM. • Sur les systèmes d’exploitation Microsoft Windows, cliquez sur Démarrer→ Programmes→ Dell MD Storage Manager→ Modular Disk Storage Manager Client. • Sous Linux, cliquez sur l’icône de MD Storage Manager du bureau. Vous pouvez également lancer MD Storage Manager sous Linux en exécutant les commandes suivantes dans l’invite de commande : cd/opt/dell/mdstoragesoftware/mdstoragemanager /client.
3 Vérifiez que chaque baie de stockage est à l’état Optimal. Si une baie affiche l’état Unresponsive (Aucune réponse), effectuez l’une des étapes suivantes : • Pour supprimer la baie du domaine de gestion, sélectionnez-la et cliquez sur le lien Remove link (Supprimer le lien). • Pour ajouter une baie cliquez sur New link (Nouveau lien). Sous Linux, cliquez sur le bouton Manual (Manuel), puis sur OK. 4 Si la baie affiche toujours l’état Unresponsive (Aucune réponse), contactez Dell.
Configuration d’un cluster iSCSI pour les châssis de stockage Dell PowerVault MD3000i, MD32xxi, MD1000i et MD12xxi AVERTISSEMENT : avant d’exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d’informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l’adresse suivante : www.dell.com/regulatory_compliance.
Tableau 5-1.
Configuration du cluster iSCSI comprenant un système PowerVault MD3000i et des châssis d’extension MD1000 Tâche 1 : configuration du matériel Les clusters iSCSI à connexion directe sont limités à deux nœuds. Figure 5-1.
3 Installez un câble CAT 5e/6 entre un port (adaptateur HBA iSCSI ou carte réseau) du nœud 2 et le port In-1 du contrôleur RAID 0 du châssis de stockage Dell PowerVault MD3000i. 4 Installez un câble CAT 5e/6 entre l’autre port (adaptateur HBA iSCSI ou carte réseau) du nœud 2 et le port In-1 du contrôleur RAID 1 du châssis de stockage PowerVault MD3000i. 5 (Facultatif).
Pour créer une configuration avec liaison par commutateur pour les nœuds du cluster (voir la figure 5-2), procédez comme suit : 1 Installez un câble CAT 5e/6 entre un port (adaptateur HBA iSCSI ou carte réseau) du nœud 1 et le port du commutateur réseau 1. 2 Installez un câble CAT 5e/6 entre un port (adaptateur HBA iSCSI ou carte réseau) du nœud 1 et le port du commutateur réseau 2.
Tâche 2 : installation des logiciels hôtes requis pour le stockage Pour installer les logiciels hôtes requis pour le système de stockage PowerVault MD3000i, utilisez le support Dell PowerVault Resource qui l’accompagne. Pour installer le logiciel Modular Disk Storage Manager sur le nœud principal et le logiciel Multi-Path (MPIO) sur les autres nœuds, consultez la documentation relative au châssis de stockage PowerVault MD3000i à l’adresse support.dell.com/manuals.
Configuration d’un cluster SAS comprenant des châssis d’extension PowerVault MD32xxi and MD12xxi Tâche 1 : configuration du matériel Pour obtenir des informations sur la configuration des châssis d’extension PowerVault MD32xxi et MD12xxi, consultez la documentation relatives aux systèmes de stockage PowerVault MD3200i et MD1200i disponible à l’adresse support.dell.com/manuals.
Installation console : cette procédure d’installation est particulièrement utile pour les utilisateurs Linux qui ne souhaitent pas installer un environnement X-Window sur leur plate-forme Linux prise en charge. Installation silencieuse : cette procédure d’installation est particulièrement utile pour les utilisateurs qui souhaitent créer des installations scriptées. Installation graphique (recommandée) 1 Avant d’installer tout nouvel élément logiciel, fermez tous les autres programmes.
Installation console REMARQUE : l’installation console s’applique uniquement aux systèmes Linux qui ne s’exécutent pas dans un environnement graphique. Le script d’exécution automatique situé à la racine du support de ressources détecte l’absence d’environnement graphique et démarre automatiquement le programme d’installation en mode texte. Ce mode offre les mêmes options que l’installation graphique à l’exception des options spécifiques MDCU. Le MDCU exige un environnement graphique pour fonctionner.
Configuration du cluster iSCSI pour le châssis PowerVault
Configuration du cluster iSCSI pour les systèmes de stockage Dell EqualLogic série PS AVERTISSEMENT : avant d’exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d’informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l’adresse dell.com/regulatory_compliance.
Configuration du système de stockage iSCSI EqualLogic Les systèmes hôtes peuvent être connectés à la baie iSCSI EqualLogic PS6000XV via un commutateur IP SAN Ethernet Gigabit standard. La figure 6-1 présente la configuration réseau recommandée pour une baie Dell EqualLogic PS6000XV à double module de contrôle. Cette configuration inclut deux commutateurs Ethernet Gigabit Dell PowerConnect série 6200, destinés à optimiser la disponibilité et la bande passante du réseau.
Figure 6-1.
Figure 6-2.
Un groupe de stockage EqualLogic série PS peut être divisé en plusieurs niveaux ou pools. Le stockage à plusieurs niveaux offre aux administrateurs la possibilité de mieux contrôler l’allocation des ressources de disque. Un membre ne peut être attribué qu’à un seul pool à la fois. On peut facilement affecter un membre à un pool ou le déplacer d’un pool à un autre sans aucune incidence sur la disponibilité des données.
Tableau 6-1.
Par exemple : # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on Dans cet exemple, le paramètre Flow Control (Contrôle de flux) est déjà activé. Si le paramètre Flow Control (Contrôle de flux) n’est pas activé, utilisez la commande suivante : # ethtool -A rx on tx on Le paramètre Jumbo Frame (Trame Jumbo) est configuré dans les scripts /etc/sysconfig/network-scripts/ifcfg-, en ajoutant le paramètre MTU="".
TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.4 GiB) Memory:d5ee0000-d5f00000 Configuration des paramètres d’accès des systèmes hôtes aux volumes Cette section décrit la procédure de configuration de l’accès des hôtes aux volumes iSCSI à l’aide de l’outil iscsiadm. Ce dernier est l’utilitaire d’administration open-iSCSI. 1 Ouvrez une session sur le système en tant qu’utilisateur root.
5 Créez une interface pour chaque interface réseau de l’hôte utilisé pour le trafic iSCSI. iscsiadm -m iface -I iface_name --op=new, où iface_name est le nom affecté à l’interface. iscsiadm -m iface -I iface_name --op=update -n iface.hwaddress -v hardware_address où hardware_address est l’adresse matérielle de l’interface obtenue à l’étape 4.
9 Redémarrez le service iSCSI pour que la nouvelle configuration prenne effet. service iscsi stop service iscsi start 10 Détectez les cibles des interfaces créées à l’étape 5.
11 Vérifiez que tous les volumes ont été détectés à partir de l’ensemble des interfaces de l’hôte : iscsiadm -m discovery --print=1 Par exemple : # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
12 Connectez-vous à l’ensemble des cibles (volumes) à partir de chaque interface créée à l’étape 5 : iscsiadm -m node -p group_ip_address --interface iface_name --login, où group_ip_address est l’adresse IP du groupe de stockage EqualLogic et iface_name l’interface réseau (définie à l’étape 5) de l’hôte utilisé pour le trafic iSCSI. Dans l’exemple ci-dessous, l’utilisateur se connecte à trois volumes à partir de chacune des deux interfaces (eth0-iface et eth1-iface) d’un hôte. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Supprimez les commentaires de la section suivante du fichier /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Ajoutez la section ci-dessous au fichier /etc/multipath.conf. Le WWID est obtenu à partir de l’étape 1.
L’exemple ci-dessous inclut les configurations de quatre volumes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797996fe2 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee902e94b4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Redémarrez le démon multivoie, puis vérifiez que les noms d’alias s’affichent dans la sortie multipath -l1.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
/dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, /dev/mapper/osvg-home brw-rw---- 1 root disk 253, /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, /dev/mapper/osvg-root brw-rw---- 1 root disk 253, /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, /dev/mapper/osvg-usr brw-rw---- 1 root disk 253, /dev/mapper/osvg-var 6 Dec 15 11:22 3 Dec 15 11:22 4 Dec 15 11:22 0 Dec 15 11:22 7 Dec 15 11:22 1 Dec 15 11:22
Configuration du stockage de la base de données sur l’hôte AVERTISSEMENT : avant d’exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre système. Pour plus d’informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l’adresse suivante : www.dell.com/regulatory_compliance.
Tableau 7-1.
5 Dans le fichier /proc/partitions, vérifiez que : • Tous les périphériques virtuels PowerPath apparaissent dans le fichier avec des noms similaires sur tous les nœuds. Exemple : /dev/emcpowera, /dev/emcpowerb et /dev/emcpowerc. • Pour PowerVault MD3000 ou MD3000i ou la baie de stockage EqualLogic, tous les disques ou volumes virtuels apparaissent dans le fichier avec des noms de périphérique similaires sur tous les nœuds.
Définition des partitions de disque pour les systèmes exécutant Linux PRÉCAUTION : Dans un système exécutant Linux, alignez la table de partition avant l’écriture de données sur le LUN ou le disque virtuel. La carte de partition est réécrite et toutes les données figurant sur le LUN ou le disque virtuel détruites. Exemple : arguments de l’utilitaire fdisk L’exemple suivant présente les arguments pouvant être utilisés avec l’utilitaire fdisk.
Procédure : utilisation de fdisk pour le paramétrage d’une partition de disque Procédez comme suit pour paramétrer une partition de disque à l’aide de l’utilitaire fdisk. 1 À l’invite de commande, tapez ce qui suit : fdisk , où est le nom de la partition à paramétrer. Par exemple, si le nom de la partition est /dev/emcpowera, tapez : fdisk /dev/emcpowera Le système affiche le message suivant : The number of cylinders for this disk is set to 8782.
6 À l’invite de commande, entrez l’argument fdisk suivant : w Le système affiche le message suivant : The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. (Le tableau de partition a été modifié ! Appel de ioctl() pour lire de nouveau le tableau de partition. Synchronisation des disques en cours). 7 Répétez la procédure décrite de l’étape 1 à l’étape 6 pour tous les LUN de données Oracle.
6 Dans le fichier /etc/fstab, ajoutez les entrées correspondant au système de fichiers qui vient d’être créé, par exemple : /dev/emcpowera1 /oradata ext3 defaults 1 2, où est similaire à /u01/app/oracle. 7 Tapez : chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, où est similaire à /u01/app/oracle.
Configuration des disques de stockage partagé pour Oracle Clusterware, la base de données Oracle et les fichiers de récupération à l’aide d’OCFS2 Sur le premier nœud : 1 Ouvrez une session en tant que root. 2 Effectuez les opérations suivantes : a Démarrez le système X Window en tapant : startx b Générez le fichier de configuration OCFS2 /etc/ocfs2/cluster.conf avec le nom de cluster par défaut ocfs2.
f g Dans le menu, sélectionnez Cluster→ Propagate Configuration (Propager la configuration). La fenêtre Propagate Cluster Configuration (Propager la configuration du cluster) s’affiche. Attendez que le message Finished (Terminé) s’affiche dans la fenêtre. Cliquez sur Close (Fermer). Sélectionnez File→ Quit (Fichier→ Quitter). 3 Sur tous les nœuds, tapez la commande suivante pour activer la pile du cluster au démarrage : /etc/init.
6 Sur l’un des nœuds, formatez les périphériques de stockage externes en spécifiant une taille de bloc de 4 Ko, une taille de cluster de 128 Ko et un nombre d’emplacements de nœuds de 4. Pour ce faire, utilisez l’utilitaire mkfs.ocfs2 à partir de la ligne de commande, comme suit : ocr.dbf et disque de vote mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 Fichiers de base de données mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Zone de récupération flash mkfs.
c Sur chaque nœud, tapez la commande suivante pour monter tous les volumes indiqués dans le fichier /etc/fstab : mount -a -t ocfs2 d Sur chaque nœud, ajoutez la commande suivante au fichier /etc/rc.
REMARQUE : si les trois partitions des périphériques PowerPath virtuels ne concordent pas d’un nœud à l’autre, modifiez le fichier de configuration /dev/sysconfig/rawdevices en conséquence. 4 Vérifiez que les scripts /etc/udev/scripts/raw-dev.sh et /etc/udev/rules.d/60rawdevices.rules existent. Dans l’affirmative, passez à l’étape suivante du Guide d’installation.
Configuration des disques pour ASM à l’aide du pilote de bibliothèque ORACLEASM Pour configurer les disques ASM, procédez comme suit : 1 Ouvrez une session en tant que root. 2 Ouvrez une fenêtre de terminal et effectuez les opérations suivantes sur tous les nœuds : a Tapez : service oracleasm configure.
6 Vérifiez que les disques ASM sont créés et marqués pour l’utilisation d’ASM. Dans la fenêtre de terminal, entrez la commande suivante, puis appuyez sur : service oracleasm listdisks Les disques créés à l’étape 5 s’affichent. Par exemple : ASM1 ASM2 7 Vérifiez que les autres nœuds peuvent accéder aux disques ASM créés à l’étape 5.
3 Sur tous les nœuds d’un cluster Fibre Channel, procédez comme suit : a Ajoutez les noms de partition des référentiels OCR principal et miroir dans le fichier permissions.ini. Ce fichier se trouve sous le répertoire /dell-oracle-deployment/scripts/ : [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= Par exemple, si les partitions des OCR principal et miroir sont /dev/emcpowera1 et /dev/emcpowera2, le fichier permissions.
vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 REMARQUE : vous ne devez modifier que les cinq variables suivantes : primary_ocr, mirror_ocr, vote1, vote2 et vote3. 4 Une fois le fichier permissions.ini défini, exécutez le script permissions.py contenu dans le dossier /dell-oracle-deployment/scripts/ : ./permissions.py 5 Exécutez la commande suivante pour définir les permissions appropriées pour les périphériques de bloc : /etc/rc.
asm1=/dev/emcpowerc1 asm2=/dev/emcpowerd1 Pour créer un groupe de disques ASM supplémentaire, ASM3, en utilisant /dev/emcpowere1, ajoutez une autre entrée à la session : asm3=/dev/emcpowere1 4 Une fois le fichier permissions.ini défini, exécutez le script permissions.py contenu dans le dossier /dell-oracle-deployment/scripts/ : ./permissions.py 5 Exécutez la commande suivante pour définir les permissions appropriées pour les périphériques de bloc : /etc/rc.
6 Vérifiez que les disques ASM sont créés et marqués pour l’utilisation d’ASM. Dans la fenêtre de terminal, entrez la commande suivante, puis appuyez sur : service oracleasm listdisks Les disques créés à l’étape 5 s’affichent. Par exemple : ASM1 ASM2 7 Vérifiez que les autres nœuds peuvent accéder aux disques ASM créés à l’étape 5.
4 Ouvrez une fenêtre de terminal et effectuez les opérations suivantes sur le nouveau nœud : a Tapez : service oracleasm configure.
Configuration du stockage de la base de données sur l’hôte
Index A commutateur Ethernet, 171 adresse IP adresse IP privée, 163 adresse IP publique, 163 adresse IP virtuelle, 163 commutateur PowerConnect, 200 aide, 160 support Dell, 160 support Oracle, 161 D Disque de vote, 230 disque virtuel, 160 alias, 213 C câblage cluster iSCSI, 191 stockage Fibre Channel, 172 stockage SAS, 180, 183, 195 câble CAT 5e, 171 CAT 6, 171 carte réseau affectation des ports, 163 certifications et formations Dell, 160 Oracle, 161 clé publique, 167 Clusterware configuration du sto
I S ifconfig, 164 SAS configuration d'un cluster, 177, 189, 199, 217 invite de mot de passe, 166 service DNS (Domain Naming Service), 163 L liens réseau, 165 logiciel MPIO, 181 support Resource PowerVault MD3000, 182 LUN, 172 LUN (numéro d'unité logique), 160 M Modular Disk Storage Manager, 181 T terme groupe, 199 membre, 199 pool, 199 volume, 199 Trame Jumbo, 205 MTU, 205 V P volumes, 203 paire de clés RSA, 166 paire liée, 164 paramètres réseau, 165 partitions miroir, 231 périphérique PowerP
Dell PowerEdge-Systeme Oracle Database unter Enterprise Linux x86_64 Speicher- und Netzwerkhandbuch Version 4.
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie den Computer besser einsetzen können. VORSICHTSHINWEIS: Ein VORSICHTSHINWEIS warnt vor möglichen Beschädigungen der Hardware oder vor Datenverlust, falls die Anweisungen nicht befolgt werden. WARNUNG: Durch eine WARNUNG werden Sie auf Gefahrenquellen hingewiesen, die materielle Schäden, Verletzungen oder sogar den Tod von Personen zur Folge haben können.
Inhalt 1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . Erforderliche Dokumentation zum Bereitstellen von Dell|Oracle Database . . . . . . . . . . . . . . . . 245 In diesem Dokument verwendete Terminologie . . . . 246 . . . . . . . . . . . . . . . . 246 . . . . . . . . . . . . . . . . . . . . 246 Wie Sie Hilfe bekommen Dell-Support Oracle-Support . 2 245 247 . . . . . . . . . . . . . . . . . . Konfiguration des Netzwerks . . . . . . . .
3 Einrichten von Fibre-Channel-Clustern . . . . . . . . . . . . . Hardwareverbindungen für einen Fibre-Channel-Cluster . . . . . . . . . . . . . . . . . . . . 258 Direct-Attach-Fibre-Channel-Konfiguration . . . 258 . . . . 260 . . . . . . . 263 SAS-Cluster-Einrichtung für die Speichergehäuse Dell PowerVault MD3000, MD32xx, MD1000 und MD12xx . . . . . . . . Einrichten des SAS-Clusters mit einem PowerVault MD3000-Gehäuse und einem MD1000-Erweiterungsgehäuse . . . . . .
5 iSCSI-Cluster-Einrichtung für die Speichergehäuse Dell PowerVault MD3000i, MD32xxi, MD1000i und MD12xxi . . . . . . . . . . . . . . Einrichten eines iSCSI-Clusters für PowerVault MD3000i und MD1000-Erweiterungsgehäuse . . Schritt 1: Einrichten der Hardware . . . . . 277 . . . . . . . . 277 Schritt 2: Installation der hostbasierten Speichersoftware. . . . . . . . . . . . . . . . . . 280 Schritt 3: Überprüfung und Upgrade der Firmware . . . . . . . . . . . . . . . . . . . .
7 Konfigurieren des Datenbankspeichers auf dem Hostsystem . . . . . . . . . . . . . . . 303 Überprüfen und Identifizieren der Speicherlaufwerke . . . . . . . . . . . . . . . . Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem . . . . . . . . . . 306 . . . . . . . . . . . . . 306 Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk . . . . . . . . . . 307 Beispiel: Parameter des Dienstprogramms fdisk .
Übersicht Dieses Dokument betrifft Oracle Database 10g R2 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.5 AS x86_64. ANMERKUNG: Das Dokument enthält allgemeine Anleitungen zur Konfiguration der Netzwerk- und Speicheranforderungen für den Betrieb der Dell|OracleDatenbank auf einem System, das unter dem Betriebssystem Red Hat Enterprise Linux oder Oracle Enterprise Linux läuft.
In diesem Dokument verwendete Terminologie In diesem Dokument werden die Begriffe Logische Gerätenummer (LUN) und virtueller Datenträger synonym verwendet. Der Begriff LUN wird üblicherweise in Dell|EMC Fibre-Channel-Speichersystemumgebungen verwendet. Der Begriff „virtueller Datenträger“ wird in der Regel bei Dell PowerVault SAS-Speicherumgebungen (PowerVault MD3000i und PowerVault MD3000i mit PowerVault MD1000-Erweiterung) oder Dell EqualLogic iSCSI-Speicherumgebungen verwendet.
Oracle-Support • Informationen über Schulungen für Oracle-Software und ClusterwareAnwendung und Kontaktinformationen von Oracle finden Sie auf der Oracle-Website unter oracle.com oder in der Oracle-Dokumentation. • Technischen Support, Downloads und weitere technische Informationen finden Sie auf der My Oracle Support-Website unter support.oracle.com.
Übersicht
Konfiguration des Netzwerks In diesem Abschnitt werden die erforderlichen Schritte zur Konfiguration des öffentlichen und privaten Clusternetzwerks beschrieben. ANMERKUNG: Für jeden Knoten wird eine eindeutige öffentliche und private IP-Adresse benötigt. Zusätzlich wird eine weitere öffentliche IP-Adresse benötigt, die als virtuelle IP-Adresse für die Clientverbindungen und als Failover-Verbindung dient. Die virtuelle IP-Adresse muss dem gleichen Subnetz wie die öffentliche IP-Adresse angehören.
Falls noch nicht erfolgt, konfigurieren Sie das öffentliche Netzwerk, indem Sie für jeden Knoten die folgenden Schritte durchführen: 1 Melden Sie sich als root beim System an.
Konfiguration des privaten Netzwerks mit Bündelung Bevor Sie den Cluster in Betrieb nehmen, müssen Sie das private Clusternetzwerk konfigurieren, damit die Knoten miteinander kommunizieren können. Dazu müssen Sie die Netzwerkbündelung (Bonding) konfigurieren und jedem Knoten im Cluster eine private IP und einen Hostnamen zuweisen.
4 Führen Sie für jedes Gerät, das Mitglied der Bündelung ist, folgende Schritte aus: a Bearbeiten Sie im Verzeichnis /etc/sysconfig/network-scripts/ die Datei ifcfg-ethn, sodass sie folgende Zeilen enthält: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet MASTER=bond0 SLAVE=yes b Geben Sie service network restart ein und übergehen Sie alle Warnmeldungen. 5 Führen Sie auf jedem Knoten den Befehl ifconfig aus, um sicherzustellen, dass das private Netzwerk funktioniert.
Einrichten von Oracle User Equivalence (Benutzeräquivalenz) Konfiguration von Secure Shell (SSH) 1 Melden Sie sich auf allen Knoten als Benutzer oracle an. 2 Generieren Sie auf dem System ein RSA-Schlüsselpaar, indem Sie folgenden Befehl eingeben: ssh-keygen -t rsa 3 Drücken Sie die , um den Standard-Speicherort für die Schlüsseldatei zu übernehmen (in diesem Fall /home/oracle/.ssh/id_rsa). 4 Sie werden zweimal zur Eingabe einer Paraphrase aufgefordert.
8 Erstellen Sie geschützte Kopien der .pub-Schlüssel für alle Knoten. Verwenden Sie dazu den Befehl scp. Nachstehend ein Beispiel für zwei Knoten: (Knoten1: Geben Sie folgenden Befehl ein): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh (Knoten2: Geben Sie folgenden Befehl ein): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh Jedes System hat nun den öffentlichen Schlüssel des anderen Systems im Verzeichnis /home/oracle/.ssh gespeichert.
Einrichten von Fibre-ChannelClustern WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Regulatory Compliance-Website unter dell.com/regulatory_compliance.
Hardwareverbindungen für einen Fibre-ChannelCluster Abbildung 3-1 zeigt alle Hardwareverbindungen eines Fibre-ChannelClusters und ermöglicht die visuelle Überprüfung. Tabelle 3-1 listet die in Abbildung 3-1 abgebildeten Fibre-Channel-Hardwareverbindungen auf. Abbildung 3-1.
Tabelle 3-1.
Verkabeln des Fibre-Channel-Speichersystems Sie können Ihr Oracle-Database-Fibre-Channel-Clustersystem je nach Ihren Anforderungen wie folgt konfigurieren: • Direct-Attach-Fibre-Channel (siehe Abbildung 3-2) • SAN-Attach-Fibre-Channel-Konfiguration mit vier Ports (siehe Abbildung 3-3) In den folgenden Abschnitten werden die Verkabelungsanforderungen für diese Konfigurationen beschrieben.
Abbildung 3-2.
SAN-Attach-Fibre-Channel-Konfiguration So konfigurieren Sie Ihre Knoten in einer SAN-Attach-Konfiguration mit vier Ports: 1 Verbinden Sie Port 0 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 0. 2 Verbinden Sie Port 1 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 1. 3 Verbinden Sie Port 2 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 0. 4 Verbinden Sie Port 3 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 1.
Abbildung 3-3.
Einrichten von Fibre-Channel-Clustern
SAS-Cluster-Einrichtung für die Speichergehäuse Dell PowerVault MD3000, MD32xx, MD1000 und MD12xx WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Regulatory Compliance-Website unter www.dell.com/regulatory_compliance.
Abbildung 4-1. Verkabelung des SAS (Serial-Attached SCSI)-Clusters und des Speichergehäuses Dell PowerVault MD3000 Privates Netzwerk LAN/WAN PowerEdge-Systeme Speichersystem PowerVault MD3000 Zwei PowerVault MD1000Erweiterungsgehäuse CAT 5e/6 (öffentlicher NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Tabelle 4-1.
Tabelle 4-1. Verbindungen der SAS-Clusterhardware (fortgesetzt) Clusterkomponente Verbindungen PowerVault MD3000Speichergehäuse • Zwei CAT 5e/6-Kabel zum LAN (eines von jedem Speicherprozessormodul) • Zwei SAS-Verbindungen zu jedem PowerEdge-Systemknoten über die SAS 5/E-Kabel. ANMERKUNG: Weitere Information zu Verbindungen bei PowerVault MD3000-Speichergehäusen finden Sie unter „Einrichten des SAS-Clusters mit einem PowerVault MD3000Gehäuse und einem MD1000-Erweiterungsgehäuse“ auf Seite 265.
4 Verbinden Sie den anderen Port des SAS-Controllers von Knoten 2 durch ein SAS-Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000-Speichergehäuse. 5 (Optional.) Verbinden Sie die beiden Ausgänge des PowerVault MD3000Speichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses. 6 (Optional.
Schritt 2: Installieren der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichergehäuse PowerVault MD3000 zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem System geliefert wurde. Um die Modular Disk Storage Manager Software auf dem Master-Knoten und die Multipath-Treiber (MPIO) Software auf den restlichen Knoten zu installieren, folgen Sie den Anweisungen in der Dokumentation zum Speichergehäuse PowerVault MD3000.
Schritt 5: Maßnahmen nach der Installation Nachdem Sie Treiber und Software installiert haben, führen Sie die in der PowerVault MD3000 Installationsanleitung genannten Schritte nach der Installation durch.Erstellen Sie die in der Dokumentation Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Installationshandbuch für Betriebssystem und Hardware und im Linux-Handbuch gezeigte Umgebung. Beide Dokumente stehen unter support.dell.com/manuals zur Verfügung.
Weitere Informationen über unterstützte Hardware und Software für Dell PowerVault-Systeme finden Sie in der Support-Matrix unter support.dell.com/manuals. ANMERKUNG: Es wird empfohlen, dass Sie alle neuesten Aktualisierungen installieren, die auf support.dell.com zur Verfügung stehen. Installieren der MD-Storage-Software Das Installationsprogramm der PowerVault MD3200-Speichersoftware stellt Funktionen wie Kernsoftware und Anbieter zur Verfügung.
Grafische Installation (Empfohlen) 1 Schließen Sie alle anderen Programme, bevor Sie neue Software installieren. 2 Legen Sie den Resource-Datenträger ein. 3 Wählen Sie die Option Install MD32xx Storage Software (MD32xxSpeichersoftware installieren) aus. ANMERKUNG: Wenn der Host-Server die Core-Version von Windows Server ausführt oder das Startprogramm nicht automatisch ausgeführt wird, dann navigieren Sie zum Stammverzeichnis des Datenträgers und führen Sie für Windows md_launcher.exe aus, bzw.
Automatische Installation Diese Option ermöglicht Ihnen das Installieren der Software im unbeaufsichtigten Modus.
Schritt 3: Maßnahmen nach der Installation Bevor Sie das PowerVault MD3200-Speicherarray zum ersten Mal verwenden, müssen Sie verschiedene Konfigurationsschritte in der angegebenen Reihenfolge ausführen. Diese Schritte werden mit der MD Storage ManagerSoftware (MDSM) durchgeführt. 1 Für die bandexterne Verwaltung müssen Sie die Netzwerkkonfiguration für jedes RAID-Controllermodul festlegen, einschließlich IP-Adresse (Internet Protocol), Subnetzmaske und Gateway.
Überprüfen der Speicherarray-Erkennung Mit der Funktion Automatic Discovery (Automatische Erkennung) werden sowohl bandinterne als auch bandexterne Arrays erkannt, und die Speicherarrays werden der Verwaltungsdomäne hinzugefügt. Sollten die bandexternen oder bandinternen Verbindungen auf der Seite „Zusammenfassung“ nicht zutreffend sein, führen Sie die folgenden Schritte aus. 1 Überprüfen Sie die Hardware und die Verbindungen auf mögliche Fehler.
Grundlegende Einrichtungsvorgänge 1 Der Name des ersten gefundenen Speicherarrays erscheint in der Registerkarte „Geräte“ des EMW. Um eine Liste aller im lokalen Netzwerk gefundenen Speicherarrays anzuzeigen, vergrößern Sie die Registerkarte der erkannten Speicherarrays im Bereich „Geräte“ des EMW. 2 Der Standardname für ein neu installiertes MD3200-Speicherarray lautet Unnamed (Unbenannt).
iSCSI-Cluster-Einrichtung für die Speichergehäuse Dell PowerVault MD3000i, MD32xxi, MD1000i und MD12xxi WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Regulatory Compliance-Website unter www.dell.com/regulatory_compliance.
Tabelle 5-1.
Einrichten eines iSCSI-Clusters für PowerVault MD3000i und MD1000-Erweiterungsgehäuse Schritt 1: Einrichten der Hardware Direct-Attach-iSCSI-Cluster sind auf zwei Knoten beschränkt. Abbildung 5-1.
3 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im PowerVault MD3000i-Speichergehäuse. 4 Verbinden Sie den anderen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000i-Speichergehäuse. 5 (Optional.) Verbinden Sie die beiden Ausgänge des PowerVault MD3000Speichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses.
Um die Knoten über Switches zu konfigurieren (siehe Abbildung 5-2), gehen Sie wie folgt vor: 1 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerkswitch 1. 2 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerkswitch 2. 3 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerkswitch 1.
Schritt 2: Installation der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichersystem PowerVault MD3000i zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem MD3000i-Speichersystem geliefert wurde. Wie Sie die Software Modular Disk Storage Manager auf dem Masterknoten und die Multipath (MPIO)-Software auf den restlichen Knoten installieren, erfahren Sie in der Dokumentation zum PowerVault MD3000iSpeichergehäuse unter support.dell.com/manuals.
Einrichten des SAS-Clusters mit den Erweiterungsgehäusen PowerVault MD32xxi und MD12xxi Schritt 1: Einrichten der Hardware Informationen über das Konfigurieren der Erweiterungsgehäuse PowerVault MD32xxi und MD12xxi erhalten Sie in der Dokumentation zu den Erweiterungsgehäusen PowerVault MD3200i und MD1200i unter support.dell.com/manuals.
Das mitgelieferte Resource-Medium für die PowerVault MD3200-Reihe bietet folgende drei Installationmethoden: Grafische Installation (empfohlen) – Dies ist das für die meisten Nutzer empfohlene Installationsverfahren. Der Installer bietet eine assistentengestützte grafische Schnittstelle, die eine Benutzeranpassung hinsichtlich der zu installierenden Komponenten ermöglicht.
Konsoleninstallation ANMERKUNG: Konsoleninstallation wird nur für Linux-Systeme verwendet, die keine grafische Umgebung ausführen. Das Autorun-Skript im Stammverzeichnis des Resource-Mediums erkennt, wenn keine grafische Umgebung ausgeführt wird und startet das Installationsprogramm automatisch in einem textbasierten Modus. Dieser Modus stellt mit Ausnahme der MDCU-spezifischen Optionen die gleichen Optionen zur Verfügung wie die grafische Installation. Das MDCU benötigt eine grafische Betriebsumgebung.
Einrichtung eines iSCSI-Clusters für das PowerVault-Erweiterungsgehäuse
iSCSI-Cluster-Einrichtung für das EqualLogic PS-Speichersystem WARNUNG: Bevor Sie mit den in diesem Abschnitt beschriebenen Verfahren beginnen, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation zum System. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Regulatory Compliance-Website unter dell.com/regulatory_compliance.
Einrichten des EqualLogic iSCSISpeichersystems Hostsysteme lassen sich mit dem EqualLogic PS6000XV iSCSI-Array über einen üblichen IP-SAN-Gigabit-Ethernet-Switch verbinden. Abbildung 6-1 zeigt die empfohlene Netzwerkkonfiguration für ein EqualLogic PS6000XVArray mit zwei Steuermodulen. Diese Konfiguration umfasst zwei GigabitEthernet-Switches der Reihe Dell PowerConnect 6200, um die höchste Netzwerkverfügbarkeit und maximale Netzwerkbandbreite zu ermöglichen.
Abbildung 6-1.
Abbildung 6-2.
Eine EqualLogic PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden. Mit gestaffeltem Speicher haben Administratoren mehr Kontrolle über die Zuweisung von Datenträgerressourcen. Zu jedem Zeitpunkt kann ein Mitglied nur einem einzigen Pool zugewiesen werden. Ein Mitglied lässt sich einem Pool problemlos zuweisen und zwischen Pools verschieben, ohne dass dies die Datenverfügbarkeit beeinflusst.
Tabelle 6-1.
In diesem Beispiel ist Flow Control bereits aktiviert (on). Wenn die Flusskontrolle nicht aktiviert ist, verwenden Sie zum Aktivieren von Flow Control den folgenden Befehl: # ethtool -A rx on tx on Jumbo Frame wird in den Skripten in /etc/sysconfig/network-scripts/ifcfg konfiguriert, indem Sie den Parameter MTU="" hinzufügen. Im folgenden Beispiel ist MTU auf 9000 gesetzt.
Konfigurieren des Hostzugriffs auf Volumes In diesem Abschnitt werden die einzelnen Schritte zur Konfiguration des Hostzugriffs auf iSCSI-Datenträger mit dem Tool iscsiadm beschrieben. Bei isciadmin handelt es sich um das Open-iSCSI-Administrationsprogramm. 1 Melden Sie sich als Benutzer root beim System an.
# iscsiadm -m iface -I eth0-iface --op=update -n iface.hwaddress -v 00:18:8B:4E:E6:CC eth0-iface updated 6 Vergewissern Sie sich, dass die Schnittstellen erstellt und korrekt zugewiesen wurden: iscsiadm -m iface 7 Ändern Sie die CHAP-Informationen in /etc/iscsi/iscsid.conf auf dem Host. node.session.auth.authmethod = CHAP node.session.auth.username = Benutzername node.session.auth.password = Kennwort discovery.sendtargets.auth.authmethod = CHAP discovery.sendtargets.auth.username = Benutzername discovery.
Mit dem folgenden Befehl werden beispielsweise vier Volumes unter der Gruppen-IP-Adresse 10.16.7.100 erkannt, und zwar von einem Host mit zwei Schnittstellen mit den Namen eth0-iface und eth1-iface: # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.
Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090695ce59d02-2e0f999767f4942e-mdi-data2 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090697be59d02-d7ef99976814942e-mdi-fra1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface iSNS: No targets found. STATIC: No targets found.
Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth0-iface, target: iqn.200105.com.
Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth1-iface, target: iqn.200105.com.
Konfiguration von Device Mapper Multipath für Volumes 1 Führen Sie den Befehl /sbin/scsi_ id für die für Oracle erstellten Geräte aus, um deren eindeutige Bezeichner zu erhalten: /sbin/scsi_id -gus /block/ Beispiel: # scsi_id -gus /block/sda 2 Heben Sie die Kommentierung des folgenden Abschnitts in /etc/multipath .conf auf.
4 Fügen Sie den nachstehenden Abschnitt in /etc/multipath.conf ein. Die WWID wird von Schritt 1 bezogen. Stellen Sie sicher, dass die Aliasnamen auf allen Hosts im Cluster konsistent sind. multipaths { multipath { wwid WWID_von_Volume1 alias Alias_von_Volume1 } multipath { wwid WWID_von_Volume2 alias Alias_von_Volume2 } (Fügen Sie einen multipath-Teilabschnitt für jedes weitere Volume hinzu.) } Das folgende Beispiel enthält die Konfigurationen von vier Volumes.
5 Starten Sie den Multipath-Daemon neu und vergewissern Sie sich, dass die Aliasnamen in der multipath -l1-Ausgabe angezeigt werden. chkconfig multipathd on service multipathd restart multipath -ll Beispiel: fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
6 Vergewissern Sie sich, dass die /dev/mapper/*-Geräte erstellt wurden. Diese Gerätenamen müssen für den Zugriff und die Interaktion mit den Multipath-Geräten in den nachfolgenden Abschnitten verwendet werden.
iSCSI-Cluster-Setup für EqualLogic-Speichersysteme
Konfigurieren des Datenbankspeichers auf dem Hostsystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Zusätzliche Empfehlungen zur bestmöglichen Umsetzung der Sicherheitsrichtlinien finden Sie auf der Dell Regulatory Compliance-Website unter www.dell.com/regulatory_compliance.
Tabelle 7-1.
5 Stellen Sie in der Datei /proc/partitions Folgendes sicher: • Alle PowerPath-Pseudogeräte erscheinen in der Datei mit ähnlichen Gerätepfaden auf allen Knoten. Zum Beispiel /dev/emcpowera, dev/emcpowerb und /dev/emcpowerc. • Bei einem PowerVault MD3000- oder MD3000i-Speichersystem oder dem EqualLogic-Speicherarray erscheinen alle virtuellen Datenträger bzw. Volumes in der Datei mit ähnlichen Gerätepfaden auf allen Knoten.
Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem VORSICHTSHINWEIS: Bei Systemen, die mit Linux betrieben werden, muss die Partitionstabelle angeglichen werden, bevor Daten auf die LUN/den virtuellen Datenträger geschrieben werden. Die Partitionszuordnung wird neu erstellt, und alle Daten auf der LUN /dem virtuellen Datenträger werden zerstört. Beispiel: Parameter des Dienstprogramms fdisk Das folgende Beispiel verdeutlicht die Parameter für das Dienstprogramm fdisk.
Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk Um eine Datenträgerpartition mit dem Dienstprogramm fdisk anzupassen, gehen Sie wie folgt vor: 1 Geben Sie an der Eingabeaufforderung Folgendes ein: fdisk , wobei der Name der Partition ist, die angepasst werden soll.
Konfiguration des Datenbankspeichers mit ext3Dateisystem für einen einzelnen Knoten Wenn Sie über ein zusätzliches Speichergerät verfügen, führen Sie folgende Schritte aus: 1 Melden Sie sich als root beim System an. 2 Geben Sie Folgendes ein: cd /opt/oracle $> cd , wobei /u01/app/oracle entspricht. 3 Geben Sie Folgendes ein: mkdir oradata recovery Erstellen Sie mit dem Dienstprogramm fdisk eine Partition zum Speichern Ihrer Datenbankdateien.
7 Geben Sie Folgendes ein: chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, wobei /u01/app/oracle entspricht.
Konfigurieren von gemeinsamen Speicherlaufwerken für Oracle Clusterware, Datenbank und Wiederherstellungsdateien mit OCFS2 Auf dem ersten Knoten: 1 Melden Sie sich als root beim System an. 2 Führen Sie folgende Schritte durch: a Starten Sie das X Window-System, indem Sie eingeben: startx b Generieren Sie die OCFS2-Konfigurationsdatei /etc/ocfs2/cluster.conf mit dem vorgegebenen Clusternamen ocfs2.
f g Klicken Sie im Menü auf Cluster→ Propagate Configuration (Konfiguration verbreiten). Das Fenster Propagate Cluster Configuration (Clusterkonfiguration verbreiten) wird angezeigt. Warten Sie, bis im Fenster die Meldung Finished (Abgeschlossen) erscheint. Klicken Sie auf Close (Schließen). Wählen Sie File→ Quit (Datei→ Beenden). 3 Aktivieren Sie auf allen Knoten den Cluster-Stack beim Systemstart, indem Sie eingeben: /etc/init.
ANMERKUNG: In den nachstehenden Schritten werden folgende Beispielwerte verwendet: • Bereitstellungspunkte: /u02,/u03 und /u04 • Labels: u02, u03 und u04 • Fibre-Channel-Speichergeräte: emcpowera, emcpowerb und emcpowerc 6 Formatieren Sie auf einem beliebigen Knoten die externen Speichergeräte mit 4 K Blockgröße, 128 K Clustergröße und 4 Knotensteckplätzen. Verwenden Sie dazu das Befehlszeilenprogramm mkfs.ocfs2: ocr.dbf und Voting-Datenträger mkfs.
Wenn die PowerPath-Pseudogeräte nicht an allen Knoten mit exakt identischem Gerätenamen angezeigt werden, ändern Sie an allen Knoten die Datei /etc/fstab, damit sichergestellt ist, dass alle gemeinsam genutzten Verzeichnisse an allen Knoten auf die gleichen Laufwerke zugreifen können. Nehmen Sie für alle OCFS2-Volumes entsprechende Einträge vor.
3 Öffnen Sie auf jedem Knoten im Fibre-Channel-Cluster die Datei /etc/sysconfig/rawdevices, und fügen Sie folgende Zeilen hinzu: /dev/raw/votingdisk1 /dev/emcpowera1 /dev/raw/votingdisk2 /dev/emcpowera2 /dev/raw/votingdisk3 /dev/emcpowera3 /dev/raw/ocr1.dbf /dev/emcpowera4 /dev/raw/ocr2.dbf /dev/emcpowera5 /dev/raw/spfile+ASM.
Konfigurieren von Laufwerken für ASM mit Raw-Geräten 1 Melden Sie sich als root beim System an. 2 Erstellen Sie am ersten Knoten mit fdisk eine einzige Primärpartition über die gesamte Kapazität des Datenträgers, der für die Datenbank und die Wiederherstellungsdateien verwendet werden soll.
3 Führen Sie diesen Schritt nur dann aus, wenn die RAC-Konfiguration einen gemeinsamen Speicher und Linux Device Mapper Multipath-Treiber verwendet. a Legen Sie den Parameter ORACLEASM_SCANORDER in /etc/sysconfig/oracleasm wie folgt fest: ORACLEASM_SCANORDER="dm". ANMERKUNG: Wenn Sie EMC-Speicher für die RAC-Konfiguration verwenden, setzen Sie den Parameter ORACLEASM_SCANORDER in /etc/sysconfig/oracleasm auf "emcpower". b Starten Sie das System neu, um die Änderung in Kraft zu setzen.
Konfigurieren von gemeinsamen Speicherlaufwerken für Oracle Clusterware mit Block-Geräten und für Datenbank und Wiederherstellungsdateien mit ASM ANMERKUNG: Für Red Hat Enterprise Linux 5 oder Oracle Enterprise Linux 5 wird empfohlen, die Oracle Clusterware-Laufwerke nur mit Block-Geräten und die Laufwerke für Datenbank und Wiederherstellungsdateien mit ASM einzurichten.
[asm] asm1= asm2= Wenn Ihre OCR- und OCR-Spiegelpartitionen zum Beispiel /dev/emcpowera1 und /dev/emcpowera2 sind, wird die Datei permissions.ini folgendermaßen geändert: [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Fügen Sie die Voting-Datenträgernamen der Datei permissions.ini hinzu.
Konfigurieren von gemeinsamen Speicherlaufwerken für Oracle Database und Wiederherstellungsdateien mit ASM ANMERKUNG: In diesem Abschnitt wird vorausgesetzt, dass Sie die im Abschnitt Konfiguration des Betriebssystems für die Installation von Oracle Database des Installationshandbuchs für Betriebssystem und Hardware beschriebenen Vorgehensweisen durchgeführt haben. Sie können dieses Handbuch auf der Dell Support-Website unter support.dell.com/manuals herunterladen.
4 Nachdem Sie die Datei permissions.ini eingerichtet haben, führen Sie das Skript permissions.py aus. Es befindet sich im Verzeichnispfad /delloracle-deployment/scripts/ :./permissions.py 5 Geben Sie den folgenden Befehl ein, um die korrekten BlockgeräteBerechtigungen festzulegen: /etc/rc.local Konfiguration von Laufwerken für ASM mit dem ORACLEASM-Bibliothekstreiber 1 Melden Sie sich als root beim System an.
6 Überprüfen Sie, ob die ASM-Datenträger erstellt wurden und für ASMVerwendung gekennzeichnet sind. Geben Sie im Terminalfenster den folgenden Befehl ein, und drücken Sie die : service oracleasm listdisks Die in Schritt 5 erstellten Laufwerke werden angezeigt. Beispiel: ASM1 ASM2 7 Stellen Sie sicher, dass die übrigen Knoten auf die in Schritt 5 erstellten ASM-Laufwerke zugreifen können.
4 Öffnen Sie ein Terminalfenster und führen Sie auf dem neuen Knoten die folgenden Schritte durch: a Geben Sie ein: service oracleasm configure b Machen Sie auf allen Knoten die folgenden Eingaben: Default user to own the driver interface [ ]: oracle Default group to own the driver interface [ ]: dba Start Oracle ASM library driver on boot (y/n) [n]: y Fix permissions of Oracle ASM disks on boot (y/n) [y]: y 5 Führen Sie Schritt 5 nur dann aus, wenn die RAC-Konfiguration einen EqualLogic iSCSI-Speicher
Stichwortverzeichnis A E Aliasnamen, 299 EMC Navisphere, 304 PowerPath, 304 B Begriff Gruppe, 285 Mitglied, 285 Pool, 285 Volume, 285 C Clusterware Speicherkonfiguration für, 310 Enterprise Linux, 246 Ethernet-Switch, 257 F Fibre-Channel Direct-Attach-Konfiguration, 258 SAN-Attach-Konfiguration, 260 G Gebundenes Paar, 249 D Dell|EMC Fibre Channel-, 257 H Dell|EMC Fibre-Channel Speicher, 257 Switch, 257 Hilfe, 246 Dell Support, 246 Oracle-Support, 247 Domain Naming Service (DNS), 249 Stichwortv
I N ifconfig, 250 Netzwerkbündelung, 251 IP-Adresse Öffentliche IP-Adresse, 249 Private IP-Adresse, 249 Virtuelle IP-Adresse, 249 Netzwerkparameter, 251 NIC Port-Zuordnungen, 249 O J Jumbo-Frame, 291 K Kabel CAT 5e, 257 CAT 6, 257 OCFS2, 310 Öffentlicher Schlüssel, 253 P Paraphrasen-Eingabeaufforderung, 253 PowerConnect-Switch, 286 PowerPath-Pseudogeräte, 304 L Logische Gerätenummer, 246 LUNs, 258 R Resource-Medium PowerVault MD3000, 267 M RSA-Schlüsselpaar, 253 Modular Disk Storage Manager,
V Verkabelung Fibre-Channel-Speicher, 258 iSCSI-Cluster, 277 SAS-Speicher, 265, 268, 281 Virtueller Datenträger, 246 Volumes, 289 Voting-Datenträger, 317 Z Zertifizierung und Schulung Dell, 246 Oracle, 247 Stichwortverzeichnis 325
Stichwortverzeichnis
Dell PowerEdge システム Enterprise Linux x86_64 で使 用する Oracle データベース ストレージ & ネット ワークガイド バージョン 4.
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明しています。 注意 : 手順に従わないと、ハードウェアの損傷やデータの損失につながる 可能性があることを示しています。 警告：物的損害、けが、または死亡の原因となる可能性があることを示し ています。 ____________________ 本書の内容は予告なく変更されることがあります。 © 2009 ～ 2010 すべての著作権は Dell Inc. にあります。 Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられています。 本書に使用されている商標：Dell™、DELL ロゴ、PowerConnect™、PowerEdge™ および PowerVault™ は Dell Inc.
目次 1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dell|Oracle データベースの導入に必要 なマニュアル . . . . . . . . . . . . . . . . . . . . . . 333 . . . . . . . . . . . . . 334 . . . . . . . . . . . . . . . . . . . . . 334 本書で使用されている用語 . 困ったときは . デルサポート . . . . . . . . . . . . . . . . . . . Oracle のサポート . 2 ネットワークの設定 334 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . パブリックネットワークの設定 335 337 338 . . . . . . . . . . . ボンディングを使用したプライベー トネットワークの設定 . . . . . . . . . . . . . . . .
ファイバーチャネルストレージシステムの ケーブル接続 . . . . . . . . . . . . . . . . . . 直接接続ファイバーチャネル構成 4 . . . 346 . . . . . . 346 SAN 接続のファイバーチャネル構成 . . . . . 347 Dell PowerVault MD3000/MD32xx/ MD1000/MD12xx 拡張エンク ロージャ用の SAS クラスタ のセットアップ . . . . . . . . . . . . . . . . . . 349 PowerVault MD3000/MD1000 拡張エンクロージ ャを使用した SAS クラスタのセットアップ . タスク 1：ハードウェアのセッ トアップ . . . . . . . . . . . . . . . . 351 . . . . . . . 351 タスク 2：ホストベースのストレー ジソフトウェアのインストール . . . . . . . 353 タスク 3：ファームウェアの確認 とアップグレード. . . . . . . . . . . . .
5 Dell PowerVault MD3000i/MD32xxi/ MD1000i/MD12xxi ストレージ エンクロージャ用の iSCSI ク ラスタのセットアップ . . . . . . . . . . . . iSCSI クラスタを PowerVault MD3000i/MD1000 拡張エンクロージャ用にセット アップする方法 . . . . . . . . . . . . . . . . . . . . 363 タスク 1：ハードウェアのセットアップ . . . 363 タスク 2：ストレージに必要なホス トベースソフトウェアのインストール . . . . 366 タスク 3：ファームウェアの確認とア ップグレード . . . . . . . . . . . . . . . . . . . 366 . . . . . . . . . . . . 366 インストール後のタスク PowerVault MD32xxi/MD12xxi 拡張エン クロージャを使用した SAS クラスタの セットアップ . . . . . . . . . . . . . . . .
7 ホストのデータベースストレ ージの設定 . . . . . . . . . . . . . . . ストレージディスクの検証と識別 . . . . . . . . 389 . . . . . . . . 389 Linux システム用のディスクパーティ ションの調整 . . . . . . . . . . . . . . . 例：fdisk ユーティリティの引数 . . . . . . 392 . . . . . . . 392 手順：ディスクパーティションの 調整に fdisk ユーティリティを使用. . . . . . ext3 ファイルシステムを使用したデータ ベースストレージの設定 （シングルノードのみ）. . . . . . . . . . . . . . . . 394 . . . . . . 396 OCFS2 を使用して Oracle Clusterware、デー タベース、およびリカバリファイル用の共 有ストレージディスクを設定する方法 . . .
概要 本書の説明は、Red Hat Enterprise Linux または Oracle Enterprise Linux 5.5 AS x86_64 上で使用されている Oracle Database 10g R2 に適用 されます。 メモ：本書は、Red Hat Enterprise Linux または Oracle Enterprise Linux をイン ストールしたシステムで Dell|Oracle データベースを実行するためのネット ワークとストレージの要件を概説したものです。お使いのシステムでサ ポートされているネットワークとストレージの構成のリストについては、 Oracle Database and Applications Solutions ウェブサイト dell.
• 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — トラブルシューティングガイド』では、クラ スタに新しいノードを追加する方法と、前の分冊で説明されている インストール手順中に発生するエラーの解決方法について説明して います。 メモ：各分冊のいずれにも、デルのテクニカルサポートを利用する方法 が記されています。 本書で使用されている用語 本書では、「LUN」と「仮想ディスク」は同義語として使われています。 「LUN」は、Dell/EMC ファイバーチャネルストレージシステムの環境で通 常使われる用語です。「仮想ディスク」は、Dell PowerVault シリアル接 続 SCSI（SAS）（PowerVault MD3000i/MD3000i + PowerVault MD1000 拡張）または Dell EqualLogic iSCSI ストレージ環境で通常使われる用語 です。 メモ：本書で使われている Enterprise Linux という用語は、特に説明のない 限り Red Hat Enterprise Lin
Oracle のサポート • Oracle ソフトウェアおよびアプリケーションクラスタウェアのト レーニング、および Oracle へのお問い合わせの方法については、 Oracle のウェブサイト oracle.com または Oracle のマニュアルを 参照してください。 • テクニカルサポート、ダウンロード、その他の技術情報については、 My Oracle Support ウェブサイト support.oracle.com を参照して ください。 • Oracle のインストールと設定については、 support.dell.
概要
ネットワークの設定 本項ではパブリックおよびプライベートのクラスタネットワークの設定手 順について説明します。 メモ：各ノードには、固有のパブリックおよびプライベート IP アドレス を設定する必要があります。クライアント接続および接続のフェイルオー バーのために、仮想 IP アドレスとしての機能を果たす追加のパブリック IP アドレスが必要です。仮想 IP アドレスはパブリック IP と同じサブネッ トに属していなければなりません。仮想 IP アドレスを含むすべてのパブ リック IP アドレスは、ドメインネームシステム（DNS）に登録する必要が あり、ルータブルでなければなりません。 利用可能な NIC ポートの数に応じて、表 2-1 に示すとおりにインタ フェースを設定します。 表 2-1 NIC のポート割り当て NIC ポート 利用可能なポート 3 個 利用可能なポート 4 個 1 パブリック IP および仮想 IP パブリック IP 2 プライベート IP（ボンディ プライベート IP（ボンディング済み） ング済み） 3 プライベート IP（ボンディ プライベート IP（ボンディング済
パブリックネットワークの設定 メモ：パブリック IP アドレスが有効でルータブルな IP アドレスであるこ とを確認してください。 メモ：プライベートネットワーク用の 2 個のボンディング済み NIC ポート は、それぞれ別々の PCI バス上に置かれている必要があります。たとえ ば、ボンディング済みのペアは、1 枚のオンボード NIC カードと 1 枚のア ドオン NIC カードで構成される場合があります。 パブリックネットワークの設定をまだ行っていない場合は、次の手順を各 ノードで実行します。 1 root としてログインします。 2 ネットワークデバイスファイル /etc/sysconfig/networkscripts/ifcfg-eth# を編集します。 # はネットワークデバイスの番号です。 DEVICE=eth0 ONBOOT=yes IPADDR=< パブリック IP アドレス > NETMASK=< サブネットマスク > BOOTPROTO=static HWADDR= SLAVE=no 3 /etc/sysconfig/network ファイルを編集し、必要に応じて、
ボンディングを使用したプライベートネット ワークの設定 クラスタを導入する前に、プライベートクラスタネットワークを設定し、 ノード間で通信できるようにします。このためには、ネットワークボン ディングを設定して、プライベート IP アドレスとホスト名をクラスタ内 の各ノードに割り当てます。 Broadcom または Intel の NIC でネットワークボンディングを行い、プ ライベートネットワークを設定するには、各ノードで次の手順を実行し ます。 1 root としてログインします。 2 /etc/modprobe.conf ファイルに、次の行を追加します。 alias bond0 bonding 3 /etc/sysconfig/network-scripts/ ディレクトリで、ifcfg-bond0 設定ファイルを作成または編集します。 たとえは、サンプルネットワークのパラメータを使った場合、ファ イルは次のようになります。 DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.
4 ボンドの各メンバーデバイスについて、次の手順を実行します。 a /etc/sysconfig/network-scripts/ ディレクトリで、ifcfg-ethn ファイルを次のように編集します。 DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet MASTER=bond0 SLAVE=yes b service network restart と入力し、表示される警告はすべ て無視します。 5 各ノードで ifconfig と入力して、プライベートインタフェースが 機能していることを確認します。 ノードのプライベート IP アドレスはプライベートインタフェース bond0 に割り当てる必要があります。 6 各ノードにプライベート IP アドレスをすべて設定したら、1 つの ノードから各 IP アドレスを ping して、プライベートネットワーク が機能していることを確認します。 7 各ノードに接続します。次のように入力して、プライベートネット ワークと ssh が正しく機能していることを確認します。 ssh < プライベート IP>
Oracle ユーザー等価のセットアップ セキュアシェル（ssh）の設定 1 すべてのノードで oracle ユーザーとしてログインします。 2 次のコマンドを使用して、システム上に RSA キーペアを生成しま す。 ssh-keygen -t rsa 3 を押して、キーファイルを保存するデフォルトのフォルダ をそのまま使用します（この場合は /home/oracle/.ssh/id_rsa）。 4 両方のパラフレーズプロンプトで を押すことで、空のパス フレーズを入力します。 5 ssh-keygen ユーティリティによって処理が完了します。次のメッ セージが表示されます。 Your identification has been saved in /home/oracle/.ssh/id.rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.
8 scp コマンドを使用して、各ノードに対して < ノード名 >.pub キー のセキュアコピーを実行します。 次の例は 2 ノードの場合です。 （ノード 1：次のコマンド文字列を入力します。） scp/home/oracle/.ssh/< ノード 1>.pub < ノード 2 の IP>: /home/oracle/.ssh （ノード 2：次のコマンド文字列を入力します。） scp/home/oracle/.ssh/< ノード 2>.pub < ノード 1 の IP>: /home/oracle/.ssh これで、各システムのディレクトリ /home/oracle/.ssh に相手のシ ステムのパブリックキーが保存されました。 9 touch コマンドを使用して、各ノードのディレクトリ /home/oracle/.ssh に authorized_keys という名前のファイルを 作成します。 touch authorized_keys 10 各システムで次のコマンドを実行します。 cat < ノード 1 の名前 >.pub >> authorized_keys cat < ノード 2 の名前 >.
ファイバーチャネルクラスタの セットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト dell.
ファイバーチャネルクラスタ用のハードウェ アの接続 図 3-1 を参照して、ファイバーチャネルクラスタのすべてのハードウェア 接続を目視点検します。図 3-1 に示すファイバーチャネルのハードウェア 接続は、 表 3-1 に一覧表示されています。 図 3-1 ファイバーチャネルクラスタ用のハードウェアの接続 クライアントシステム ギガビットイーサネットス イッチ（プライベートネッ トワーク） WAN/LAN Dell PowerEdge システム （Oracle データベース） Dell/EMC ファイバーチャネルスイッチ （SAN） Dell/EMC ファイ バーチャネルスト レージシステム 344 CAT 5e/6（パブリック NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル 追加の光ファイバーケーブル ファイバーチャネルクラスタのセットアップ
表 3-1 ファイバーチャネルハードウェアの相互接続 クラスタのコ ンポーネント 接続 PowerEdge システムノー ド • CAT 5e（カテゴリ 5 エンハンスト）または CAT 6 ケーブル 1 本をパブリック NIC から LAN に接続 • CAT 5e または CAT 6 ケーブル 1 本をプライベートギガビット NIC からギガビットイーサネットスイッチに接続 • CAT 5e または CAT 6 ケーブル 1 本を冗長プライベートギガ ビット NIC から冗長ギガビットイーサネットスイッチに接続 • 光ファイバーケーブル 1 本を HBA 0 からファイバーチャネル スイッチ 0 に接続 • 光ファイバーケーブル 1 本を HBA 1 からファイバーチャネル スイッチ 1 に接続 Dell/EMC ファ • CAT 5e または CAT 6 ケーブル 2 本を LAN に接続 イバーチャネル • 1 ～ 4 本の光ファイバーケーブルを各ファイバーチャネルス ストレージシ イッチに接続。たとえば 4 ポート構成では、次のように接続 ステム します。 – 光ファイバーケーブル 1 本を
ファイバーチャネルストレージシステムの ケーブル接続 必要に応じて、Oracle データベースのファイバーチャネルクラスタスト レージシステムを次のいずれかの構成にすることができます。 • 直接接続ファイバーチャネル（図 3-2 を参照） • 4 ポート SAN 接続のファイバーチャネル（図 3-3 を参照） 以下の項では、これらの構成のケーブル接続の要件について説明します。 直接接続ファイバーチャネル構成 ノードを直接接続ファイバーチャネル構成にするには、以下の手順を実行 します。 1 1 本の光ケーブルをノード 1 の HBA 0 から SP-A のポート 0 に接続 します。 2 1 本の光ケーブルをノード 1 の HBA 1 から SP-B のポート 0 に接続し ます。 3 1 本の光ケーブルをノード 2 の HBA 0 から SP-A のポート 1 に接続 します。 4 1 本の光ケーブルをノード 2 の HBA 1 から SP-B のポート 1 に接続し ます。 SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 3-2 を参照してください。 346 ファイバー
図 3-2 直接接続ファイバーチャネルクラスタのケーブル接続 ノード 1 用の HBA ポート 2 個 ノード 2 用の HBA ポート 2 個 0 1 0 1 SP-B SP-A 0 0 1 1 Dell/EMC CX4-480 ファイバーチャネルストレージ SAN 接続のファイバーチャネル構成 ノードを 4 ポートの SAN 接続構成にするには、以下の手順を実行します。 1 1 本の光ケーブルを SP-A ポート 0 からファイバーチャネルスイッチ 0 に接続します。 2 1 本の光ケーブルを SP-A ポート 1 からファイバーチャネルスイッチ 1 に接続します。 3 1 本の光ケーブルを SP-A ポート 2 からファイバーチャネルスイッチ 0 に接続します。 4 1 本の光ケーブルを SP-A ポート 3 からファイバーチャネルスイッチ 1 に接続します。 5 1 本の光ケーブルを SP-B ポート 0 からファイバーチャネルスイッチ 1 に接続します。 6 1 本の光ケーブルを SP-B ポート 1 からファイバーチャネルスイッチ 0 に接続します。 7 1 本の光ケーブルを SP-
9 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 10 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 11 1 本の光ケーブルをノード 2 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 12 1 本の光ケーブルをノード 2 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 3-3 を参照してください。 図 3-3 SAN 接続のファイバーチャネルクラスタのケーブル接続 ノード 1 用の HBA ポート 2 個 ノード 2 用の HBA ポート 2 個 0 1 0 1 sw1 sw0 SP-B 0 1 2 3 SP-A 0 1 2 3 Dell/EMC CX4-480 ファイバーチャネルストレージ 348 ファイバーチャネルクラスタのセットアップ
Dell PowerVault MD3000/MD32xx/MD1000/MD12xx 拡張エンクロージャ用の SAS ク ラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 4-1 SAS（シリアル接続 SCSI）クラスタと Dell PowerVault MD3000 ストレー ジエンクロージャのケーブル接続 プライベートネットワーク LAN/WAN PowerEdge システム PowerVault MD3000 ストレージシステム PowerVault MD1000 拡張エン クロージャ 2 台 表 4-1 CAT 5e/6（パブリック NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル SAS クラスタハードウェアの相互接続 クラスタのコン ポーネント 接続 PowerEdge シス テムノード • CAT 5e/6 ケーブル 1 本をパブリック NIC から LAN に接続 • CAT 5e/6 ケーブル 1 本をプライベートギガビット NIC か らギガビットイーサネットスイッチに接続（プライベート ネットワーク） • CAT 5e/6 ケーブル 1 本を冗長プライベートギガビット NIC から冗長ギガビットイーサネットスイッチに接続（プライ ベートネットワーク） • SAS 5/E 経由で PowerVault MD
表 4-1 SAS クラスタハードウェアの相互接続 （続き） クラスタのコン ポーネント 接続 PowerVault • CAT 5e/6 ケーブル 2 本を LAN に接続（各ストレージプロ セッサモジュールから 1 本ずつ） MD3000 ストレー ジエンクロージャ • SAS 5/E ケーブルで各 PowerEdge システムノードに対し て 2 本の SAS 接続 メモ：PowerVault MD3000 ストレージエンクロージャの相互 接続の詳細については、351 ページの「PowerVault MD3000/MD1000 拡張エンクロージャを使用した SAS クラス タのセットアップ」を参照してください。 Dell PowerVault PowerVault MD1000 拡張エンクロージャの必要に応じて MD1000 ストレー SAS ケーブルの接続を追加 ジエンクロージャ （オプション） PowerVault MD3000/MD1000 拡張エンクロー ジャを使用した SAS クラスタのセットアップ タスク 1：ハードウェアのセットアップ SAS クラスタは直接接続クラスタ内にのみ取り付
5 （オプション） PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション） PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の PowerVault MD1000 拡張エンクロー ジャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、 support.dell.
タスク 2：ホストベースのストレージソフトウェアのインストール PowerVault MD3000 ストレージエンクロージャに必要なホストベースの ストレージソフトウェアをインストールするには、システムに付属の Dell PowerVault Resource メディアを使用します。Modular Disk Storage Manager ソフトウェアをマスターノードに、マルチパス （MPIO）ソフトウェアを残りのノードにインストールするには、 PowerVault MD3000 ストレージエンクロージャのマニュアルに記載され ている手順に従います。 タスク 3：ファームウェアの確認とアップグレード 1 ホストシステムにインストールされている Modular Disk Storage Manager（MDSM）ソフトウェアを使用して、ホストシステムの直 接接続ストレージを検知します。 2 次のストレージコンポーネント用のファームウェアが最低必要な バージョンであることを確認します。 • RAID コントローラファームウェア • PowerVault MD3000 ストレージシステムファームウェア •
タスク 5：インストール後の作業 ドライバとソフトウェアをインストールした後で、『PowerVault MD3000 取り付けガイド』に示されているインストール後のタスクを実 行します。『Dell PowerEdge システム — Enterprise Linux x86_64 で使用 する Oracle データベース — OS のインストールとハードウェアの取り付 けガイド』および『Linux ガイド』に示されている環境を構築します。ど ちらのマニュアルも support.dell.com/manuals から入手できます。 メモ：LUN 用のディスクは RAID 10 構成に設定することをお勧めします。 PowerVault MD32xx/MD12xx 拡張エンクロー ジャを使用した SAS クラスタのセットアップ タスク 1：ハードウェアのセットアップ PowerVault MD32xx/MD12xx 拡張エンクロージャの設定については、 support.dell.
Dell PowerVault システム用としてサポートされているハードウェアとソ フトウェアの詳細については、support.dell.com/manuals で『サポー トマトリックス』を参照してください。 メモ：support.dell.
Graphical Installation（グラフィカルインストール） （推奨） 1 新しいソフトウェアをインストールする場合は必ず、事前に他のプ ログラムをすべて閉じてください。 2 リソースメディアをセットします。 3 Install MD32xx Storage Software（MD32xx ストレージソフトウェ アのインストール）を選択します。 メモ：ホストサーバーで Windows Server Core バージョンが実行され ている場合、または起動プログラムが自動的に実行されない場合は、 メディアのルートに移動して、Windows には md_launcher.
Silent Installation（サイレントインストール） このオプションでは、ソフトウェアを無人モードでインストールできま す。Windows システムでサイレントインストールを実行するには、次の 手順に従います。 1 すべてのデフォルトオプションを使用してインストールを開始する には、リソースメディアの Windows のフォルダに移動して、次の コマンドを実行します。 md32xx_install -i silent 2 サイレントインストールでインストールする機能を指定するには、 同じディレクトリ内にある custom_silent.properties ファイルを 変更し、これをホストサーバー上の書き込み可能な場所にコピーし てください。このファイルには、サポートされる機能とその説明の リストが含まれています。変更した custom_silent.properties ファイルを利用するには、次のコマンドを実行します。 md32xx_install -f C:\path\to\custom_silent.
タスク 3：インストール後の作業 PowerVault MD3200 シリーズのストレージアレイを初めて使用する場合 は、使用前に以下に示す順序で一連の初期設定タスクを行ってください。 以下のタスクは、MD Storage Manager（MDSM）ソフトウェアを使用 して実行します。 1 帯域外管理には、IP アドレス、サブネットワークマスク（サブネッ トマスク）、およびゲートウェイを含め、各 RAID コントローラモ ジュールにつきネットワーク構成を設定します。 メモ：DHCP サーバーを使用してネットワーク構成を設定できます。 2 MDSM を起動します。 • Microsoft Windows では、スタート → プログラム → Dell MD Storage Manager→ Modular Disk Storage Manager Client（Modular Disk Storage Manager クライアント）の順に クリックします。 • Linux では、MD Storage Manager のデスクトップアイコンを クリックします。Linux では、コマンドプロンプトで次のコマン
ストレージアレイ検知の検証 Automatic Discovery（自動検知）オプションにより、帯域内アレイと 帯域外アレイの両方が自動的に検知され、ストレージアレイが管理ドメイ ンに追加されます。サマリページに表示されている帯域外または帯域内の 接続が正確でない場合は、以下の手順を実行します。 1 ハードウェアと接続に問題がないかチェックします。インタフェー スに関する問題の具体的なトラブルシューティング手順については、 『オーナーズマニュアル』を参照してください。 2 アレイがローカルサブネットワークに接続されていることを確認し ます。接続されていない場合は、新規リンクをクリックして手動で 追加します。 3 各ストレージアレイのステータスが Optimal（最適）であることを 確認します。いずれかのアレイが Unresponsive（無反応）のス テータスを示す場合は、次の手順の 1 つを実行して修正します。 • 管理ドメインからアレイを削除するには、アレイをハイライト表 示し、Remove（削除）リンクをクリックします。 • アレイを追加するには、New（新規）リンクをクリックします。 Linu
初期セットアップタスク 1 検知された最初のストレージアレイの名前が、EMW のデバイスタブ に表示されます。ローカルネットワーク上で検知されたすべてのス トレージアレイのリストを表示するには、EMW のデバイスペインに ある検知済みストレージアレイタブを展開します。 2 新しく取り付けられた MD3200 シリーズのストレージアレイのデ フォルト名は、Unnamed（無題）です。MDSM 内に別の名前が表 示された場合は、名前の隣の下矢印をクリックし、ドロップダウン リスト内の Unnamed（無題）をクリックします。 3 検知されたアレイをダブルクリックしてアレイの管理ウィンドウを 開き、アレイの設定を変更します。 4 Perform Initial Setup Tasks（初期セットアップタスクの実行）を クリックして、残りのインストール後のタスクの概要とリンクを確 認します。アレイの設定準備ができました。アレイの設定について は、『オーナーズマニュアル』を参照してください。 メモ：ストレージアレイを設定する前に、Device（デバイス）ペイ ンのステータスアイコンをチェックして、ストレージアレイ内の
Dell PowerVault MD3000i/MD32xxi/MD1000i/MD12xx i ストレージエンクロージャ用の iSCSI クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.com/regulatory_compliance を参照してください。 本項では、Dell PowerEdge システムと PowerVault MD3000i/MD32xxi/MD1000i/MD12xxi ストレージエンクロージャが Oracle RAC（Real Application Cluster）環境で機能するように設定する ための情報と手順を示します。 support.dell.
表 5-1 iSCSI ハードウェアの相互接続 クラスタのコン ポーネント 接続 PowerEdge シス テムノード • CAT 5e/6 ケーブル 1 本をパブリック NIC から LAN に接続 • CAT 5e/6 ケーブル 1 本をプライベートギガビット NIC か らギガビットイーサネットスイッチに接続（プライベート ネットワーク） • CAT 5e/6 ケーブル 1 本を冗長プライベートギガビット NIC から冗長ギガビットイーサネットスイッチに接続（プライ ベートネットワーク） • CAT 5e/6 ケーブル 1 本を iSCSI ギガビット NIC からギガ ビットイーサネットスイッチに接続（iSCSI ネットワーク） メモ：PowerVault MD3000i ストレージエンクロージャの詳 細については、support.dell.
iSCSI クラスタを PowerVault MD3000i/MD1000 拡張エンクロージャ用にセットアップする方 法 タスク 1：ハードウェアのセットアップ 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 5-1 iSCSI 直接接続クラスタのケーブル接続 スタンドアロンのホストシステム（1 台または 2 台） 2 ノードクラスタ LAN/WAN PowerVault MD3000i RAID エンクロー ジャ（デュアル） コントローラ イーサネット 管理ポート CAT 5e/6（パブリック NIC） 光ファイバーケーブル ノードを直接接続で構成するには 図 5-1 を参照し、以下の手順を実行し ます。 1 ノード 1 のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コントローラ 0 の In-0 ポート を 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のもう一方のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエン
3 ノード 2 のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コントローラ 0 の In-1 ポート を 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のもう一方のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コント ローラ 1 の In-1 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 （オプション） PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション） PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の MD1000 拡張エンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については
ノードをスイッチ式で構成するには、図 5-2 を参照し、以下の手順を実行 します。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと PowerVault MD3000i ストレージエンクロー ジャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 6 スイッチ 1 のもう一方のポートと PowerVault MD3000i ストレージ エンクロージャ内の RAID
タスク 2：ストレージに必要なホストベースソフトウェアのイン ストール PowerVault MD3000i ストレージシステムに必要なホストベースのスト レージソフトウェアをインストールするには、PowerVault MD3000i ス トレージシステムに付属の Dell PowerVault の Resource メディアを使用 します。Modular Disk Storage Manager ソフトウェアをマスターノード に、マルチパス（MPIO）ソフトウェアを残りのノードにインストールす るには、support.dell.
PowerVault MD32xxi/MD12xxi 拡張エンクロー ジャを使用した SAS クラスタのセットアッ プ タスク 1：ハードウェアのセットアップ PowerVault MD32xxi/MD12xxi 拡張エンクロージャの設定については、 support.dell.
Console Installation（コンソールインストール）— サポートされてい る Linux プラットフォームへの X-Window 環境のインストールを希望し ない Linux ユーザーには、このオプションをお勧めします。 Silent Installation（サイレントインストール）— スクリプトインス トールを作成するユーザーには、このオプションが有用です。 Graphical Installation（グラフィカルインストール） （推奨） 1 新しいソフトウェアをインストールする場合は必ず、事前に他のプ ログラムをすべて閉じてください。 2 リソースメディアをセットします。 3 Install MD32xxi Storage Software（MD32xxi ストレージソフトウェ アのインストール）を選択します。 メモ：ホストサーバーで Windows Server Core バージョンが実行されてい る場合、または起動プログラムが自動的に実行されない場合は、メディア のルートに移動して、Windows には md_launcher.
Console Installation（コンソールインストール） メモ：コンソールインストールは、グラフィカル環境を実行していない Linux システムにのみ適用されます。 リソースメディアのルートにある autorun スクリプトは、グラフィカル 環境が実行されていない場合にこれを検知し、インストーラをテキスト ベースモードで自動的に開始します。このモードでは、MDCU 固有のオ プションを除き、グラフィカルインストールと同じオプションが選択でき ます。MDCU を使用するには、グラフィカル環境が必要です。 Silent Installation（サイレントインストール） このオプションでは、ソフトウェアを無人モードでインストールできま す。Windows システムでサイレントインストールを実行するには、次の 手順に従います。 1 すべてのデフォルトオプションを使用してインストールを開始する には、リソースメディアの Windows のフォルダに移動して、次の コマンドを実行します。 md32xxi_install -i silent 2 サイレントインストールでインストールする機能を指定するには、
PowerVault エンクロージャ用の iSCSI クラスタのセットアップ
Dell EqualLogic PS シリーズのス トレージシステム用の iSCSI ク ラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト dell.
EqualLogic iSCSI ストレージシステムのセッ トアップ ホストシステムは、IP SAN 業界標準ギガビットイーサネットスイッチを 経由して EqualLogic PS6000XV iSCSI アレイに接続できます。図 6-1 は、 デュアルコントロールモジュール EqualLogic PS6000XV アレイに推奨さ れるネットワーク構成を示しています。Dell PowerConnect 6200 シリー ズのギガビットイーサネットスイッチ 2 台による構成で、ネットワーク の可用性と帯域幅が共に最大となります。 EqualLogic 10GbE iSCSI アレイを使用する場合は、 support.equallogic.
図 6-1 推奨ネットワーク構成 iSCSI SAN 用の PowerConnect 6200 ギガビットイーサネットスイッチ iSCSI SAN 用の PowerConnect 6200 ギガビットイーサネットスイッチ 高帯域幅インタースイッチリンク Dell EqualLogic PS6000XV iSCSI ストレー ジアレイの背面図 iSCSI SAN 電源ユニット / 冷 却モジュール 1 コントロールモジュール 1 電源ユニット / 冷却モジュール 0 コントロールモジュール 0 図 6-2 は、Dell EqualLogic PS6000XV アレイ 3 つを使用した Oracle RAC（Real Application Cluster）構成例の概略図です。 Dell EqualLogic PS6000XV ストレージアレイは、RAC データベース用 の物理的なストレージ容量を提供します。oracle-group というグルー プには、Dell EqualLogic PS6000XV のメンバー 3 つ（oraclemember01、oracle-member02、oracle-
図 6-2 PS6000XV アレイ 3 つを使用した Oracle RAC 構成例 Dell Optiplex デスクトップ パブリックネット ワーク RAC プライベート相互 接続 iSCSI SAN LAN/WAN PowerConnect ギガビットイーサネットスイッチ リンクアグリゲーショ ングループ PowerConnect 6200 シリー ズのギガビットイーサ ネットスイッチ 高帯域幅インター スイッチリンク ストレージメンバー oracle-member01 ストレージメンバー oracle-member02 OCR および CSS 仮想 ディスクボリューム データボリューム RAID-10 ストレージプール Dell EqualLogic PS シリーズのイーサ ネットスイッチ ストレージメンバー oracle-member03 フラッシュリカバ リ領域ボリューム RAID-5 ストレージ プール ストレージグループ : oracle-group メモ：EqualLogic アレイの初期化の詳細については、 support.dell.
EqualLogic PS シリーズのストレージグループは、複数の階層またはプー ルに分割できます。ストレージを階層化すると、ディスクリソースをより 自在に割り当てることができるようになります。メンバーを同時に複数の プールに割り当てることはできません。メンバーをプールに割り当てた り、別のプールに移動する操作は簡単に行うことができ、データの可用性 に何ら影響はありません。プールは、ディスクのタイプ、速度、RAID レ ベル、アプリケーションのタイプなど、さまざまな基準に従って組むこと ができます。 図 6-2 では、プールはメンバーの RAID レベルに従って組まれています。 • RAID-10 という名前のプールは、RAID 10 のメンバーで構成されて います。 • RAID-5 という名前のプールは、RAID 5 のメンバーで構成されてい ます。 ボリュームの作成 データを保存する前に、EqualLogic ストレージアレイの物理ディスクを 設定して、ボリュームと呼ばれる使用可能なコンポーネントにする必要が あります。ボリュームはストレージプールを構成する一部であり、特定の サイズ、アクセスコ
表 6-1 Oracle RAC 構成用のボリューム （続き） ボリューム 最小サイズ RAID パーティ 使用目的 ションの数 OS マッピング 第 2 領域ボ データベー 10 リューム スよりも大 きいこと 1 データ ASM ディスクグ ループ DATABASEDG 第 3 領域ボ 第 2 領域ボ 5 リューム リュームの サイズの 2 倍以上 1 フラッシュリカ ASM ディスクグ バリ領域 ループ FLASHBACKDG Dell EqualLogic アレイ内にボリュームを作成し、すべてのホスト iSCSI ネットワークインタフェースがボリュームにアクセスできるようにアク セスリストを作成します。たとえば、次のようなボリュームが作成され ます。 • mdi-ocr-css-spfile • mdi-data1 • mdi-data2 • mdi-fra1 iSCSI ネットワークの設定 最適なパフォーマンスが得られるように、iSCSI トラフィック用のホスト ネットワークインタフェースがフロー制御とジャンボフレームを使用する ように設定することをお勧めします。eth
この例は、フロー制御がすでにオンになっていることを示しています。フ ロー制御がオンになっていない場合は、次のコマンドを使用してオンにし ます。 # ethtool -A < インタフェース > rx on tx on ジャンボフレームは、/etc/sysconfig/network-scripts/ifcfg-< インタ フェース > スクリプト内に MTU="" パラメータを追加して設 定します。 以下の例では、MTU が 9000 に設定されています。 # cat /etc/sysconfig/network-scripts/ifcfg-eth2 DEVICE=eth2 HWADDR=00:15:17:80:43:50 ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPADDR=10.16.7.125 NETMASK=255.255.255.
ホストからボリュームへのアクセスの設定 本項では、iscsiadm ツールを使用してホストから iSCSI ボリュームへの アクセスを設定する手順について詳しく説明します。iscsiadm ツールは open-iSCSI 管理ユーティリティです。 1 root ユーザーとしてシステムにログインします。open-iSCSI イニシ エータソフトウェアがすべてのホストシステムにインストール済み であることを確認します。 rpm -qa|grep -i iscsi-initiator open-iSCSI イニシエータ RPM がインストールされている場合は、以 下の出力が表示されます。 iscsi-initiator-utils-6.2.0.868-0.7.
5 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのインタフェースを作成します。 iscsiadm -m iface -I インタフェース名 --op=new インタフェース名 はインタフェースに割り当てられる名前です。 iscsiadm -m iface -I インタフェース名 --op=update -n iface.hwaddress -v ハードウェアアドレス ハードウェアアドレス は、手順 4 で取得したインタフェースのハー ドウェアアドレスです。 たとえば、以下のコマンドによって eth0 インタフェースにハード ウェアアドレス 00:18:8B:4E:E6:CC を持つ eth0-iface という名前 のインタフェースが作成されます。 # iscsiadm -m iface -I eth0-iface --op=new 新しいインタフェース eth0-iface が追加されました。 # iscsiadm -m iface -I eth0-iface --op=update -n iface.
10 手順 5 で作成したすべての ifaces からターゲットを検知します。 iscsiadm -m discovery -t st -p グループ IP アドレス -interface= インタフェース名 1 --interface= インタフェース 名 2 --interface= インタフェース名 3 --interface= イン タフェース名 4 グループ IP アドレスは EqualLogic ストレージグループの IP アド レスで、インタフェース名 1、インタフェース名 2、インタフェー ス名 3、インタフェース名 4 ... は、iSCSI トラフィックに使用され るホスト上のネットワークインタフェース（手順 5 で定義）です。 たとえば、次のコマンドを実行すると、eth0-iface および eth1iface という名前の 2 つのインタフェースを持つホストから、グ ループ IP アドレス 10.16.7.100 で 4 つのボリュームが検知されま す。 # iscsiadm -m discovery -t st -p 10.16.7.
11 ホスト上のすべての ifaces からすべてのボリュームが検知されたこ とを確認します。iscsiadm -m discovery --print=1 たとえば、次のとおりです。 # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.
12 手順 5 で作成した各インタフェースからすべてのターゲット（ボ リューム）にログインします。 iscsiadm -m node -p グループ IP アドレス --interface インタフェース名 --login グループ IP アドレスは EqualLogic ストレージグループの IP アドレ スで、インタフェース名は、iSCSI トラフィックに使用されるホスト 上のネットワークインタフェース（手順 5 で定義）です。 次の例のコマンドを実行すると、ホスト上の 2 つのインタフェース （eth0-iface と eth1-iface）のそれぞれから 3 つのボリュームにロ グインします。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 /etc/multipath.conf 内の次のセクションからコメントを削除しま す。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 /etc/multipath.
次のサンプルには、4 つのボリュームの構成が含まれています。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 マルチパスデーモンを再起動し、エイリアス名が multipath -l1 の 出力結果に表示されていることを確認します。 chkconfig multipathd on service multipathd restart multipath -ll たとえば、次のとおりです。 fra1 (36090a028d059be972e9414689799efd7) dm-13
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
ホストのデータベースストレー ジの設定 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
表 7-1 ファイバーチャネル、直接接続 SAS、および EqualLogic アレイの術語 ファイバーチャネ 直接接続 SAS または iSCSI EqualLogic アレイボ ルストレージ （MD3000/MD3000i/MD32xx/MD32xxi） リューム 仮想ディスク LUN /dev/emcpower(X) /dev/sd(X) PowerPath マルチパス（MPIO） ボリューム /dev/sd(X) Device Mapper 各ノードが各ストレージ LUN または論理ディスクを検知できることを確 認するには、以下の手順を実行します。 1 Dell/EMC ファイバーチャネルストレージシステムの場合は、各ノー ドに EMC Navisphere エージェントと正しいバージョンの PowerPath がインストールされていることを確認します。各ノード が EMC Navisphere ソフトウェア内で正しいストレージグループに 割り当てられていることを確認します。手順については、Dell/EMC ファイバーチャネルストレージシステムに付属のマニュアルを参照 してください。 メ
ノードで検知された LUN または論理ディスクが、これらの外付けデ バイスに作成されたパーティションとともに一覧表示されます。こ のリストには、PowerPath 仮想デバイスが /dev/emcpowera、 /dev/emcpowerb、/dev/emcpowerc のように表示されます。 直接接続 SAS または iSCSI 構成の場合、仮想ディスクは /dev/sdb、 /dev/sdc のように表示されます。 5 /proc/partitions ファイル内で、以下のことを確認します。 • すべての PowerPath 擬似デバイスが、すべてのノードで類似す るデバイス名を持つファイル内に表示されていること。 たとえば、/dev/emcpowera、/dev/emcpowerb、および /dev/emcpowerc です。 • PowerVault MD3000/MD3000i または EqualLogic ストレージア レイの場合は、すべての仮想ディスクまたはボリュームが、すべ てのノードで類似するデバイス名を持つファイル内に表示されて いること。 たとえば、/dev/sdb、/dev/sd
Linux システム用のディスクパーティション の調整 注意：Linux を使用しているシステムでは、データを LUN/ 仮想ディスクに 書き込む前にパーティションテーブルを揃えます。パーティションマップ が書き換えられ、LUN/ 仮想ディスク上のすべてのデータが破棄されます。 例：fdisk ユーティリティの引数 次の例では、fdisk ユーティリティの引数を示します。この例では、LUN が /dev/emcpowera にマップされ、LUN ストライプエレメントのサイ ズは 128 ブロックです。 メモ：この例では、ディスク /dev/emcpowera にはプライマリパーティ ション /dev/emcpowera1 が作成済みです。PowerVault MD3000/MD3000i また は EqualLogic ストレージアレイの場合、この処理は /dev/sdb1 に対して実行 されます。 fdisk /dev/emcpowera メモ：以下の手順を実行する前に、/dev/emcpowera 上にパーティションを 作成します。 x # expert mode（エキスパートモード） b # a
手順：ディスクパーティションの調整に fdisk ユーティリティを 使用 fdisk ユーティリティを使用してディスクパーティションを調整するに は、次の手順に従います。 1 コマンドプロンプトで、次のように入力します。 fdisk < パーティション名 > < パーティション名 > は、調整するパーティションの名前です。 たとえば、パーティション名が /dev/emcpowera なら、次のよう に入力します。fdisk /dev/emcpowera 次のメッセージが表示されます。 The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g.
6 コマンドプロンプトで、fdisk ユーティリティ引数 w を入力します。 次のメッセージが表示されます。 The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks.
4 次のように入力して、新しいパーティションを確認します。 cat /proc/partitions 新しいパーティションが見つからない場合は、次のように入力しま す。 sfdisk -R /dev/emcpowera sfdisk -R /dev/emcpowerb 5 次のように入力します。 mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 次のような項目を追加することで、新しく作成したファイルシステ ム用の /etc/fstab ファイルを編集します。 /dev/emcpowera1 /oradata ext3 defaults 1 2 には /u01/app/oracle と同様のパスを入力しま す。 7 次のように入力します。 chown -R oracle.
RAC 環境におけるクラスタウェア、データ ベース、およびリカバリファイル用の共有ス トレージの設定 本項では、RAC 環境で共有ストレージディスクを設定する方法について 説明します。以下の 3 つの方法のいずれか 1 つを使用してください。 • • • クラスタウェア、データベース、およびリカバリファイル用に OCFS2（Oracle Cluster File System）を使用する場合は、396 ページ の「OCFS2 を使用して Oracle Clusterware、データベース、および リカバリファイル用の共有ストレージディスクを設定する方法」を 参照してください。 クラスタウェア用には raw デバイスを使用し、データベースおよび リカバリファイル用には ASM を使用する場合は、400 ページの 「Oracle Clusterware 用には raw デバイスを使用し、データベース およびリカバリファイル用には ASM を使用して、共有ストレージ ディスクを設定する方法」を参照してください。 クラスタウェア用にはブロックデバイスを使用し、データベースお よびリカバリ用には ASM を使用す
c d e メニューから Cluster（クラスタ） → Configure Nodes （ノードの設定）を選択します。 クラスタがオフラインの場合、クラスタが起動します。メッセー ジウィンドウにこの情報が表示されます。メッセージウィンドウ を閉じます。 Node Configuration（ノードの構成）ウィンドウが表示され ます。 クラスタにノードを追加する場合は、Add（追加）をクリック します。ノード名（ホスト名と同じ）とプライベート IP を入力 します。ポート番号はデフォルト値を使用します。すべての情報 を入力したら、OK をクリックします。 手順 d を繰り返して、クラスタにすべてのノードを追加します。 すべてのノードを追加したら、Node Configuration（ノード の構成）ウィンドウで Apply（適用）をクリックし、Close （閉じる）をクリックします。 メモ：手順 e を実行すると Unable to access cluster service（クラスタサービスにアクセスできません）というエラー メッセージが表示される場合は、ファイル /etc/ocfs2/cluste
4 次の手順により、すべてのノード上で、 O2CB_HEARTBEAT_THRESHOLD 値を変更します。 a 次のように入力して、すべてのノードで O2CB サービスを停止 します。 /etc/init.d/o2cb stop b すべてのノードで、/etc/sysconfig/o2cb 内の O2CB_HEARTBEAT_THRESHOLD 値を 81 に編集します。 c 次のように入力して、すべてのノードで O2CB サービスを開始 します。 /etc/init.
データベースファイル mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 フラッシュリカバリ領域 mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 メモ：ノードスロットとは、クラスタノード数のことです。 メモ：クラスタのフォーマットパラメータの設定方法については、 OCFS2 に関するよくあるお問い合わせのウェブサイト oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html を参照し てください。 7 各ノードで、以下の手順を実行します。 a 各 OCFS パーティション用にマウントポイントを作成します。こ の手順を実行するには、次のように入力して、ターゲットパー ティションのディレクトリを作成し、所有権を設定します。 mkdir -p /u02 /u03 /u04 chown -R oracle.
Oracle Clusterware 用には raw デバイスを使用し、データベース およびリカバリファイル用には ASM を使用して、共有ストレー ジディスクを設定する方法 メモ：デルでは、Oracle Clusterware ディスクには raw デバイスを使用し、 データベースとリカバリディスクには ASM を使用する構成は、Red Hat Enterprise Linux 4 または Oracle Enterprise Linux 4 でのみサポートしています。 Red Hat Enterprise Linux 5 または Oracle Enterprise Linux 5 での共有ストレージ ディスクの設定については、403 ページの「Oracle Clusterware 用にはブ ロックデバイスを使用し、データベースおよびリカバリファイル用には ASM を使用して、共有ストレージディスクを設定する方法」を参照して ください。 raw デバイスを使用して Oracle Clusterware 用の共有ストレージディスクを 設定する方法 1 最初のノードで、fdisk ユーティリティを使って、外付け
スクリプトがあることが確認できたら、『インストールガイド』の次 の手順に進みます。 スクリプトがない場合は、『Dell PowerEdge シ ステム — Enterprise Linux x86_64 で使用する Oracle データベース — OS のインストールとハードウェアの取り付けガイド』に従って Dell|Oracle Deployment Automation Scripts をインストールしま す。 5 chkconfig networkwait off と入力します。 6 udevstart と入力して RAW デバイスを作成します。 7 service rawdevices restart と入力して RAW デバイスサー ビスを再起動します。 ASM を使用して Oracle Database およびリカバリファイル用の共有ストレー ジディスクを設定する方法 自動ストレージ管理（ASM）用のディスク設定には、raw デバイスまた は ORACLEASM ライブラリドライバのいずれかを使用できます。 raw デバイスを使用してディスクを ASM 用に設定する方法 1 root としてロ
ORACLEASM ライブラリドライバを使用してディスクを ASM 用に設定する方法 以下の手順を実行して ASM ディスクを設定します。 1 root としてログインします。 2 すべてのノードでターミナルウィンドウを開き、次の手順を実行し ます。 a service oracleasm configure と入力します。 b すべてのノードについて、以下の入力を行います。 Default user to own the driver interface（ドライバインタ フェースを所有するデフォルトユーザー）[ ]:oracle Default group to own the driver interface（ドライバインタ フェースを所有するデフォルトグループ）[ ]:dba Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]:y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクの権限を修正する）(y/n)
6 ASM ディスクが作成され、ASM 使用のマークが付いていることを 確認します。ターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm listdisks 手順 5 で作成したディスクが表示されます。たとえば、次のとおり です。 ASM1 ASM2 7 残りのノードが 手順 5 で作成した ASM ディスクにアクセスできる ことを確認します。残りの各ノードでターミナルウィンドウを開き、 次のテキストを入力し、 を押します。 service oracleasm scandisks Oracle Clusterware 用にはブロックデバイスを使用し、データベー スおよびリカバリファイル用には ASM を使用して、共有スト レージディスクを設定する方法 メモ：Red Hat Enterprise Linux 5 または Oracle Enterprise Linux 5 の場合は、 ASM を使用するブロックデバイスとリカバリディスクでのみ Oracle Clusterware ディスクを使用することをお勧めします。 ブロックデバイスを使
2 more /proc/partitions と入力して、新しいパーティションを確認します。すべてのノード で、/proc/partitions ファイル内に新しいパーティションが表示さ れない場合は、次のように入力します。sfdisk -R /dev/< デバイ ス名 > 3 ファイバーチャネルクラスタ内のすべてのノードで、次の手順を実 行します。 404 a プライマリおよびミラー OCR のパーティション名を permissions.ini ファイルに追加します。このファイルは、 /dell-oracle-deployment/scripts/ ディレクトリ にあります。 [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= たとえば、OCR と OCR ミラーのパーティションが /dev/emcpowera1 と /dev/emcpowera2 なら、 permissions.
asm1= asm2= たとえば、仮想ディスクが emcpowerb1、emcpowerb2、 emcpowerb3 なら、permissions.ini は次のように変更され ます。 [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 メモ：5 つの変数 : primary_ocr、mirror_ocr、vote1、vote2、vote3 のみ を変更してください。 4 permissions.ini ファイルを設定したら、/dell-oracledeployment/scripts/ フォルダの下にある permissions.py ス クリプトを実行します。 ./permissions.py 5 次のコマンドを実行して、正しいブロックデバイスの権限を設定し ます。 /etc/rc.
ブロックデバイスを使用してディスクを ASM 用に設定する方法 1 root としてログインします。 2 最初のノードで、fdisk を使用して、データベースファイルとリカ バリファイルに使用するディスクデバイスに、ディスク全体にまた がる単一のプライマリパーティションを作成します。 3 permissions.ini ファイルに asm1 と asm2 のディスクデバイスを 追加します。このファイルは、/dell-oracle-deployment/scripts/ ディレクトリにあります。 403 ページの「ブロックデバイスを使用して Oracle Clusterware 用 の共有ストレージディスクを設定する方法」で実行した手順によっ てこのファイルにすでに存在する Clusterware 設定を必ず保持して ください。 たとえば、データベースファイル用とリカバリファイル用のそれぞ れに関して、ASM1 と ASM2 のディスクデバイスが /dev/emcpowerc1 と /dev/emcpowerd1 なら、permissions.
ORACLEASM ライブラリドライバを使用してディスクを ASM 用に設定する 方法 1 root としてログインします。 2 すべてのノードでターミナルウィンドウを開き、次の手順を実行し ます。 a service oracleasm configure と入力します。 b すべてのノードについて、以下の入力を行います。 Default user to own the driver interface（ドライバインタ フェースを所有するデフォルトユーザー）[ ]: oracle Default group to own the driver interface（ドライバイン タフェースを所有するデフォルトグループ）[ ]: dba Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]: y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクの権限を修正する）(y/n) [y]: y 3 手順 3 は、RAC の構
6 ASM ディスクが作成され、ASM 使用のマークが付いていることを 確認します。 ターミナルウィンドウで次のテキストを入力し、 を押し ます。 service oracleasm listdisks 手順 5 で作成したディスクが表示されます。たとえば、次のとおり です。 ASM1 ASM2 7 残りのノードが 手順 5 で作成した ASM ディスクにアクセスできる ことを確認します。残りの各ノードでターミナルウィンドウを開き、 次のテキストを入力し、 を押します。 service oracleasm scandisks ASM を使用して新しいノードに共有スト レージを設定する方法 1 root としてログインします。 2 ターミナルウィンドウを開き、root としてログインします。 3 Enterprise Linux 4 の場合は、次の手順を実行します。 /etc/sysconfig/rawdevices ファイルを、既存のノードの 1 つから 新しいノードの同じ場所にコピーします。 メモ：LUN がすべてのノードにまたがって一貫してマップされてい ることを確認します。
4 新しいノードでターミナルウィンドウを開き、次の手順を実行し ます。 a service oracleasm configure と入力します。 b すべてのノードについて、以下の入力を行います。 Default user to own the driver interface（ドライバインタ フェースを所有するデフォルトユーザー）[ ]: oracle Default group to own the driver interface（ドライバイン タフェースを所有するデフォルトグループ）[ ]: dba Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]: y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクの権限を修正する）(y/n) [y]: y 5 手順 5 は、RAC の構成に EqualLogic iSCSI ストレージと Linux Device Mapper Multipath ドライバを使用す
ホストのデータベースストレージの設定
索引 D M Dell/EMC ファイバーチ ャネル , 345 Modular Disk Storage Manager, 353 Dell|EMC ファイバーチャネル スイッチ , 345 ストレージ , 345 MPIO ソフトウェア , 353 E EMC Navisphere, 390 PowerPath, 390 Enterprise Linux, 334 MTU, 377 N NIC ポートの割り当て , 337 O OCFS2, 396 I ifconfig, 338 P IP アドレス パブリック IP アドレス , 337 プライベート IP アドレス , 337 仮想 IP アドレス , 337 PowerConnect スイッチ , 372 PowerPath 擬似デバイス , 391 R L LUN, 334, 346 Resource メディア PowerVault MD3000, 353 RSA キーペア , 341 索引 411
S SAS クラスタのセットアップ , 349, 361, 371, 389 ファイバーチャネル SAN 接続構成 , 347 直接接続構成 , 346 ヘルプ , 334 Oracle サポート , 335 デルサポート , 334 Z ボリューム , 375 イーサネットスイッチ , 345 ボンディング済みのペア , 338 エイリアス名 , 385 ミラーパーティション , 404 仮想ディスク , 334 用語 グループ , 371 プール , 371 ボリューム , 371 メンバー , 371 クラスタウェア ストレージの設定 , 396 ケーブル CAT 5e, 345 CAT 6, 345 ケーブル接続 iSCSI クラスタ , 363 SAS ストレージ , 351, 354, 367 ファイバーチャネルストレージ , 346 資格認証とトレーニング Oracle, 335 デル , 334 ジャンボフレーム , 377 投票ディスク , 403 ドメインネームサービス , 337 ネットワークパラメータ , 339 ネットワークボンディング , 339 パブリックキー
Sistemas Dell PowerEdge Base de datos Oracle en Enterprise Linux x86_64 Guía de almacenamiento y redes Versión 4.
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones o incluso la muerte. ____________________ La información contenida en esta publicación puede modificarse sin previo aviso. © 2009-2010 Dell Inc.
Contenido 1 Información general 421 Documentación necesaria para implantar la base de datos Dell|Oracle . . . . . . . . . . . . . . 421 Terminología utilizada en este documento . . . . . . . 422 . . . . . . . . . . . . . . . . . . . 422 Obtención de ayuda Asistencia de Dell 422 . . . . . . . . . . . . . . . . . Asistencia de Oracle 2 . . . . . . . . . . . . . . . 423 . . . . . . . . . . . . . . . . Configuración de la red . . . . . . . . . . . . .
3 Configuración del clúster Fibre Channel . . . . . . . . . . . . . . . . . . . . Conexiones de hardware para un clúster Fibre Channel . . . . . . . . . . . . . . . . . Cableado del sistema de almacenamiento Fibre Channel. . . . . . . . . . . . . . . . 4 434 Configuración Fibre Channel de conexión directa . . . . . . . . . . . . . . . . 434 Configuración Fibre Channel de conexión mediante SAN . . . . . . . . . . . .
Configuración del clúster SAS con los alojamientos de expansión PowerVault MD32xx y MD12xx . . . . Tarea 1: Configuración del hardware. . . . . . . . 442 Tarea 2: Instalación del software de almacenamiento basado en host . . . . . . . . . . 442 . . . . . . . . . 446 Tarea 3: Realización de las tareas posteriores a la instalación . . . . 5 442 . . . . . . . . . Configuración del clúster iSCSI para los alojamientos para almacenamiento Dell PowerVault MD3000i, MD32xxi, MD1000i y MD12xxi . . . . .
6 Configuración del clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS . . . . . . . . . . . Terminología de EqualLogic . . 459 . . . . . . . . . . . . . 459 Configuración de un sistema de almacenamiento iSCSI EqualLogic Creación de volúmenes . 7 . . . . . . . . . . 460 . . . . . . . . . . . . . 463 Configuración de redes iSCSI . . . . . . . . . . 465 Configuración del acceso de host a volúmenes . . . . . . . . . . . . . . . . .
Configuración del almacenamiento compartido para archivos de recuperación, de base de datos y de software de clúster en un entorno RAC . . . . . . 483 Configuración de discos de almacenamiento compartido para archivos de recuperación, de base de datos y de software de clúster Oracle mediante OCFS2 . . . . . . . . . . . . . .
Contenido
Información general Este documento se aplica a la base de datos Oracle 10g R2 que se ejecuta en Red Hat Enterprise Linux u Oracle Enterprise Linux 5.5 AS x86_64. NOTA: Este documento constituye una guía general para configurar los requisitos de red y de almacenamiento necesarios para la ejecución de la base de datos Dell|Oracle en un sistema instalado con el sistema operativo Red Hat Enterprise Linux u Oracle Enterprise Linux.
Terminología utilizada en este documento En este documento, los términos número de unidad lógica (LUN) y disco virtual se utilizan como sinónimos. El término LUN suele utilizarse en un entorno de sistema de almacenamiento Dell/EMC Fibre Channel. El término disco virtual suele utilizarse en un entorno de almacenamiento SAS (SCSI de conexión serie) Dell PowerVault (PowerVault MD3000i y PowerVault MD3000i con alojamiento de expansión PowerVault MD1000) o en un entorno de almacenamiento iSCSI Dell EqualLogic.
Asistencia de Oracle • Para obtener información de formación sobre el software Oracle y el software de clúster de aplicaciones e información sobre cómo ponerse en contacto con Oracle, visite la página web de Oracle (oracle.com) o consulte la documentación de Oracle. • Encontrará información sobre asistencia técnica, descargas y otras cuestiones técnicas en la página web My Oracle Support en support.oracle.com.
Información general
Configuración de la red Esta sección le guiará por los pasos necesarios para configurar las redes de clúster pública y privada. NOTA: Cada nodo requiere una dirección IP pública y privada exclusiva. Se requiere otra dirección IP pública que sirva de dirección IP virtual en las conexiones de cliente y en caso de sustitución tras error de las conexiones. La dirección IP virtual debe pertenecer a la misma subred que la IP pública.
2 Edite el archivo del dispositivo de red /etc/sysconfig/network-scripts/ifcfg-eth#, donde # es el número del dispositivo de red: DEVICE=eth0 ONBOOT=yes IPADDR= NETMASK= BOOTPROTO=static HWADDR= SLAVE=no 3 Edite el archivo /etc/sysconfig/network y, en caso necesario, sustituya localhost.localdomain por el nombre completo del nodo público. Por ejemplo, el comando para el nodo 1: hostname=node1.domain.com 4 Escriba service network restart.
3 En el directorio /etc/sysconfig/network-scripts/, cree o edite el archivo de configuración ifcfg-bond0. Por ejemplo, si se utilizan los parámetros de red de muestra, el archivo queda así: DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 ONBOOT=yes BONDING_OPTS="mode=6 miimon=100 max_bonds=2 DEVICE=bondn es el nombre requerido para el bond, donde n es el número de bond. IPADDR es la dirección IP privada.
Configuración de la equivalencia de usuario de Oracle Configuración de Secure Shell (ssh) 1 Inicie la sesión como usuario oracle en todos los nodos. 2 Genere un par de claves RSA en el sistema mediante el comando: ssh-keygen -t rsa 3 Pulse para aceptar la ubicación predeterminada del archivo de claves (en este caso, /home/oracle/.ssh/id_rsa). 4 Pulse en los dos indicadores de paráfrasis para introducir una paráfrasis vacía. 5 La utilidad ssh-keygen finaliza la operación.
8 Haga copias seguras de las claves de .pub para cada uno de los nodos mediante el comando scp. En el ejemplo siguiente se utilizan dos nodos: (node1: Escriba la secuencia de comandos siguiente): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh (node2: Escriba la secuencia de comandos siguiente): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh Ahora, cada sistema tiene la clave pública del otro en el directorio /home/oracle/.ssh.
Configuración de la red
Configuración del clúster Fibre Channel AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell sobre el cumplimiento de normativas (dell.com/regulatory_compliance).
Ilustración 3-1. Conexiones de hardware para un clúster Fibre Channel Sistemas cliente Conmutadores Ethernet Gigabit (red privada) WAN/LAN Sistemas Dell PowerEdge (base de datos Oracle) Conmutadores Dell/EMC Fibre Channel (SAN) CAT 5e/6 (NIC pública) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Cables de fibra óptica adicionales Sistemas de almacenamiento Dell/EMC Fibre Channel Tabla 3-1.
Tabla 3-1. Interconexiones de hardware Fibre Channel (continuación) Componente del clúster Conexiones • Dos cables CAT 5e o CAT 6 conectados a la LAN Sistema de almacenamiento • De una a cuatro conexiones de cable de fibra óptica a cada Dell/EMC Fibre conmutador Fibre Channel.
Cableado del sistema de almacenamiento Fibre Channel Puede configurar el sistema de almacenamiento del clúster Fibre Channel de la base de datos Oracle con una de las configuraciones siguientes según sus necesidades: • Fibre Channel de conexión directa (vea la ilustración 3-2) • Fibre Channel de conexión mediante SAN de cuatro puertos (vea la ilustración 3-3) En las secciones siguientes se describen los requisitos de cableado para estas configuraciones.
Ilustración 3-2. Cableado de un clúster Fibre Channel de conexión directa Dos puertos HBA para el nodo 1 Dos puertos HBA para el nodo 2 0 1 0 1 SP-B 1 1 SP-A 0 0 Almacenamiento Dell/EMC CX4-480 Fibre Channel Configuración Fibre Channel de conexión mediante SAN Para configurar los nodos con una configuración de conexión mediante SAN de cuatro puertos: 1 Conecte un cable óptico del puerto 0 de SP-A al conmutador 0 Fibre Channel.
8 Conecte un cable óptico del puerto 3 de SP-B al conmutador 0 Fibre Channel. 9 Conecte un cable óptico del HBA 0 del nodo 1 al conmutador 0 Fibre Channel. 10 Conecte un cable óptico del HBA 1 del nodo 1 al conmutador 1 Fibre Channel. 11 Conecte un cable óptico del HBA 0 del nodo 2 al conmutador 0 Fibre Channel. 12 Conecte un cable óptico del HBA 1 del nodo 2 al conmutador 1 Fibre Channel. En la ilustración 3-3 se muestran las conexiones de cables de un clúster Fibre Channel de conexión mediante SAN.
Configuración del clúster SAS para los alojamientos de expansión Dell PowerVault MD3000, MD32xx, MD1000 y MD12xx AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell sobre el cumplimiento de normativas (www.dell.com/regulatory_compliance).
Ilustración 4-1. Cableado del clúster SCSI de conexión serie (SAS) y el alojamiento para almacenamiento Dell PowerVault MD3000 Red privada LAN/WAN Sistemas PowerEdge Sistema de almacenamiento PowerVault MD3000 Dos alojamientos de expansión PowerVault MD1000 Tabla 4-1.
Tabla 4-1.
4 Conecte un cable SAS del otro puerto de la controladora SAS del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento PowerVault MD3000. 5 (Opcional) Conecte dos cables SAS de los dos puertos de salida de los alojamientos para almacenamiento PowerVault MD3000 a los dos puertos de entrada del primer alojamiento de expansión PowerVault MD1000.
Tarea 2: Instalación del software de almacenamiento basado en host Para instalar el software de almacenamiento basado en host necesario para el alojamiento para almacenamiento PowerVault MD3000, utilice el soporte multimedia de recursos de Dell PowerVault que se incluye con el sistema.
Tarea 5: Realización de las tareas posteriores a la instalación Una vez instalados los controladores y el software, realice las tareas posteriores a la instalación indicadas en la guía de instalación de PowerVault MD3000. Cree el entorno que se muestra en el documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de instalación del sistema operativo y el hardware y en la guía de Linux. Ambos documentos están disponibles en support.dell.com/manuals.
Para obtener más información sobre el hardware y el software admitidos para los sistemas Dell PowerVault, vea la tabla de compatibilidades en support.dell.com/manuals. NOTA: Se recomienda instalar las actualizaciones más recientes disponibles en support.dell.com. Instalación del software MD Storage El programa de instalación del software de almacenamiento de PowerVault serie MD3200 incluye software central y proveedores.
Instalación gráfica (recomendada) 1 Cierre todos los programas antes de instalar software nuevo. 2 Inserte el soporte multimedia de recursos. 3 Seleccione Install MD32xx Storage Software (Instalar el software de almacenamiento de MD32xx). NOTA: Si el servidor host ejecuta la versión Windows Server Core o si la barra de ejecución rápida no se ejecuta automáticamente, vaya a la raíz del soporte multimedia y ejecute md_launcher.exe para Windows o la secuencia de comandos de ejecución automática para Linux.
Instalación silenciosa Esta opción permite instalar el software en modo desatendido. Para ejecutar la instalación silenciosa en un sistema Windows, realice los pasos siguientes: 1 Para empezar la instalación con todas las opciones predeterminadas, vaya a la carpeta de Windows del soporte multimedia de recursos y ejecute el comando siguiente: md32xx_install -i silent 2 Para especificar qué funciones se instalarán de forma silenciosa, modifique el archivo custom_silent.
Tarea 3: Realización de las tareas posteriores a la instalación Antes de utilizar la matriz de almacenamiento PowerVault serie MD3200 por primera vez, debe realizar una serie de tareas de configuración inicial en el orden que se indica. Estas tareas se realizan con el software MD Storage Manager (MDSM). 1 Para la administración fuera de banda, defina la configuración de red para cada módulo de controladora RAID, incluidas la dirección de protocolo Internet (IP), la máscara de subred y la puerta de enlace.
Verificación de la detección de matrices de almacenamiento La opción de detección automática identifica automáticamente tanto las matrices en banda como fuera de banda y las añade al dominio de administración. Si las conexiones en banda o fuera de banda que se muestran en la página de resumen no son precisas, realice los pasos que se indican a continuación. 1 Compruebe si hay algún error en el hardware y las conexiones.
3 Haga doble clic en la matriz detectada para abrir la ventana de administración de matrices y modifique la configuración de la matriz. 4 Haga clic en Perform Initial Setup Tasks (Realizar tareas de configuración inicial) para ver un esquema y enlaces al resto de las tareas posteriores a la instalación. Ahora ya se puede configurar la matriz. Para obtener información sobre la configuración de la matriz, consulte el Manual del propietario.
Configuración del clúster iSCSI para los alojamientos para almacenamiento Dell PowerVault MD3000i, MD32xxi, MD1000i y MD12xxi AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell sobre el cumplimiento de normativas (www.dell.com/regulatory_compliance).
Tabla 5-1.
Configuración del clúster iSCSI para los alojamientos de expansión PowerVault MD3000i y MD1000 Tarea 1: Configuración del hardware Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 5-1.
3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 0 en el alojamiento para almacenamiento PowerVault MD3000i. 4 Conecte un cable CAT 5e/6 del otro puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento PowerVault MD3000i.
Para configurar los nodos en una configuración conmutada, vea la ilustración 5-2 y realice los pasos siguientes: 1 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 1. 2 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 2. 3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1.
Tarea 2: Instalación del software basado en host necesario para el almacenamiento Para instalar el software de almacenamiento basado en host necesario para el sistema de almacenamiento PowerVault MD3000i, utilice el soporte multimedia de recursos de Dell PowerVault entregado con el sistema de almacenamiento PowerVault MD3000i.
Configuración del clúster SAS con los alojamientos de expansión PowerVault MD32xxi y MD12xxi Tarea 1: Configuración del hardware Para obtener información sobre cómo configurar los alojamientos de expansión PowerVault MD32xxi y MD12xxi, consulte la documentación del sistema de almacenamiento PowerVault MD3200i y MD1200i en support.dell.com/manuals.
El soporte multimedia de recursos de PowerVault serie MD3200 suministrado ofrece los tres métodos de instalación siguientes: Instalación gráfica (recomendada): se trata del procedimiento de instalación recomendado para la mayoría de los usuarios. El programa de instalación muestra una interfaz gráfica guiada por asistente que permite personalizar qué componentes se instalan.
Instalación de consola NOTA: La instalación de consola sólo se aplica a los sistemas Linux que no ejecutan un entorno gráfico. La secuencia de comandos de ejecución automática que se encuentra en la raíz del soporte multimedia de recursos detecta si no hay ningún entorno gráfico en ejecución e inicia automáticamente el programa de instalación en un modo basado en texto. Este modo proporciona las mismas opciones que la instalación gráfica, excepto las opciones específicas de MDCU.
Configuración del clúster iSCSI para el alojamiento PowerVault
Configuración del clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell sobre el cumplimiento de normativas (dell.com/regulatory_compliance).
Configuración de un sistema de almacenamiento iSCSI EqualLogic Los sistemas host se pueden conectar a la matriz iSCSI EqualLogic PS6000XV a través de un conmutador Ethernet Gigabit estándar de SAN IP. En la ilustración 6-1 se muestra la configuración de red recomendada para una matriz EqualLogic PS6000XV de módulo de control dual. Esta configuración incluye dos conmutadores Ethernet Gigabit Dell PowerConnect serie 6200, que ofrecen la mayor disponibilidad de red y la máxima amplitud de banda de red.
Ilustración 6-1.
Ilustración 6-2.
Un grupo de almacenamiento EqualLogic serie PS se puede segregar en varios niveles en cascada o bloques. El almacenamiento en cascada proporciona a los administradores un mayor control sobre la asignación de recursos de disco. Un miembro sólo se puede asignar a un bloque a la vez. Es fácil asignar un miembro a un bloque y mover un miembro entre bloques sin influir en la disponibilidad de los datos.
En la tabla 6-1 se presenta una configuración de volúmenes de muestra. Tabla 6-1.
Configuración de redes iSCSI Se recomienda configurar las interfaces de red del host para el tráfico iSCSI de modo que utilicen el control de flujo y la trama gigante para obtener un rendimiento óptimo. Con la utilidad ethtool se puede configurar el control de flujo. Utilice el comando siguiente para comprobar el control de flujo (pausa de recepción y transmisión) en las interfaces: # ethtool -a .
Compruebe la configuración de la trama gigante mediante el comando ifconfig: $inconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 Habilite el inicio del servicio iSCSI al iniciar. chkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Obtenga la dirección de hardware de cada interfaz de red en el host que se utiliza para el tráfico iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, donde n es el número de interfaz de red. 5 Cree una interfaz para cada interfaz de red en el host que se utiliza para el tráfico iSCSI. iscsiadm -m iface -I iface_name --op=new, donde iface_name es el nombre asignado a la interfaz.
8 Cambie el valor de tiempo de espera del archivo /etc/iscsi/iscsid.conf de 120 a 30: node.session.timeo.replacement_timeout = 30 9 Reinicie el servicio iSCSI para aplicar la nueva configuración. service iscsi stop service iscsi start 10 Detecte los destinos de todas las interfaces creadas en el paso 5.
11 Compruebe que se hayan detectado todos los volúmenes de todas las interfaces del host: iscsiadm -m discovery --print=1 .Por ejemplo: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
12 Inicie sesión en todos los destinos (volúmenes) de cada interfaz creada en el paso 5: iscsiadm -m node -p group_ip_address --interface iface_name --login, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name es la interfaz de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI. En el ejemplo siguiente se inicia la sesión en tres volúmenes de cada una de las dos interfaces (eth0-iface y eth1-iface) de un host. # iscsiadm -m node -p 10.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Quite la marca de comentario de la sección siguiente de /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Añada la sección siguiente a /etc/multipath.conf. El WWID se obtiene en el paso 1.
En la muestra siguiente se incluyen configuraciones de cuatro volúmenes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Reinicie el daemon de múltiples rutas y compruebe que los nombres de alias se muestran en la salida de multipath -l1.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Configuración del almacenamiento de base de datos en el host AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web de Dell sobre el cumplimiento de normativas (www.dell.com/regulatory_compliance). Oracle Real Application Clusters (RAC) es una configuración de base de datos compleja que requiere una lista ordenada de procedimientos.
Tabla 7-1.
5 En el archivo /proc/partitions, compruebe lo siguiente: • Todos los pseudodispositivos PowerPath aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/emcpowera, /dev/emcpowerb y /dev/emcpowerc. • En el caso de las matrices de almacenamiento PowerVault MD3000, MD3000i o EqualLogic, todos los discos o volúmenes virtuales aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/sdb, /dev/sdc y /dev/sdd.
Ajuste de las particiones de disco para sistemas que ejecutan el sistema operativo Linux PRECAUCIÓN: En un sistema que ejecuta el sistema operativo Linux, alinee la tabla de particiones antes de escribir datos en el LUN o disco virtual. El mapa de particiones se vuelve a escribir y todos los datos del LUN o disco virtual se eliminan. Ejemplo: Argumentos de la utilidad fdisk En el ejemplo siguiente se indican los argumentos de la utilidad fdisk.
The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs (e.g., DOS FDISK, OS/2 FDISK) (El número de cilindros de este disco es de 8 782.
Configuración del almacenamiento de base de datos mediante el sistema de archivos ext3 para un solo nodo Si dispone de un dispositivo de almacenamiento adicional, realice los pasos siguientes: 1 Inicie la sesión como root. 2 Escriba: cd /opt/oracle $> cd , donde es parecido a /u01/app/oracle. 3 Escriba: mkdir oradata recovery Mediante la utilidad fdisk, cree una partición en la que se almacenarán los archivos de la base de datos.
7 Escriba: chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, donde es parecido a /u01/app/oracle.
Configuración de discos de almacenamiento compartido para archivos de recuperación, de base de datos y de software de clúster Oracle mediante OCFS2 En el primer nodo: 1 Inicie la sesión como root. 2 Realice los pasos siguientes: a Inicie el sistema X Window escribiendo: startx. b Genere el archivo de configuración de OCFS2 /etc/ocfs2/cluster.conf con el nombre de clúster predeterminado de ocfs2. Escriba lo siguiente en una ventana de terminal: ocfs2console.
4 Cambie el valor de O2CB_HEARTBEAT_THRESHOLD en todos los nodos: a Detenga el servicio O2CB en todos los nodos; para ello, escriba: /etc/init.d/o2cb stop b Cambie el valor de O2CB_HEARTBEAT_THRESHOLD en /etc/sysconfig/o2cb por 81 en todos los nodos. c Inicie el servicio O2CB en todos los nodos; para ello, escriba: /etc/init.
NOTA: Las ranuras de nodos hacen referencia al número de nodos del clúster. NOTA: Para obtener más información sobre cómo establecer los parámetros de formato de los clústeres, visite la página web de preguntas frecuentes de OCFS2 en oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html. 7 Realice los pasos siguientes en cada nodo: 486 a Cree puntos de montaje para cada partición OCFS2.
Configuración de discos de almacenamiento compartido para software de clúster Oracle mediante dispositivos sin formato y para archivos de recuperación y de base de datos mediante ASM NOTA: Dell admite la configuración de discos de software de clúster Oracle en dispositivos sin formato y discos de base de datos y de recuperación en ASM sólo en los sistemas operativos Red Hat Enterprise Linux 4 u Oracle Enterprise Linux 4.
4 Compruebe que existan las secuencias de comandos /etc/udev/scripts/rawdev.sh y /etc/udev/rules.d/60-rawdevices.rules. Si existen, continúe con el paso siguiente de la guía de instalación. Si no, siga las instrucciones del documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de instalación del sistema operativo y el hardware para instalar las secuencias de comandos de automatización de la implantación de Dell|Oracle. 5 Escriba: chkconfig networkwait off.
Configuración de discos para ASM mediante el controlador de biblioteca ORACLEASM Para configurar los discos ASM, realice los pasos siguientes: 1 Inicie la sesión como root. 2 Abra una ventana de terminal y realice los pasos siguientes en todos los nodos: a Escriba: service oracleasm configure.
6 Compruebe que los discos ASM se hayan creado y se hayan marcado para el uso de ASM. En la ventana de terminal, escriba lo siguiente y pulse : service oracleasm listdisks Se muestran los discos que ha creado en el paso 5. Por ejemplo: ASM1 ASM2 7 Asegúrese de que los demás nodos pueden acceder a los discos ASM que ha creado en el paso 5. En cada nodo restante, abra una ventana de terminal, escriba lo siguiente y pulse : service oracleasm scandisks.
3 Realice los pasos siguientes en todos los nodos de un clúster Fibre Channel: a Añada los nombres de partición del OCR primaria y de duplicación al archivo permissions.ini. Este archivo está ubicado en el directorio /dell-oracle-deployment/scripts/: [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= Por ejemplo, si las particiones de OCR y de duplicación de OCR son /dev/emcpowera1 y /dev/emcpowera2, el archivo permissions.
Por ejemplo, si los discos de votación son emcpowerb1, emcpowerb2 y emcpowerb3, el archivo permissions.ini se modifica de la manera siguiente: [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 NOTA: Modifique sólo las cinco variables siguientes: primary_ocr, mirror_ocr, vote1, vote2 y vote3. 4 Tras definir el archivo permissions.ini, ejecute la secuencia de comandos permissions.py ubicada en la carpeta /dell-oracle-deployment/scripts/: ./permissions.
Configuración de discos para ASM mediante dispositivos de bloque 1 Inicie la sesión como root. 2 En el primer nodo, utilice fdisk para crear una única partición primaria con todo el disco en los dispositivos de disco que desea utilizar para los archivos de recuperación y de base de datos. 3 Añada los dispositivos de disco para asm1 y asm2 al archivo permissions.ini. Este archivo está ubicado en el directorio /dell-oracledeployment/scripts/.
Configuración de discos para ASM mediante el controlador de biblioteca ORACLEASM 1 Inicie la sesión como root. 2 Abra una ventana de terminal y realice los pasos siguientes en todos los nodos: a Escriba: service oracleasm configure.
Configuración del almacenamiento compartido en un nodo nuevo mediante ASM 1 Inicie la sesión como root. 2 Abra una ventana de terminal e inicie la sesión como root. 3 Para Enterprise Linux 4: Copie el archivo /etc/sysconfig/rawdevices de uno de los nodos existentes en la misma ubicación que el nuevo nodo. NOTA: Compruebe que los LUN estén asignados de forma coherente en todos los nodos.
6 Asegúrese de que el nodo nuevo puede acceder a los discos ASM. En la ventana de terminal, escriba lo siguiente: service oracleasm scandisks 7 Asegúrese de que los discos ASM están disponibles en el nodo nuevo. En la ventana de terminal, escriba lo siguiente: service oracleasm listdisks Se muestra una lista con todos los discos disponibles en los nodos restantes.
Índice A D ayuda, 422 asistencia de Dell, 422 asistencia de Oracle, 423 Dell/EMC fibre channel, 433 B dirección IP dirección IP privada, 425 dirección IP pública, 425 dirección IP virtual, 425 bonding de red, 426 C cable CAT 5e, 432 CAT 6, 432 cableado almacenamiento Fibre Channel, 434 almacenamiento SAS, 439, 442, 455 clúster iSCSI, 451 certificación y formación Dell, 422 Oracle, 423 clave pública, 428 conmutador Ethernet, 433 conmutador PowerConnect, 460 Dell|EMC Fibre Channel almacenamiento, 433
I ifconfig, 426 pseudodispositivos PowerPath, 478 indicador de paráfrasis, 428 S L LUN, 434 SAS configuración del clúster, 437, 449, 459, 477 servicio de nombres de dominio, 425 M Modular Disk Storage Manager, 441 software de clúster configurar el almacenamiento, 484 MTU, 465 software MPIO, 441 soporte multimedia de recursos PowerVault MD3000, 441 N NIC asignaciones de puerto, 425 nombres de alias, 473 número de unidad lógica, 422 O OCFS2, 484 término bloque, 459 grupo, 459 miembro, 459 volumen,
