Dell™ PowerEdge™ Systems Oracle® Database on Microsoft® Windows Server® x64 Storage and Network Guide Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. WARNING: A WARNING indicates a potential for property damage, personal injury, or death. ____________________ Information in this document is subject to change without notice. © 2009 Dell Inc. All rights reserved.
Contents 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . Required Documentation for Deploying the Dell™ Oracle Database . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 9 Terminology Used in this Document. Getting Help Dell Support . . . . . . . . . . . . . . . . . . . . . . 9 . . . . . . . . . . . . . . . . . . . . 9 Oracle Support 2 Fibre Channel Cluster Setup . . . . . . . . . . 11 . . . . . 13 . . . . . .
5 iSCSI Cluster Setup for the Dell™ PowerVault™ MD3000i and PowerVault MD1000 Expansion Enclosures . . . . . . . . . . . . . . . . . . . . . . . . 19 Setting Up iSCSI Cluster with Dell PowerVault MD3000i Storage System and Dell PowerVault MD1000 Expansion Enclosures . . . . . . . . . . . . . . . . . . . . . . . . 21 Cabling your iSCSI Storage System . . . . . . . . . 21 iSCSI Cluster Setup for the Dell™ EqualLogic™ PS Series Storage Systems . . . . . . . . . . . . . . . . . . . 25 . . . . .
Installing Multi-Path Software for Storage . . . . . . . ® Installing PowerPath for Dell/EMC Systems. . . . 36 Installing Multi-Path driver software for MD3000/MD3000i . . . . . . . . . . . . . . . . 36 Installing Multi-Path driver software for EqualLogic iSCSI Storage Array . . . . . . . . 36 Verifying Multi-Path Driver Functionality . Verifying and Upgrading the Firmware . . . . . 37 . . . . . . . . . 37 Configuring up your EqualLogic iSCSI Storage . Creating Volumes . . . . . 37 . . .
Contents
Overview The Storage and Networking Guide for Oracle® Database on Microsoft® Windows® applies to: • Oracle® Database 10g R2 or 11g R1 Enterprise Edition on Microsoft® Windows Server® 2003 R2 Standard/Enterprise x64 Edition or Windows Server 2008 SP2 Enterprise/Standard x64 Edition. • Oracle Database 10g R2 or 11g R1 Standard Edition on Windows Server 2003 R2 SP2 or Windows Server 2008 SP2 Standard x64 Edition.
• Oracle Database on Microsoft Windows Server x64 Database Setup and Installation Guide — Describes how to install and configure the Oracle database. • Oracle Database on Microsoft Windows Server x64 Troubleshooting Guide — Describes how to troubleshoot and resolve errors encountered during the installation procedures described in the previous modules. NOTE: All modules provide information on how to receive technical assistance from Dell.
Getting Help This section provides information on contacting Dell or Oracle for whitepapers, supported configurations, training, technical support, and general information. Dell Support • For detailed information about using your system, see the documentation that came with your system components. • For whitepapers, Dell-supported configurations, and general information, see the Dell|Oracle Tested and Validated Configurations website at dell.com/oracle.
Overview
Fibre Channel Cluster Setup WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. After a Dell™ Managed Services representative completes the setup of your Fibre Channel cluster, verify the hardware connections and the hardware and software configurations as described in this section.
Figure 2-1. Hardware Connections for a SAN-attached Fibre Channel Cluster. Client Systems Gigabit Ethernet Switches (private network) LAN/WAN Dell™ PowerEdge™ Systems (Oracle Database) Dell/EMC Fibre Channel switches (SAN) Dell/EMC Fibre Channel Storage Systems CAT 5e/6 (Public NIC) CAT 5e/6 (Copper Gigabit NIC)) Fiber optic cables Additional Fiber Optic Cables Table 2-1.
Table 2-1. Fibre Channel Hardware Interconnections (continued) Cluster Component Connections Dell/EMC Fibre Channel storage system • Two CAT 5e or CAT 6 cables connected to the LAN • One to four fiber optic cable connections to each Fibre Channel switch.
Figure 2-2. Cabling in a Dell/EMC SAN-Attached Fibre Channel Cluster Two HBA Ports for Node 1 Two HBA Ports for Node 2 sw0 sw1 SP-B SP-A Dell/EMC CX4-480 Fibre Channel Storage Use the following procedure to configure your Oracle cluster storage system in a four-port, SAN-attached configuration. 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1.
SAS Cluster Setup for the Dell™ PowerVault™ MD3000 WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. This section provides information and procedures to configure your Dell PowerEdge™ systems and PowerVault MD3000 hardware and software to function in an Oracle® Real Application Cluster (RAC) environment.
Figure 3-1. Cabling the Serial-Attached SCSI (SAS) Cluster and Dell PowerVault MD3000 Public Network LAN/WAN PowerEdge systems PowerVault MD3000 Storage System CAT 5e/6 (copper Gigabit NIC) CAT 5e/6 (copper Gigabit (NIC) SAS cables Table 3-1. SAS Cluster Hardware Interconnections Cluster Component Connections PowerEdge system node • One CAT 5e/6 cable from public NIC to the local area network (LAN). • One CAT 5e/6 cable from private Gigabit NIC to Gigabit Ethernet switch (private network).
Table 3-1. SAS Cluster Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000 • Two CAT 5e/6 cables connected to a LAN (one from each storage processor module). • Two SAS connections to each PowerEdge system node using a SAS 5/E controller. See "Cabling Your SAS Storage System" on page 17. Gigabit Ethernet switch • One CAT 5e/6 connection to the private Gigabit NIC on each PowerEdge system. • One CAT 5e/6 connection to the other Gigabit Ethernet switch.
Figure 3-2.
iSCSI Cluster Setup for the Dell™ PowerVault™ MD3000i and PowerVault MD1000 Expansion Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Table 4-1. iSCSI Hardware Interconnections Cluster Component Connections One PowerEdge system node • One CAT 5e/6 cable from public NIC to the local area network (LAN). • One CAT 5e/6 cable from private Gigabit NIC to Gigabit Ethernet switch (private network). • One CAT 5e/6 cable from redundant private Gigabit NIC to redundant Gigabit Ethernet switch (private network). NOTE: For additional information on Dell PowerVault MD3000i system see your Dell PowerVault MD3000i SetUp documentation.
Setting Up iSCSI Cluster with Dell PowerVault MD3000i Storage System and Dell PowerVault MD1000 Expansion Enclosures Cabling your iSCSI Storage System Direct-attached iSCSI clusters are limited to two nodes only. Figure 4-1.
4 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 2 to the In-1 port of RAID controller 1 in the Dell PowerVault MD3000i storage enclosure. 5 Connect two SAS cables from the two MD3000 out ports to the two In ports of the first Dell PowerVault MD1000 expansion enclosure (Optional). 6 Connect two SAS cables from the two MD1000 out ports to the In-0 ports of the second Dell PowerVault MD1000 expansion enclosure (Optional).
To configure your nodes in a switched configuration see Figure 4-2, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1. 2 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 2. 3 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 1.
iSCSI Cluster Setup for Dell PowerVault MD3000i and MD1000
iSCSI Cluster Setup for the Dell™ EqualLogic™ PS Series Storage Systems WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Figure 5-1. Recommended Network Configuration Trunk Links Dell PowerConnect 54xx Gigabit Ethernet Switches for iSCSI storage area network Rear view of Dell EqualLogic iSCSI Storage Array Operations Panel iSCSI Storage Area Network Power Supply and Cooling Module 1 Control Module 1 Control Module 0 Power Supply and Cooling Module 0 Figure 5-2 is an architecture overview of a sample Oracle RAC configuration with 3 PS5000XV arrays. Table 5-1.
Figure 5-2.
As illustrated in Figure 5-2, the group named oracle-group includes three PS5000XV members: • oracle-member01 • oracle-member02 • oraclemember03 When a member is initialized, it can be configured with RAID 10, RAID 5, or RAID 50. For more information on how to initialize an EqualLogic array, see the Dell EqualLogic User's Guide. A PS Series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated.
Configuring Network and Storage for Oracle® RAC Database This section provides information about network and storage configuration. • Configuring the public and private networks. • Verifying the storage configuration. • Configuring the shared storage for Oracle® Clusterware and the Oracle Database. NOTE: Oracle RAC is a complex database configuration that requires an ordered list of procedures. To configure networking and storage in a minimal amount of time, perform the following procedures in order.
Table 6-1. NIC Port Assignments NIC Port Three Ports Available Four Ports Available 1 Public IP and virtual IP Public IP 2 Private IP (NIC team) Private IP (NIC team) 3 Private IP (NIC team) Private IP (NIC team) 4 NA Virtual IP Configuring and Teaming the Private Network Before you deploy the cluster, assign a private IP address and host name to each cluster node. This procedure ensures that the nodes can communicate with each other through the private interface.
Configuring NIC Teaming for Your Private Network Adapters NOTE: TCP Offload Engine (TOE) functionality of a TOE-capable NIC is not supported in this solution. 1 On node 1, identify two network adapters that will be used for NIC teaming. 2 Connect an ethernet cable from each selected network adapter to the private network switch. 3 If node 1 is configured with Broadcom NICs, go to step 4.
4 If node 1 is configured with Broadcom NICs, configure NIC teaming by performing the following steps. If not go to step 5. a Click Start→ Programs→ Broadcom→ Broadcom Advanced Control Suite 3. The Broadcom Advanced Control Suite 3 window is displayed. b Highlight Team Management, and click Teams and select Create a Team. The Broadcom Teaming Wizard window is displayed. c Click Next. d In the Enter the name for the team field, type Private and click Next.
Configuring the IP Addresses for Your Public and Private Network Adapters NOTE: The TOE functionality of TOE-capable NIC is not supported in this solution. 1 Update the adapter’s network interface name, if required. Otherwise, go to step 3. a On node 1, click Start and navigate to Settings→ Control Panel→ Network Connections. b On the Network Connections window, right-click the public network adapter you want to rename, and select Rename.
f On the Properties window, click Close. g Repeat step a through step f on the Private NIC team. NOTE: Private NIC team does not require a default gateway address and DNS server entry. 3 Ensure that the public and private network adapters appear in the appropriate order for access by network services. a On the Windows desktop, click Start→ Settings→ Control Panel→ Network Connections. b On the Network Connections window, click Advanced and select Advanced Settings.
For example, the following entries use the adapter IP and host name as shown in Table 6-3: Table 6-3. IP address and Node Names IP Address Node Name 155.16.170.1 rac1 155.16.170.2 rac2 10.10.10.1 rac1-priv 10.10.10.2 rac2-priv 155.16.170.201 rac1-vip 155.16.170.202 rac2-vip NOTE: Registering the private IP addresses with the DNS server is not required because the private network IP addresses are not accessible from the public network. 5 Repeat step 1 to step 4 on the remaining nodes.
Installing the Host-Based Software Needed for Storage If you are installing Dell/EMC Fibre Channel Storage, see the Dell/EMC documentation that came with your system to install the EMC Naviagent software. If you are installing a Dell PowerVault storage, see the Dell PowerVault documentation that came with your system to install the Modular Disk Storage Manager Software from the Dell PowerVault Resource CD.
Verifying Multi-Path Driver Functionality 1 Right-click My Computer and select Manage. 2 Expand Storage and click Disk Management. One disk is displayed for each LUN assigned in the storage. 3 Ensure that each LUN is configured as a Basic disk. 4 Repeat step 1 to step 3 on the remaining nodes. Verifying and Upgrading the Firmware • Discover the host server’s direct-attached storage using the Modular Disk Storage Manager software that is installed on the host server.
Table 6-4.
6 Highlight Performance Options, then click Properties. The Performance Options window is displayed. 7 In the Performance Options window, highlight Flow Control, and set its value to Rx & Tx Enabled. 8 Repeat step 2 to step 7 for all other network interfaces used for iSCSI traffic. Configuring Host Access to Volumes Installing and Configuring Dell EqualLogic Host Integration Tool (HIT) Kit 1 Download the latest HIT tool kit on your database server. 2 Double click Setup64.
Installing Microsoft iSCSI Initiator 1 Click Start→ Settings→ Control Panel→ Add or Remove Programs. 2 Select Microsoft iSCSI Initiator, click Remove. This step is performed to remove the initiator which is packaged with the current HIT. 3 On the Software Update Removal Wizard window, click Next. 4 On the Software Update Removal Wizard window, click Finish. 5 Once server is back up, download the Microsoft iSCSI initiator 2.0.8 on your database server. 6 Double click Initiator-2.08-build3825-x64fre.
5 On the Advanced Settings window General tab, perform the following configurations: a Choose Microsoft iSCSI Initiator by the Local adapter drop-down menu. b Choose an iSCSI initiator IP address by the Source IP drop-down menu. c Choose EqualLogic group IP address by the Target Portal drop-down menu. d Select the CHAP logon information check box. e Enter the CHAP user name defined in EqualLogic storage, by the User name box.
Verifying the Storage Assignment to the Nodes 1 On the Windows desktop, right-click My Computer and select Manage. 2 On the Computer Management window, click Device Manager. 3 Expand Disk drives. 4 Under Disk drives, ensure that four small computer system interface (SCSI) disk devices appear for each LUN/virtual disk assigned in the storage. 5 Expand Storage and click Disk Management. If the Welcome to the Initialize and Convert Disk Wizard is displayed, perform step a through step d.
Preparing the Disks for Oracle Clusterware, Database, and Backup This section provides information for creating the logical drives for the following disks: • Oracle Cluster Registry disk (OCR) — Contains the cluster configuration information • Voting disk — Provides arbitration between the cluster nodes when the private network or attached storage is unavailable to one or more nodes • Data and backup disks — Provide storage areas for creating the database (data disk) and saving the backup and log data
Preparing the OCR and Voting Disks for Clusterware on Windows 2003 1 On the Windows desktop, right-click My Computer and select Manage. 2 Expand Storage and click Disk Management. The storage disk that you initialized in the "Verifying Multi-Path Driver Functionality" on page 37 is displayed as Unallocated. 3 Right-click the partition area of the first shared disks assigned to the cluster nodes and select New Partition. The Welcome to the New Partition wizard is displayed. 4 Click Next.
g Click Finish. h Repeat step a through step g to create an additional OCR disk. 10 Create a logical drive for the Voting Disk. a On the partition area of the disk identified for the OCR and voting disk (2 GB LUN/virtual disk), right-click the free space and select New Logical Drive. The Welcome to the New Partition wizard is displayed. b Click Next. c In the Select Partition Type window, select Logical drive and click Next.
DISKPART> list disk Disk ### Status Size Free Disk 0 Online 37 GB 0 MB Disk 1 Online 2048 MB 2014 MB Disk 2 Online 100 GB 100 GB Disk 3 Online 200 GB 200 GB Dyn GPT 4 Enter select disk [disk #] of the target disk. NOTE: The following steps explain how to create partitions and logical disks for MBR disk. 5 Type create partition extended and press Enter. 6 Type create partition logical size= and press Enter.
1 On node 1, create one logical drive for the Database. a Locate the disk that is assigned for the Oracle Database. b On the disk partition area, right-click the free space and select New Logical Drive. The Welcome to the New Partition wizard is displayed. c Click Next. d In the Select Partition Type window, select Logical drive and click Next. e In the Specify Partition Size window in the Partition size in MB field, type the appropriate size and click Next.
1 Create one logical drive for the Database. a Locate the disk that is assigned for the Oracle database. b On the disk partition area, right-click the free space and select New Logical Drive. The Welcome to the New Partition wizard is displayed. c Click Next. d In the Select Partition Type window, select Logical drive and click Next. e In the Specify Partition Size window, type the appropriate size in the Partition size in MB field and click Next.
Index A E ASM, 46 EMC PowerPath, 36 B bonded pair, 30 EqualLogic Terms Group, 8 Member, 8 Pool, 8 Volume, 8 C cable CAT 5e, 12 CAT 6, 12 SAS cable, 17 F Flow Control, 38 G D Gigabit Ethernet switch, 13 Dell/EMC Fibre Channel, 13 disks Data and backup disks, 43 Oracle Cluster Registry disk, 43 Redundant Voting Disk, 45 Voting disk, 43 H Help Dell Support, 9 Oracle Support, 9 DNS, 29 Index 49
I P IP address public IP address, 29 virtual IP address, 29 PowerConnect switch, 25 iSCSI HBA, 21 S SAN, 13 SAS clusters, 17 J Jumbo frame, 38 SDL, 37 Jumbo Packet, 38 T TCP Offload Engine, 31 M Microsoft iSCSI Initiator, 40 Modular Disk Storage Manager, 37 O OCFS, 46 50 Index V Virtual internet protocol, 35
Dell™ PowerEdge™ 系统 Microsoft® Windows Server® x64 上的 Oracle® Database 存储设备和网络指南 版本 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
注、小心和警告 注： “注”表示可以帮助您更好地使用计算机的重要信息。 小心： “小心”表示如果不遵循说明，就有可能损坏硬件或导致数 据丢失。 警告： “警告”表示可能会造成财产损失、人身伤害甚至死亡。 ____________________ 本说明文件中的信息如有更改，恕不另行通知。 © 2009 Dell Inc. 版权所有，翻印必究。 未经 Dell Inc. 书面许可，严禁以任何形式复制这些材料。 本文中使用的商标：Dell、DELL 徽标、EqualLogic、PowerEdge 和 PowerVault 是 Dell Inc.
目录 1 概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部署 Dell™ Oracle Database 所需的说明文件 . . . . . . . . . 57 . . . . . . . . . . . . . . . . . . . . 58 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 本说明文件中使用的术语 获得帮助 Dell 支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . Oracle 支持 2 . . . . . . . . . . . . . . . . . . . . . . . . . 光纤信道群集设置 . . . . . . . . . . . . . . . . . . . . . . Dell/EMC 光纤信道存储设备布线 3 57 . . . . . . . . . . . . . . . .
4 Dell™ PowerVault™ MD3000i 和 PowerVault MD1000 扩展盘柜的 iSCSI 群集设置 . . . . . . . . 69 . . . . . . . . 71 . . . . . . . . . . . . . . . . . . . . . 71 设置带有 Dell PowerVault MD3000i 存储系统和 Dell PowerVault MD1000 扩展盘柜的 iSCSI 群集 iSCSI 存储系统布线 5 Dell™ EqualLogic™ PS 系列存储系统的 iSCSI 群集设置 . . . . . . . . . . . . . . . . . . . . . . . . . 75 . . . . . . . . . . . . 75 . . . . . . . . . . . . . . . . . . . . . . 79 Dell™ EqualLogic™ iSCSI 存储系统布线 . 6 配置 Oracle ® RAC Database 的网络和存储设备 79 配置公用和专用网络 .
配置 EqualLogic iSCSI 存储设备 创建卷 . . . . . . . . . . . . . . . . . 87 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 配置 iSCSI 网络 . . . . . . . . . . . . . . . . . . . . . . . 配置主机对卷的访问 . . . . . . . . . . . . . . . . . . . . 89 安装 Microsoft iSCSI 启动程序 . . . . . . . . . . . . . . . 90 配置 Microsoft iSCSI 启动程序 . . . . . . . . . . . . . . . 91 . . . . . . . . . . . . . . . . . . . . . . 92 验证节点的存储分配 . . . . . . . . . . 93 . . . . . . . . . . . . . .
目录
概览 《Storage and Networking Guide for Oracle® Database on Microsoft® Windows®》（Microsoft® Windows® 上的 Oracle® Database 存储设备和网络指南）适用于： • Microsoft® Windows Server® 2003 R2 x64 标准版 / 企业版或 Windows Server 2008 SP2 x64 企业版 / 标准版上的 Oracle® Database 10g R2 或 11g R1 企业版。 • Windows Server 2003 R2 SP2 或 Windows Server 2008 SP2 x64 标准 版上的 Oracle Database 10g R2 或 11g R1 标准版。 部署 Dell™ Oracle Database 所需的说明文件 安装 Dell|Oracle Database 所需的说明文件包括： • 《Oracle Database on Microsoft Windows Server x64 Operating System and H
本说明文件中使用的术语 本说明文件中使用了逻辑单元号码 (LUN) 和虚拟磁盘两个术语。这些术语 是同义词并可互换使用。术语 LUN 通常在 Dell|EMC 光纤信道存储系统环 境中使用，而虚拟磁盘通常在 Dell PowerVault™ SAS 或 iSCSI （Dell MD3000 和带 MD1000 扩展的 Dell MD3000i）存储环境中使用。 Dell EqualLogic™ PS 系列存储阵列包括存储虚拟化技术。为了更好地了解 这些阵列的原理，熟悉一些用于描述这些阵列及其功能的术语将非常有用： • 成员 — 单个 PS 系列阵列称为成员。 • 组 — 可以进行集中管理的、包含一个或多个成员的集合。主机服务器 通过单组 IP 地址访问数据。 • 池 — 由来自一个或多个成员的磁盘组成的 RAID。 • 卷 — LUN 或虚拟磁盘，表示池容量的子集。 获得帮助 本节介绍有关如何联系 Dell 或 Oracle 以获取白皮书、支持的配置、培训、 技术支持和一般信息的信息。 Dell 支持 58 • 有关使用系统的详情，请参阅随系统组件附带的说明文件。 • 有关白皮书、
Oracle 支持 • 有关 Oracle 软件和应用程序群集件的培训信息以及 Oracle 联系信息， 请参阅 Oracle Web 站点 oracle.com 或参阅 Oracle 说明文件。 • 从 My Oracle Support Web 站点 metalink.oracle.com 可获取技术支持、 下载以及其它技术信息。 • 有关安装和配置 Oracle 的信息，请参阅可从 Dell 支持 Web 站点 support.dell.
概览
光纤信道群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.
图 2-1. SAN 连接的光纤信道群集的硬件连接。 客户端系统 千兆位以太网交换机 （专用网络） LAN/WAN Dell™ PowerEdge™ 系统 （Oracle Database） Dell/EMC 光纤信道交换机 (SAN) Dell/EMC 光纤信道 存储系统 CAT 5e/6 （公用 NIC） CAT 5e/6 （铜质千兆位 NIC） 光缆 附加光缆 表 2-1.
表 2-1.
图 2-2.
Dell™ PowerVault™ MD3000 的 SAS 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.
图 3-1. 串行连接 SCSI (SAS) 群集和 Dell PowerVault MD3000 的布线 公用网络 LAN/WAN PowerEdge 系统 PowerVault MD3000 存储系统 CAT 5e/6 （铜质千兆位 NIC） CAT 5e/6 （铜质千兆位 NIC） SAS 电缆 表 3-1.
表 3-1.
图 3-2.
Dell™ PowerVault™ MD3000i 和 PowerVault MD1000 扩展盘柜的 iSCSI 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.com/regulatory_compliance。 本节提供有关如何配置 Dell™ PowerEdge™ 系统以及 Dell PowerVault™ MD3000i 软硬件，使其能在 Oracle® Real Application Cluster (RAC) 环境中正常运行的信息和步骤。 使用 Dell PowerVault MD3000i 支持值表（可从位于 support.dell.com 的 Dell 支持 Web 站点获取）中包含的“支持的配置”图验证硬件连接以及硬件和 软件配置。 表 4-1.
表 4-1.
设置带有 Dell PowerVault MD3000i 存储系统和 Dell PowerVault MD1000 扩展盘柜的 iSCSI 群集 iSCSI 存储系统布线 直接连接的 iSCSI 群集仅限于两个节点。 图 4-1.
5 使用两根 SAS 电缆从两个 MD3000 输出端口连接至第一个 Dell PowerVault MD1000 扩展盘柜的两个输入端口 （可选）。 6 使用两根 SAS 电缆从两个 MD1000 输出端口连接至第二个 Dell PowerVault MD1000 扩展盘柜的 In-0 端口 （可选）。 注：有关配置 PowerVault MD1000 扩展盘柜的信息，请参阅 Dell PowerVault MD3000 存储系统说明文件（可从位于 support.dell.com 的 Dell 支持 Web 站点 获取）。 交换式 iSCSI 群集可以支持最多八个节点。 图 4-2.
4 使用一根 CAT 5e/6 电缆从节点 2 的端口 （iSCSI HBA 或 NIC）连接至 网络交换机 2 的端口。 5 使用一根 CAT 5e/6 电缆从交换机 1 的一个端口连接至 Dell PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-0 端口。 6 使用一根 CAT 5e/6 电缆从交换机 1 的另一个端口连接至 Dell PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-0 端口。 7 使用一根 CAT 5e/6 电缆从交换机 2 的一个端口连接至 Dell PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-1 端口。 8 使用一根 CAT 5e/6 电缆从交换机 2 的另一个端口连接至 Dell PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-1 端口。 9 使用两根 SAS 电缆从两个 MD3000i 输出端口连接至第一个 Dell PowerVault MD1000 扩展盘柜的两个输入端口 （可选）。 10 使用两根 SAS 电缆从两个 M
Dell PowerVault MD3000i 和 MD1000 的 iSiSCSI 群集设置
Dell™ EqualLogic™ PS 系列存储 系统的 iSCSI 群集设置 警告：开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳实践信息，请参阅 Dell Regulatory Compliance （Dell 管制标准） Web 站点 www.dell.
图 5-1. 推荐的网络配置 主干链路 适用于 iSCSI 存储区域网络 的 Dell PowerConnect 54xx 千兆位以太网交换机 Dell EqualLogic iSCSI 存储阵列的 后视图 操作面板 iSCSI 存储区域网络 电源设备和冷却模块 1 控制模块 1 控制模块 0 电源设备和冷却模块 0 图 5-2 是带三个 PS5000XV 阵列的 Oracle RAC 配置示例的体系结构概览。 表 5-1.
图 5-2.
如图 5-2 所示，名为 oracle-group 的组包括三个 PS5000XV 成员： • oracle-member01 • oracle-member02 • oracle-member03 初始化其中某个成员后，可以为其配置 RAID 10、RAID 5 或 RAID 50。 有关如何初始化 EqualLogic 阵列的详细信息，请参阅《Dell EqualLogic User's Guide》（Dell EqualLogic 用户指南）。 一个 PS 系列存储组可以分到多个层或池中。层叠存储可使管理员更好地控 制磁盘资源的分配方式。每次可将一个成员仅分配到一个池。将成员分配到 池以及在不同池之间移动成员很容易，而且不会影响数据的可用性。池可以 根据不同标准（如磁盘类型或速度、RAID 级别、应用类型）加以组织。 在图 2-2 中，池按成员 RAID 级别组织： 78 • 一个名称为 RAID-10 的池由 RAID 10 成员组成。 • 一个名称为 RAID-5 的池由 RAID 5 成员组成。 Dell EqualLogic PS 系列存储系统的 iSCSI 群集设置
配置 Oracle® RAC Database 的网络和存储设备 本节介绍有关网络和存储设备配置的信息。 • 配置公用和专用网络。 • 验证存储设备配置。 • 为 Oracle® 群集件和 Oracle Database 配置共享存储设备。 注：Oracle RAC 是一项复杂的数据库配置，要求按顺序执行以下一系列 过程。要想用最少的时间配置网络和存储设备，请按顺序执行以下步骤。 配置公用和专用网络 注：每个节点都需要一个唯一的公用和专用网际协议 (IP) 地址，以及一个附 加公用 IP 地址，该附加公用 IP 地址用作客户端连接和连接故障转移的虚拟 IP 地址。虚拟 IP 地址必须与公用 IP 地址属于同一个子网。所有公用 IP 地 址，包括虚拟 IP 地址，都应该在域命名服务 (DNS) 中注册。如果 DNS 服务 器不可用，则必须在所有群集节点上的主机文件中注册 IP 地址。 根据可用 NIC 端口的数目，如表 6-1 所示配置公用和专用接口。 配置 Oracle RAC Database 的网络和存储设备 79
表 6-1. NIC 端口分配 NIC 端口 三个可用端口 四个可用端口 1 公用 IP 和虚拟 IP 公用 IP 2 专用 IP（NIC 组队） 专用 IP（NIC 组队） 3 专用 IP（NIC 组队） 专用 IP（NIC 组队） 4 无 虚拟 IP 配置并组队专用网络 在部署群集之前，为每个群集节点分配一个专用 IP 地址和主机名称。 此步骤可确保节点之间可以通过专用接口相互通信。 表 6-2 提供了双节点群集的网络配置示例。 注：本示例假定所有 IP 地址均已在所有群集节点的主机文件中注册。 注：专用网络的两个绑定的 NIC 端口应位于独立的 PCI 总线上。例如， 一个绑定对可由一个机载 NIC 和一个添加式 NIC 卡组成。 表 6-2. 双节点群集的网络配置示例 主机名 类型 IP 地址 注册位置 rac1 公用 155.16.170.1 %SystemRoot%\system32\drivers\etc\hosts rac2 公用 155.16.170.
为专用网络适配器配置 NIC 组队 注：本解决方案不支持 NIC（支持 TOE）的 TCP 减负引擎 (TOE) 功能。 1 在节点 1 上，确定两个要用于 NIC 组队的网络适配器。 2 使用一根以太网电缆从每个选定的网络适配器连接至专用网络交换机。 3 如果节点 1 配置为使用 Broadcom NIC，请转至步骤 4。如果节点 1 配 置为使用 Intel® NIC，请通过执行以下步骤配置 NIC 组队： a 右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 b 在 Computer Management （计算机管理）窗口中，选择 Device Manager （设备管理器）。 c 展开 Network Adapters （网络适配器）选项卡。 d 右键单击用于 NIC 组队的 Intel NIC，然后选择 Properties （属性）。 e 单击 Teaming （组队）选项卡。 f 选择 Team with other Adapters （与其他适配器组队），然后选择 New Team （新建组队）。 g 指定 NIC 组队的名称，然后
4 如果节点 1 配置为使用 Broadcom NIC，请通过执行以下步骤配置 NIC 组队：如果不是，请转至步骤 5。 a 单击 Start（开始）→ Programs（程序）→ Broadcom→ Broadcom Advanced Control Suite 3（Broadcom 高级控制套件 3）。 随即显示 Broadcom Advanced Control Suite 3（Broadcom 高级控 制套件 3）窗口。 b 高亮度显示 Team Management （组队管理），然后单击 Teams （组队）并选择 Create a Team （创建组队）。 随即显示 Broadcom Teaming Wizard（Broadcom 组队向导） 窗口。 c 单击 Next （下一步）。 d 在 Enter the name for the team （输入组队的名称）字段中， 键入 Private，然后单击 Next （下一步）。 e 在 Team Type （组队类型）字段中，选择 Smart Load Balancing (TM) （智能负载均衡 [TM]）和 Failove
k 在最后一个窗口中，单击 Preview （预览）验证 NIC 组队和适配 器。验证后，请选择 Commit changes to system （向系统提交更 改），然后退出向导。单击 Finish （完成）。 l 在提示消息窗口中，单击 Yes （是）继续。 m 在 Broadcom Advanced Control Suite 3 （Broadcom 高级控制套件 3）窗口中，单击 File （文件），然后单击 Exit （退出）。 5 在其余的节点上重复执行步骤 1 至步骤 4。 为公用网络适配器和专用网络适配器配置 IP 地址 注：本解决方案不支持 NIC（支持 TOE）的 TOE 功能。 1 更新适配器的网络接口名称 （如果需要）。否则，请转至步骤 3。 a 在节点 1 上，单击 Start （开始），然后浏览至 Settings （设置） → Control Panel （控制面板） → Network Connections （网络连接）。 b 在 Network Connections （网络连接）窗口中，右键单击要重命名 的公用网络适配器，然后选择 Rename （重
d 在 Public Properties （公用属性）窗口中，选择 Show icon in notification area when connected （连接后在通知区域显示图标）。 执行了本节中的步骤后，将在系统图标盒中显示网络适配器状态。 e 单击 OK （确定）。 f 在 Properties （属性）窗口中，单击 Close （关闭）。 g 在专用 NIC 组队上重复执行步骤 a 到步骤 f。 注：专用 NIC 组队不需要输入默认网关地址和 DNS 服务器。 3 确保公用和专用网络适配器以适当的顺序显示，以便通过网络服务进 行访问。 a 在 Windows 桌面上，单击 Start （开始） → Settings （设置） → Control Panel （控制面板） → Network Connections （网络连 接）。 b 在 Network Connections （网络连接）窗口中，单击 Advanced （高级），然后选择 Advanced Settings （高级设置）。 c 选择 Adapter and Bindings （适配器和捆绑）选项卡。
例如，以下各项使用适配器 IP 和主机名称，如表 6-3 所示： 表 6-3. IP 地址和节点名称 IP 地址 节点名称 155.16.170.1 rac1 155.16.170.2 rac2 10.10.10.1 rac1-priv 10.10.10.2 rac2-priv 155.16.170.201 rac1-vip 155.16.170.
安装存储设备所需的基于主机的软件 如果您正在安装 Dell/EMC 光纤信道存储设备，请参阅随系统附带的 Dell/EMC 说明文件，以安装 EMC Naviagent 软件。 如果您正在安装 Dell PowerVault 存储设备，请参阅随系统附带的 Dell PowerVault 说明文件，以安装 Dell PowerVault Resource CD 中的 Modular Disk Storage Manager 软件。 注：Dell PowerVault MD3000i 存储系统需要 Microsoft® iSCSI 软件启动程序。 Microsoft iSCSI 软件启动程序可从 www.microsoft.
验证多路径驱动程序功能 1 右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 展开 Storage （存储设备），然后单击 Disk Management （磁盘管 理）。 对于存储中分配的每个 LUN，都将显示一个磁盘。 3 确保每个 LUN 均配置为 Basic （基本）磁盘。 4 在其余的节点上重复执行步骤 1 至步骤 3。 验证并升级固件 • 使用安装在主机服务器上的 Modular Disk Storage Manager 软件搜索主 机服务器的直接连接存储设备。 • 验证以下存储组件的固件是否满足最低所需版本。请参阅 Solutions Deliverable List（可提供的解决方案列表，SDL）了解固件版本要求。 • MD3000i 存储系统固件 • MD1000 扩充硬盘柜固件 配置 EqualLogic iSCSI 存储设备 创建卷 必须将 PS5000XV 物理磁盘配置为可用组件（即卷）后才能存储数据。卷代 表存储池的一部分，具有特定容量、访问控制和其他属性。卷可以跨越多个 磁盘和组成员，在网络上显示为 iSCSI 目标。卷可以分配
表 6-4.
配置主机对卷的访问 安装并配置 Dell EqualLogic 主机集成工具 (HIT) 套件 1 将最新的 HIT 工具套件下载到数据库服务器上。 2 双击 Setup64.
安装 Microsoft iSCSI 启动程序 1 单击 Start （开始） → Settings （设置） → Control Panel （控制面板） → Add or Remove Programs （添加或删除程序）。 2 选择 Microsoft iSCSI Initiator （Microsoft iSCSI 启动程序）， 单击 Remove （删除）。 执行此步骤删除随当前 HIT 打包的启动程序。 3 在 Software Update Removal Wizard （软件更新删除向导）窗口中， 单击 Next （下一步）。 4 在 Software Update Removal Wizard （软件更新删除向导）窗口中， 单击 Finish （完成）。 5 服务器备份完成后，即可将 Microsoft iSCSI 启动程序 2.0.8 下载到数据 库服务器上。 6 双击 Initiator-2.08-build3825-x64fre.
配置 Microsoft iSCSI 启动程序 1 双击桌面上的 Microsoft iSCSI Initiator （Microsoft iSCSI 启动程序） 图标。 2 在 iSCSI Initiator Properties （iSCSI 启动程序属性）窗口的 Discovery （搜索）选项卡中， EqualLogic 组地址的 IP 地址应已由 HIT 工具套件 填充。 3 在 iSCSI Initiator Properties （iSCSI 启动程序属性）窗口的 Targets （目标）选项卡中，单击为 Oracle Database 创建的一个卷。单击 Log On （登录）。 4 在 Log On to Target （登录到目标设备）窗口中，选中 Automatically restore this connection when the system boots （系统引导 时自动恢复此连接）和 Enable multi-path （启用多路径）两个框。 单击 Advanced （高级）。 5 在 Advanced Settings （高级设置）窗口的 General （常规）选项卡
验证节点的存储分配 1 在 Windows 桌面上，右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 在 Computer Management （计算机管理）窗口中，选择 Device Manager （设备管理器）。 3 展开 Disk drives （磁盘驱动器）。 4 在 Disk drives （磁盘驱动器）下，确保为存储设备中分配的每个 LUN/ 虚拟磁盘显示四个小型计算机系统接口 (SCSI) 磁盘设备。 5 展开 Storage （存储设备），然后单击 Disk Management （磁盘管理）。 如果显示 Welcome to the Initialize and Convert Disk Wizard （欢迎使 用初始化和转换磁盘向导），请执行步骤 a 到步骤 d。否则，请转至步 骤 6。 a 在 Welcome to the Initialize and Convert Disk Wizard （欢迎使用 初始化和转换磁盘向导）窗口中，单击 Next （下一步）。 b 在 Disks （磁盘）窗口的 Select Disks to Initi
为 Oracle 群集件、数据库和备份准备磁盘 本节介绍有关为以下磁盘创建逻辑驱动器的信息： • Oracle 群集注册表磁盘 (OCR) — 包含群集配置信息 • 投票磁盘 — 当专用网络或连接的存储设备无法用于一个或多个节点 时，投票磁盘提供群集节点间的仲裁 • 数据和备份磁盘 — 为创建数据库（数据磁盘）及保存备份和日志数据 （备份磁盘）提供存储区域 在本说明文件中所述的群集配置过程中，您将会在共享存储设备上创建分 区。在创建分区时，确保群集节点可以检测到在连接的存储系统中创建的 LUN 或逻辑磁盘。 要为 Oracle 群集件准备磁盘，应确定 OCR、投票、数据和快擦写恢复区域 磁盘。确定适当的磁盘后，在节点 1 上执行以下步骤： 为共享磁盘启用自动安装选项 1 在节点 1 上，单击 Start （开始），然后选择 Run （运行）。 2 在 Run （运行）字段中，键入 cmd，然后单击 OK （确定）。 3 在命令提示符下，键入 diskpart，然后按 键。 4 在 DISKPART 命令提示符下，键入 automount enable， 然后按 键
为 Windows 2003 上的群集件准备 OCR 和投票磁盘 1 在 Windows 桌面上，右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 展开 Storage （存储设备），然后单击 Disk Management （磁盘管理）。 在第 87 页上的 “验证多路径驱动程序功能”中初始化的存储磁盘将显 示为 Unallocated （未分配）。 3 右键单击分配给群集节点的第一个共享磁盘的分区区域，然后选择 New Partition （新建分区）。 此时将显示 Welcome to the New Partition （欢迎使用新建分区） 向导。 4 单击 Next （下一步）。 5 在 Select Partition Type （选择分区类型）窗口中，选择 Extended partition （扩展分区），然后单击 Next （下一步）。 6 在 Specify Partition Size （指定分区大小）窗口中，接受默认分区大 小，然后单击 Next （下一步）。 7 单击 Finish （完成）。 在步骤 3 中选定的磁盘分区区域将配置为扩展分区。
e 在 Assign Drive Letter or Path （分配驱动器号或路径）窗口中， 选择 Do not assign a drive letter or drive path （不分配驱动器号或 驱动器路径），然后单击 Next （下一步）。 f 在 Format Partition （格式化分区）窗口中，选择 Do not format this partition （不格式化此分区），然后单击 Next （下一步）。 g 单击 Finish （完成）。 h 重复执行步骤 a 到步骤 g 以创建另一个 OCR 磁盘。 10 为投票磁盘创建逻辑驱动器。 a 在标记用于 OCR 和投票磁盘 （2 GB LUN/ 虚拟磁盘）的磁盘分区 区域上，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱动器）。 随即显示 Welcome to the New Partition Wizard （欢迎使用新建分区向导）。 b 单击 Next （下一步）。 c 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive
为 Windows 2008 上的群集件准备 OCR 和投票磁盘 注：创建扩展分区以及创建逻辑驱动器的步骤与 Windows 2003 的步骤一 致，但不能再从磁盘管理 GUI 执行 Windows 2008 中的这些步骤。 创建扩展分区和逻辑驱动器的程序如下： 1 Start （开始） → Run （运行），然后键入 cmd 并单击 Enter 键以打开 命令提示符窗口。 2 在命令提示符中键入 diskpart 以打开 diskpart 界面。 3 输入 list disk，随后会显示下列表格： DISKPART> list disk（列出磁盘） 磁盘 ### 状态 大小 可用容量 磁盘 0 联机 37 GB 0 MB 磁盘 1 联机 2048 MB 2014 MB 磁盘 2 联机 100 GB 100 GB 磁盘 3 联机 200 GB 200 GB Dyn GPT 4 输入目标磁盘的 select disk [disk #] （选择磁盘 [ 磁盘号 ]）。 注：以下步骤阐明如何为 MBR 磁盘创建分区和逻辑磁盘。 5 键入 create partition ext
1 在节点 1 上，为数据库创建一个逻辑驱动器。 a 找到分配用于 Oracle Database 的磁盘。 b 在磁盘分区区域中，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱动器）。 随即显示 Welcome to the New Partition Wizard（欢迎使用新建分 区向导）。 c 单击 Next （下一步）。 d 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive （逻辑驱动器），然后单击 Next （下一步）。 e 在 Specify Partition Size （指定分区大小）窗口的 Partition size in MB （以 MB 为单位的分区大小）字段中，键入相应的分区大小， 然后单击 Next （下一步）。 f 在 Assign Drive Letter or Path （分配驱动器号或路径）窗口中，选 择 Do not assign a drive letter or drive path （不分配驱动器号或驱 动器路径），然后单击 Next （下一步）。 g 在
为使用 ASM 的数据库存储准备数据库磁盘和快擦写恢复区域 本节介绍关于创建逻辑驱动器的信息，这些驱动器将用于创建 ASM 磁盘存 储。ASM 磁盘存储由一个或多个可以跨多个磁盘的磁盘组组成。 注：如果您创建逻辑驱动器是用于创建 OCFS 存储磁盘，请忽略以下步骤并 遵循第 96 页上的“为使用 OCFS 的数据库存储准备数据库磁盘和快擦写恢复 区域”中的步骤。 1 为数据库创建一个逻辑驱动器。 a 找到分配用于 Oracle Database 的磁盘。 b 在磁盘分区区域中，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱动器）。 随即显示 Welcome to the New Partition Wizard（欢迎使用新建分 区向导）。 c 单击 Next （下一步）。 d 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive （逻辑驱动器），然后单击 Next （下一步）。 e 在 Specify Partition Size （指定分区大小）窗口的 Partition size in MB （以 MB 为
删除分配的驱动器号 1 在每个节点的 Windows 桌面上，右键单击 My Computer （我的电 脑），然后选择 Manage （管理）。 2 在 Computer Management （计算机管理）窗口中，展开 Storage （存储设备），然后单击 Disk Management （磁盘管理）。 3 如果找到任何分配给在第 94 页上的 “为 Windows 2003 上的群集件准 备 OCR 和投票磁盘”中创建的驱动器的驱动器号，请执行以下步骤： a 右键单击逻辑驱动器，然后选择 Change Drive Letter and Paths （更改驱动器号和路径）。 b c 在 Change Drive Letter and Paths （更改驱动器号和路径） 窗口中，选择驱动器号，然后单击 Remove （删除）。 在 Confirm （确认）窗口中，单击 Yes （是）。 d 对存储分区上的其余逻辑驱动器重复执行步骤 a 到步骤 c。 配置 Oracle RAC Database 的网络和存储设备 99
配置 Oracle RAC Database 的网络和存储设备
索引 A E ASM, 96 EMC PowerPath, 86 B 绑定对 , 80 帮助 Dell 支持 , 58 Oracle 支持 , 59 EqualLogic 术语 成员 , 58 池 , 58 卷 , 58 组 , 58 J C 超长帧 , 88 磁盘 Oracle 群集注册表磁盘 , 93 冗余投票磁盘 , 95 数据和备份磁盘 , 93 投票磁盘 , 93 D Dell/EMC 光纤信道 , 63 DNS, 79 电缆 CAT 5e, 62 CAT 6, 62 SAS 电缆 , 67 IP 地址 公用 IP 地址 , 79 虚拟 IP 地址 , 79 iSCSI HBA, 71 巨型包 , 88 L 流控制 , 88 M Microsoft iSCSI 启动程序 , 90 模块化磁盘存储管理器 , 87 索引 101
O OCFS, 96 P PowerConnect 交换机 , 75 Q 千兆位以太网交换机 , 63 S SAN, 63 SAS 群集 , 67 SDL, 87 T TCP 减负引擎 , 81 X 虚拟网际协议 , 85 102 索引
Systèmes Dell™ PowerEdge™ Oracle® Database sous Microsoft® Windows Server® x64 Guide de stockage et de mise en réseau Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION vous avertit d'un risque de dommage matériel ou de perte de données en cas de non-respect des instructions données. AVERTISSEMENT : Un AVERTISSEMENT vous avertit d'un risque d'endommagement du matériel, de blessure corporelle ou de mort.
Table des matières 1 Présentation . . . . . . . . . . . . . . . . . . . . . . . . . . Documentation nécessaire au déploiement de la base de données Dell™ Oracle . . . . . . . . . . . . . . . . . . . 109 . . . . . . . . . . . . . 110 Obtention d'aide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 Support Dell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 Configuration du cluster iSCSI pour les systèmes Dell™ PowerVault™ MD3000i et boîtiers d'extension PowerVault MD1000 . . . . . . . . . . 123 Configuration d'un cluster iSCSI avec le système de stockage PowerVault MD3000i et les boîtiers d'extension PowerVault MD1000 . . . . . . . . . Câblage du système de stockage iSCSI 5 125 . . . . . . . . . . . . . . . 125 Configuration d'un cluster iSCSI pour les systèmes de stockage Dell™ EqualLogic™ série PS . . . . . . . . . . . . . . . . . . . . . . . . . .
Installation du logiciel multiacheminement de stockage . ® . . . . . . . . 141 . . . . . . . 141 Installation de PowerPath pour les systèmes Dell/EMC Installation du logiciel multiacheminement pour les systèmes MD3000/MD3000i . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 Installation du logiciel multiacheminement pour la baie de stockage EqualLogic iSCSI . . . . . . . . . . . . . . 141 Vérification de la fonctionnalité du logiciel de multiacheminement . . . . . . . . . . . . . . .
Table des matières
Présentation Le Guide de stockage et de mise en réseau pour Oracle® Database sous Microsoft® Windows® s'applique aux versions suivantes : • Oracle® Database 10g R2 ou 11g R1, édition Enterprise exécuté sous Microsoft® Windows Server® 2003 R2, Édition Standard/Enterprise x64 ou Windows Server 2008 SP2, Édition Enterprise/Standard x64.
Terminologie utilisée dans le présent document Les termes LUN (numéro d'unité logique), disque et volume virtuel sont synonymes. Le terme “LUN” est généralement utilisé pour les environnements de système de stockage Fibre Channel Dell/EMC alors que le terme “disque virtuel” est plutôt réservé aux environnements de stockage Dell PowerVault™ SAS ou iSCSI (Dell MD3000 et Dell MD3000i avec boîtier d'extension MD1000).
• Pour obtenir une assistance technique sur votre matériel ou le système d'exploitation et télécharger les dernières mises à jour appropriées pour votre système, visitez le site web support.dell.com.
Présentation
Configuration d'un cluster Fibre Channel AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 2-1. Connexions matérielles pour un cluster Fibre Channel connecté à un SAN Systèmes clients Commutateurs Ethernet Gigabit (réseau privé) LAN/WAN Systèmes Dell™ PowerEdge™ (Oracle Database) Commutateurs Dell/EMC Fibre Channel (réseau de stockage) Systèmes de stockage Dell/EMC Fibre Channel CAT 5e/6 (carte de réseau public) CAT5e/6 (carte de réseau Gigabit cuivre) Câbles à fibre optique Câbles à fibre optique supplémentaires Tableau 2-1.
Tableau 2-1. Interconnexions matérielles pour Fibre Channel (suite) Composant de cluster Connexions Système de stockage Fibre Channel Dell/EMC • Deux câbles CAT 5e ou CAT 6 connectés au réseau local • Une à quatre connexions par câble à fibre optique vers chaque commutateur Fibre Channel.
Câblage du système de stockage Fibre Channel Dell/EMC Selon vos besoins, vous pouvez configurer le système de stockage du cluster Oracle® dans une configuration avec connexion à un SAN à quatre ports. Reportez-vous aux procédures suivantes pour les deux configurations. La figure 2-2 présente les connexions matérielles utilisées pour configurer uncluster Fibre Channel avec connexion à un réseau de stockage (SAN). Figure 2-2.
Pour configurer le système de stockage du cluster Oracle dans une configuration avec connexion à un SAN à quatre ports, procédez comme suit : 1 Installez un câble optique entre le port 0 du processeur de stockage A et le commutateur Fibre Channel 0. 2 Installez un câble optique entre le port 1 du processeur de stockage A et le commutateur Fibre Channel 1. 3 Installez un câble optique entre le port 0 du processeur de stockage B et le commutateur Fibre Channel 1.
Configuration d'un cluster Fibre Channel
Configuration d'un cluster SAS pour les systèmes Dell™ PowerVault™ MD3000 AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 3-1. Câblage du cluster SAS et du système Dell PowerVault MD3000 Réseau public LAN/WAN Systèmes PowerEdge Système de stockage PowerVault MD3000 Tableau 3-1.
Tableau 3-1. Interconnexions matérielles d'un cluster SAS (suite) Composant de cluster Connexions PowerVault MD3000 • Deux câbles CAT 5e/6 connectés à un réseau local (un à partir de chaque module de processeur de stockage) • Deux connexions SAS vers chaque nœud de système PowerEdge via un contrôleur SAS 5/E. Voir “Câblage du système de stockage SAS”, page 121. Commutateur Ethernet Gigabit • Une connexion CAT 5e/6 vers la carte du réseau Gigabit privé de chaque système PowerEdge.
Figure 3-2.
Configuration du cluster iSCSI pour les systèmes Dell™ PowerVault™ MD3000i et boîtiers d'extension PowerVault MD1000 AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 4-1.
Configuration d'un cluster iSCSI avec le système de stockage PowerVault MD3000i et les boîtiers d'extension PowerVault MD1000 Câblage du système de stockage iSCSI Les clusters iSCSI à connexion directe sont limités à deux nœuds. Figure 4-1.
4 Installez un câble CAT 5e/6 entre l'autre port (carte adaptateur HBA iSCSI ou carte réseau) du nœud 2 et le port In-1 du contrôleur RAID 1 du boîtier de stockage Dell PowerVault MD3000i. 5 Installez deux câbles SAS entre les deux ports de sortie du MD3000 et les deux ports d'entrée (In) du premier boîtier d'extension Dell PowerVault MD1000 (en option).
Figure 4-2.
8 Installez un câble CAT 5e/6 entre l'autre port du commutateur 2 et le port In-1 du contrôleur RAID 1 du boîtier de stockage Dell PowerVault MD3000i. 9 Installez deux câbles SAS entre les deux ports de sortie du MD3000i et les deux ports d'entrée (In) du premier boîtier d'extension Dell PowerVault MD1000 (en option). 10 Installez deux câbles SAS entre les deux ports de sortie du MD3000 et les deux ports d'entrée In-0 du premier boîtier d'extension Dell PowerVault MD1000 (en option).
Configuration d'un cluster iSCSI pour les systèmes de stockage Dell™ EqualLogic™ série PS AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
En outre, il est conseillé de connecter à partir de chaque module de contrôle, une interface Gigabit à l'un des commutateurs Ethernet et les deux autres interfaces Gigabit à l'autre commutateur Ethernet. Figure 5-1.
Figure 5-2.
Comme l'illustre la figure 5-2, le groupe groupe-oracle inclut trois membres PS5000XV : • membre-oracle01 • membre-oracle02 • membre-oracle03 Lorsqu'un membre est initialisé, il peut être configuré en RAID 10, RAID 5 ou RAID 50. Pour plus d'informations sur l'initialisation d'une baie EqualLogic, voir le document Dell EqualLogic User's Guide (Guide de l'utilisateur de Dell EqualLogic). Un groupe de stockage série PS peut être divisé en plusieurs niveaux ou pools.
Configuration du réseau et du stockage pour Oracle® RAC Database Cette section contient des informations sur la configuration du réseau et du stockage. • Configuration des réseaux public et privé • Vérification de la configuration du stockage • Configuration du stockage partagé pour Oracle® Clusterware et la base de données Oracle REMARQUE : Oracle RAC nécessite une configuration de base de données complexe incluant une série de procédures à effectuer dans un ordre précis.
Tableau 6-1. Affectation des ports de carte réseau Port de carte réseau Trois ports disponibles Quatre ports disponibles 1 IP public et IP virtuel IP public 2 IP privé (groupe de cartes réseau) IP privé (groupe de cartes réseau) 3 IP privé (groupe de cartes réseau) IP privé (groupe de cartes réseau) 4 SO IP virtuel Configuration du réseau privé et du regroupement de cartes (teaming) Avant de déployer le cluster, affectez une adresse IP privée et un nom d'hôte à chaque nœud de cluster.
Configuration du regroupement (teaming) de cartes réseau pour vos cartes de réseau privé REMARQUE : Cette solution ne prend pas en charge le moteur de décentralisation TCP/IP (TOE, TCP Offload Engine) pouvant être utilisé par les cartes réseau. 1 Sur le nœud 1, identifiez deux cartes réseau devant être utilisées pour le regroupement. 2 Installez un câble Ethernet entre chaque carte réseau sélectionnée et le commutateur du réseau privé. 3 Si le nœud 1 est configuré avec des cartes réseau, passez à l'étape 4.
k Dans la fenêtre Team Properties (Propriétés du regroupement), cliquez sur OK. l Dans la fenêtre Intel NIC's Properties (Propriétés de la carte réseau Intel), cliquez sur OK. m Fermez la fenêtre Gestion de l'ordinateur. 4 Si le nœud 1 est configuré avec des cartes réseau Broadcom, configurez le regroupement des cartes réseau comme suit. Sinon, passez directement à l'étape 5. a Cliquez sur Démarrer→Programmes→Broadcom→Broadcom Advanced Control Suite 3.
h Dans la fenêtre Designating a Standby Member (Désignation d'un membre de secours), sélectionnez NIC (Carte réseau), sinon Do not configure a standby member (Ne pas configurer de membre de secours). i Dans la fenêtre Configuring Live Link (Configurer une liaison active), sélectionnez No (Non) et cliquez sur Next (Suivant).
REMARQUE : Lorsque vous configurez les cartes réseau, utilisez des noms identiques pour les cartes des réseaux public et privé de tous les nœuds du cluster. Sinon, le programme d'installation d'Oracle Database génèrera une erreur qui vous empêchera de terminer l'installation. c Renommez Public la carte de réseau public et appuyez sur . d Cliquez avec le bouton droit de la souris sur le regroupement de cartes de réseau privé à renommer et sélectionnez Renommer.
3 Vérifiez que les cartes de réseaux public et privé apparaissent dans l'ordre approprié pour que les services réseau puissent y accéder. a Sur le Bureau de Windows, cliquez sur Démarrer→ Paramètres→ Panneau de configuration→ Connexions réseau. b Dans la fenêtre Connexions réseau, cliquez sur Avancé et sélectionnez Paramètres avancés. c Sélectionnez l'onglet Cartes et liaisons.
REMARQUE : Étant donné que les adresses IP du réseau privé ne sont pas accessibles à partir du réseau public, leur enregistrement sur le serveur DNS n'est pas nécessaire. 5 Recommencez l'étape 1 et l'étape 4 sur les nœuds restants. 6 Vérifiez que les nœuds du cluster peuvent communiquer avec les réseaux public et privé. a Sur le nœud 1, ouvrez une fenêtre d'invite de commande.
Installation du logiciel multiacheminement de stockage Pour installer le logiciel multiacheminement approprié, consultez la documentation fournie avec le périphérique de stockage. Installation de PowerPath® pour les systèmes Dell/EMC 1 Sur le nœud 1, installez EMC® PowerPath®. REMARQUE : Pour plus d'informations, consultez la documentation d'EMC PowerPath fournie avec le système de stockage Dell/EMC. 2 Au terme de la procédure d'installation, redémarrez le système.
Vérification et mise à niveau du micrologiciel • À l'aide du logiciel Modular Disk Storage Manager installé sur le serveur hôte, lancez la détection des unités de stockage directement connectées au serveur. • Vérifiez que le micrologiciel utilisé par les composants de stockage répertoriés ci-après est bien à la version minimale requise. Voir le document Solutions Deliverable List (Liste des éléments pris en charge) pour identifier les versions de micrologiciel requises.
Tableau 6-4.
Configuration des réseaux iSCSI Il est conseillé de configurer les interfaces réseau hôtes pour le trafic iSCSI de sorte qu'elles utilisent les fonctionnalités de contrôle de flux et de trame Jumbo pour des performances optimales. Pour définir le contrôle de flux et la trame Jumbo, effectuez les opérations suivantes : 1 Cliquez sur Démarrer→ Paramètres→ Connexions réseau. 2 Sélectionnez l'interface réseau iSCSI, cliquez avec le bouton droit et sélectionnez Propriétés. 3 Cliquez sur Configurer.
6 Dans la fenêtre Ready to install the components (Prêt pour l'installation des composants), cliquez sur Install (Installer). Les fenêtres Installation Status (État de l'installation) et Software Update Installation Wizard (Assistant d'installation de la mise à jour) s'affichent. 7 Dans la fenêtre Installation Complete (Installation terminée), cliquez sur Finish (Terminer).
6 Double-cliquez sur Initiator-2.08-build3825-x64fre.exe pour ouvrir la fenêtre d'installation. 7 Dans la fenêtre Assistant Installation de mise à jour de logiciel, cliquez sur Suivant. 8 Dans la fenêtre Microsoft iSCSI Initiator Installation (Installation de l'initiateur Microsoft iSCSI), sélectionnez Initiator Service, Software Initiator (Service Initiateur, Initiateur) et Microsoft MPIO Multipathing Support for iSCSI (Prise en charge de Microsoft MPIO pour iSCSI). Cliquez sur Next (Suivant).
5 Dans l'onglet General (Général) de la fenêtre Advanced Settings (Paramètres avancés), procédez comme suit : a Sélectionnez le menu déroulant Microsoft iSCSI Initiator by the Local adapter (Initiateur Microsoft iSCSI via l'adaptateur local). b Sélectionnez le menu déroulant iSCSI initiator IP address by the Source IP (Adresse IP de l'Initiateur Microsoft iSCSI via l'adresse IP source).
Vérification de l'affectation des unités de stockage aux nœuds 1 Sur le bureau Windows, cliquez avec le bouton droit de la souris sur Poste de travail et sélectionnez Gérer. 2 Dans la fenêtre Gestion de l'ordinateur, cliquez sur Gestionnaire de périphériques. 3 Développez Lecteurs de disque. 4 Sous Lecteurs de disque, vérifiez que quatre disques SCSI (Small Computer System Interface) apparaissent pour chaque LUN/disque virtuel affecté au stockage. 5 Développez Stockage et sélectionnez Gestion des disques.
Préparation des disques pour Oracle Clusterware, la base de données et la sauvegarde Cette section explique comment créer des lecteurs logiques pour les disques suivants : • Disque OCR (registre du cluster Oracle) : contient les informations de configuration du cluster. • Disque de vote : assure l'arbitrage entre les nœuds de cluster lorsque le réseau privé ou le stockage connecté n'est pas disponible pour un ou plusieurs nœuds.
Préparation des disques OCR et de vote pour Clusterware sous Windows 2003 1 Sur le bureau Windows, cliquez avec le bouton droit de la souris sur Poste de travail et sélectionnez Gérer. 2 Développez Stockage et sélectionnez Gestion des disques. Le disque de stockage initialisé à la “Vérification de la fonctionnalité du logiciel de multiacheminement”, page 141 apparaît comme étant non alloué.
d Dans la fenêtre Spécifier la taille de la partition, entrez 120 dans le champ Taille de la partition en Mo et cliquez sur Suivant. e Dans la fenêtre Attribuer une lettre de lecteur ou de chemin d'accès, sélectionnez Ne pas attribuer une lettre ou un chemin d'accès de lecteur et cliquez sur Suivant. f Dans la fenêtre Formater une partition, sélectionnez Ne pas formater cette partition et cliquez sur Suivant. g Cliquez sur Terminer.
Préparation des disques OCR et de vote pour Clusterware sous Windows 2008 REMARQUE : Les procédures de création de partitions étendues et de disques logiques sont identiques sous Windows 2003. Toutefois, il n'est désormais plus possible d'effectuer cette procédure sous Windows 2008 à partir de l'interface du programme Gestion des disques.
Préparation du disque de la base de données et de la zone de récupération flash pour le stockage de la base de données avec OCFS Cette section contient des informations sur la création de lecteurs logiques devant être utilisés pour créer le disque de stockage OCFS (Oracle's Clustered File System). REMARQUE : Si vous utilisez la gestion de stockage ASM (Automatic Storage Management), le groupe de disques de données ASM doit être d'une taille supérieure à celle de la base de données (plusieurs LUN).
2 Sur le nœud 1, créez un lecteur logique pour la zone de récupération flash. a Repérez le disque affecté à la zone de récupération flash. b Suivez la procédure décrite de l'étape b à l'étape h décrite à l'étape 1. 3 Redémarrez tous les autres nœuds et ouvrez une session en tant qu'administrateur.
2 Créez un lecteur logique pour la zone de récupération flash. a Repérez le disque affecté à la zone de récupération flash. b Suivez la procédure décrite de l'étape b à l'étape h, à l'étape 1. 3 Redémarrez tous les autres nœuds et ouvrez une session en tant qu'administrateur. Suppression des lettres affectées aux lecteurs 1 Sur le bureau Windows, pour chaque nœud, cliquez avec le bouton droit de la souris sur Poste de travail et sélectionnez Gérer.
Configuration du réseau et du stockage pour Oracle RAC Database
Index A D adaptateur HBA iSCSI, 125 Dell/EMC Fibre Channel, 115 adresse adresse IP publique, 133 adresse IP virtuelle, 133 aide support Dell, 110 support Oracle, 111 disque de données et de sauvegarde, 149 de vote, 149 de vote redondant, 151 disque OCR, 149 ASM, 153 DNS, 133 C E câble CAT 5e, 114 CAT 6, 114 SAS, 121 EMC PowerPath, 141 cluster SAS, 121 commutateur Ethernet Gigabit, 115 commutateur PowerConnect, 129 M Microsoft iSCSI Initiator, 145 Modular Disk Storage Manager, 142 moteur TOE, 13
O OCFS, 153 P paire liée, 134 paquet Jumbo, 144 protocole Internet virtuel (VIP), 140 R réseau de stockage (SAN), 116 S SDL, 142 T terminologie EqualLogic groupe, 110 membre, 110 pool, 110 volume, 110 trame Jumbo, 144 158 Index
Dell™ PowerEdge™-Systeme Oracle® Database auf Systemen mit Microsoft® Windows Server® x64 Speicher- und Netzwerkhandbuch Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie das System besser einsetzen können. VORSICHTSHINWEIS: Ein VORSICHTSHINWEIS weist auf mögliche Gefahrenquellen hin, die Hardwareschäden oder Datenverlust zur Folge haben können, wenn die Anweisungen nicht befolgt werden.
Inhalt 1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Benötigte Dokumentation zum Bereitstellen der Dell™/Oracle-Datenbank . . . . . . . . . . . . . . . . . . . . . In diesem Dokument verwendete Terminologie . 166 . . . . . . . . . . . . . . . . . . . . . . . 167 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 Oracle Support 2 Einrichten von Fibre-Channel-Clustern . . . . . .
5 6 iSCSI-Cluster-Setup für Dell™ EqualLogic™ PS-Speichersysteme . . . . . . . . . . . . . . . . . . . . 183 Verkabeln eines Dell™ EqualLogic™ iSCSI-Speichersystems . . . 183 Konfiguration von Netzwerk und Speicher für Oracle ® RAC Database . . . . . . . . . . . . . . . 187 Konfiguration des öffentlichen und privaten Netzwerks . . . . . . 187 Konfiguration und Teaming des privaten Netzwerks . . . . . . . 188 . . . . . . . .
. . . . . . . . 196 . . . . . . . . . . . . . . . . . . . . . . . 196 . . . . . . . . . . . . . . . 198 Konfigurieren des EqualLogic iSCSI-Speichersystems Erstellen von Volumes Konfiguration von iSCSI-Netzwerken Konfigurieren des Hostzugriffs auf Volumes . Installation des Microsoft iSCSI-Initiators . . . . . . . . . . . . 198 . . . . . . . . . . . . 199 . . . . . . . . . . .
Inhalt
Übersicht Das Speicher- und Netzwerkhandbuch für Oracle® Database unter Microsoft® Windows® gilt für: • Oracle® Database 10g R2 oder 11g R1 Enterprise Edition auf Systemen mit Microsoft® Windows Server® 2003 R2 Standard/Enterprise x64 Edition oder Windows Server 2008 SP2 Enterprise/Standard x64 Edition. • Oracle Database 10g R2 oder 11g R1 Standard Edition unter Windows Server 2003 R2 SP2 oder Windows Server 2008 SP2 Standard x64 Edition.
• Oracle Database auf Systemen mit Microsoft Windows Server x64 – Setupund Installationshandbuch für die Datenbank – Beschreibt die Installation und Konfiguration der Oracle-Datenbank. • Oracle Database auf Systemen mit Microsoft Windows Server x64 – Fehlerbehebungshandbuch – Beschreibt das Erkennen und Beheben von Fehlern während der in den obenstehenden Modulen beschriebenen Installationsvorgänge.
Wie Sie Hilfe bekommen Dieser Abschnitt enthält Kontaktinformationen von Dell oder Oracle, über die Sie Whitepapers, Informationen zu den unterstützten Konfigurationen, Schulungsmaterial, technischen Support und allgemeine Informationen anfordern können. Dell Support • Ausführliche Informationen zur Verwendung des Systems finden Sie in der zusammen mit den Systemkomponenten gelieferten Dokumentation.
Oracle Support 168 • Informationen über Schulungen für Oracle-Software und ClusterwareAnwendung und Kontaktinformationen von Oracle finden Sie auf der Oracle-Website unter oracle.com oder in Ihrer Oracle-Dokumentation. • Technischer Support, Downloads und weitere technische Informationen sind auf der Support-Website My Oracle unter metalink.oracle.com verfügbar.
Einrichten von Fibre-ChannelClustern WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 2-1. Hardwareverbindungen für einen SAN-Attached Fibre-Channel-Cluster Clientsysteme Gigabit-Ethernet-Switches (privates Netzwerk) LAN/WAN Dell/EMC Fibre ChannelSpeichersysteme Dell™ PowerEdge™-Systeme (Oracle Database) Dell/EMC Fibre Channel-Switches (SAN) CAT 5e/6 (öffentlicher NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Zusätzliche Glasfaserkabel Tabelle 2-1.
Tabelle 2-1. Fibre-Channel-Hardwareverbindungen (Fortsetzung) Clusterkomponente Verbindungen Dell/EMC • Zwei CAT 5e- oder CAT 6-Kabel zum LAN Fibre-Channel- • Ein bis vier Glasfaserverbindungen zu jedem Fibre-Channel-Switch.
Abbildung 2-2. Verkabeln eines Dell/EMC SAN-Attach-Fibre-Channel-Clusters Zwei HBA-Ports für Knoten 1 Zwei HBA-Ports für Knoten 2 sw0 sw1 SP-B SP-A Dell/EMC CX4-480 Fibre-Channel-Speicher Gehen Sie wie folgt vor, um das Oracle Cluster-Speichersystem für eine SANAttach-Konfiguration mit vier Ports zu verkabeln: 1 Verbinden Sie Port 0 von SP-A durch ein Glasfaserkabel mit FibreChannel-Switch 0. 2 Verbinden Sie Port 1 von SP-A durch ein Glasfaserkabel mit FibreChannel-Switch 1.
Einrichten eines SAS-Clusters für Dell™ PowerVault™ MD3000 WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 3-1. Verkabelung des SAS (Serial-Attached SCSI)-Clusters und des Dell PowerVault MD3000 Öffentliches Netzwerk LAN/WAN PowerEdge-Systeme PowerVault MD3000 Speichersystem CAT 5e/6 (Kupfer-Gigabit-NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) SAS-Kabel Tabelle 3-1.
Tabelle 3-1. Verbindungen der SAS-Clusterhardware (fortgesetzt) Clusterkomponente Verbindungen PowerVault MD3000 • Zwei CAT 5e/6-Kabel zum LAN (eines von jedem Speicherprozessormodul) • Zwei SAS-Verbindungen zu jedem PowerEdgeSystemknoten mit einem SAS 5/E-Controller. Siehe „Verkabeln des SAS-Speichersystems“ auf Seite 175. Gigabit-Ethernet-Switch • Jeweils eine CAT 5e/6-Verbindung zum privaten Gigabit-NIC auf jedem PowerEdge-System.
Abbildung 3-2.
iSCSI-Cluster-Einrichtung für Dell™ PowerVault™ MD3000i und Erweiterungsgehäuse PowerVault MD1000 WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 4-1. iSCSI-Hardwareverbindungen Clusterkomponente Verbindungen Ein PowerEdgeSystemknoten • Ein CAT 5e/6-Kabel vom öffentlichen NIC zum lokalen Netzwerk (LAN) • Ein CAT 5e/6-Kabel vom privaten Gigabit-NIC zum Gigabit-Ethernet-Switch (privates Netzwerk) • Ein CAT 5e/6-Kabel vom redundanten privaten GigabitNIC zum redundanten Gigabit-Ethernet-Switch (privates Netzwerk) ANMERKUNG: Weitere Informationen zum System Dell PowerVault MD3000i finden Sie im Einrichtungshandbuch für Dell PowerVault MD3000i.
Einrichten eines iSCSI-Clusters mit Dell PowerVault MD3000i-Speichersystem und Dell PowerVault MD1000-Erweiterungsgehäusen Verkabeln eines iSCSI-Speichersystems Direkt verbundene iSCSI-Cluster sind auf zwei Knoten beschränkt. Abbildung 4-1.
4 Verbinden Sie den anderen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im Dell PowerVault MD3000i-Speichergehäuse. 5 Verbinden Sie die beiden Ausgangsports des MD3000 durch zwei SASKabel mit den beiden Eingangsports des ersten Dell PowerVault MD1000Erweiterungsgehäuses (optional). 6 Verbinden Sie die beiden Ausgangsports des MD1000 durch zwei SASKabel mit den beiden In-0-Eingangsports des zweiten Dell PowerVault MD1000-Erweiterungsgehäuses (optional).
Abbildung 4-2.
7 Verbinden Sie einen Port von Switch 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im Dell PowerVault MD3000iSpeichergehäuse. 8 Verbinden Sie den anderen Port von Switch 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im Dell PowerVault MD3000iSpeichergehäuse. 9 Verbinden Sie die beiden Ausgangsports des MD3000i durch zwei SASKabel mit den beiden Eingangsports des ersten Dell PowerVault MD1000Erweiterungsgehäuses (optional).
iSCSI-Cluster-Setup für Dell™ EqualLogic™ PS-Speichersysteme WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 5-1. Empfohlene Netzwerkkonfiguration Trunk-Verbindungen Dell PowerConnect 54xx Gigabit-Ethernet-Switches für iSCSI-Speichernetzwerk Rückansicht des Dell EqualLogic iSCSI-Speicherarrays Betriebsanzeige iSCSI-Speichernetzwerk Netzteil- und Kühlmodul 1 Steuermodul 1 Steuermodul 0 Netzteil- und Kühlmodul 0 Abbildung 5-2 zeigt eine Oracle RAC-Beispielkonfiguration mit drei PS5000XV-Arrays. Tabelle 5-1.
Abbildung 5-2.
Wie in Abbildung 5-2 gezeigt, umfasst die Gruppe oracle-group drei PS5000XVMitglieder: • oracle-member01 • oracle-member02 • oracle-member03 Wenn ein Mitglied initialisiert wird, kann es mit RAID 10, RAID 5 oder RAID 50 konfiguriert werden. Weitere Informationen zum Initialisieren eines EqualLogic-Arrays erhalten Sie im Benutzerhandbuch zu Dell EqualLogic. Eine PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden.
Konfiguration von Netzwerk und Speicher für Oracle® RAC Database Dieser Abschnitt enthält Informationen zur Netzwerk- und Speicherkonfiguration. • Konfiguration des öffentlichen und privaten Netzwerks • Überprüfen der Speicherkonfiguration • Konfiguration des gemeinsamen Speichers für Oracle® Clusterware und Oracle Database ANMERKUNG: Oracle RAC ist eine komplexe Datenbankkonfiguration mit einer festgelegten Reihenfolge von Vorgängen.
Tabelle 6-1. NIC-Port-Zuordnungen NIC-Port Drei verfügbare Ports Vier verfügbare Ports 1 Öffentliche IP und virtuelle IP Öffentliche IP 2 Private IP (NIC-Team) Private IP (NIC-Team) 3 Private IP (NIC-Team) Private IP (NIC-Team) 4 – Virtuelle IP Konfiguration und Teaming des privaten Netzwerks Bevor Sie den Cluster einrichten, weisen Sie jedem Clusterknoten eine private IP-Adresse und einen Hostnamen zu.
Konfiguration von NIC-Teaming für die privaten Netzwerkadapter ANMERKUNG: Die TOE-Funktion (TCP Offload Engine) bei einem TOE-fähigen NIC wird bei dieser Lösung nicht unterstützt. 1 Wählen Sie zwei Netzwerkadapter an Knoten 1 aus, die für das NICTeaming verwendet werden. 2 Installieren Sie ein Ethernet-Kabel zwischen jedem der ausgewählten Netzwerkadapter und dem privaten Netzwerk-Switch. 3 Wenn Knoten 1 mit Broadcom-NICs ausgestattet ist, fahren Sie mit Schritt 4 fort.
l Klicken Sie im Fenster Intel NIC's Properties (Eigenschaften von Intel-NIC) auf OK. m Schließen Sie das Fenster Computerverwaltung. 4 Wenn Knoten 1 mit Broadcom-NICs ausgestattet ist, konfigurieren Sie das NIC-Teaming mit den nachstehenden Schritten. Andernfalls fahren Sie mit Schritt 5 fort. a Wählen Sie Start→ Programme→ Broadcom → Broadcom Advanced Control Suite 3. Das Fenster Broadcom Advanced Control Suite 3 wird angezeigt.
i Wählen Sie im Fenster Configuring Live Link (Live-Link konfigurieren) die Option No (Nein) und klicken Sie auf Next (Weiter). j Wenn es ein VLAN gibt, das Sie konfigurieren möchten, wählen Sie im Fenster VLAN Support (VLAN-Unterstützung) die Option Add VLAN (VLAN hinzufügen). Andernfalls wählen Sie Skip manage VLAN (VLAN-Management überspringen). k Klicken Sie im letzten Fenster auf Preview (Voransicht), um das NICTeam und die Adapter zu überprüfen.
c Ändern Sie die Bezeichnung des öffentlichen Netzwerkadapters in Public und drücken Sie die . d Klicken Sie mit der rechten Maustaste auf das Privat-NIC-Team, das Sie umbenennen möchten, und wählen Sie Umbenennen. e Benennen Sie das Private-NIC-Team in Private um und drücken Sie die . 2 Konfigurieren Sie die IP-Adressen.
c Wählen Sie die Registerkarte Netzwerkkarten und Bindungen. d Vergewissern Sie sich, dass die Netzwerkadapter in der nachstehenden Reihenfolge aufgeführt sind: i Öffentlich ii Privat iii ANMERKUNG: Um die Reihenfolge der Netzwerkadapter zu ändern, klicken Sie auf die Pfeilsymbole (Nach oben / Nach unten). e Klicken Sie auf OK. f Schließen Sie das Fenster Netzwerkverbindungen.
6 Stellen Sie sicher, dass die Clusterknoten mit den öffentlichen und privaten Netzwerken kommunizieren können. a Öffnen Sie ein Befehlszeilenfenster auf Knoten 1. b Geben Sie Folgendes in die Befehlszeile ein: ping <Öffentlicher_Hostname> ping Ersetzen Sie dabei <Öffentlicher_Hostname> und durch die Hostnamen des öffentlichen bzw. des privaten Netzwerkadapters im verbleibenden Knoten.
Installation des Multipath-Treibers für Speichersysteme Um den passenden Multipath-Treiber zu installieren, befolgen Sie die Anleitung in der mit dem Speichersystem ausgelieferten Dokumentation. Installation von PowerPath® für Dell/EMC-Systeme. 1 Installieren Sie EMC® PowerPath® auf Knoten 1. ANMERKUNG: Nähere Informationen finden Sie in der Dokumentation zu EMC PowerPath, die mit dem Dell/EMC-Speichersystem geliefert wurde. 2 Wenn der Installationsvorgang abgeschlossen ist, starten Sie das System neu.
Überprüfung und Upgrade der Firmware • Führen Sie mit der auf dem Hostserver installierten Software Modular Disk Storage Manager eine Erkennung des direkt verbundenen Speichers durch. • Stellen Sie sicher, dass die Firmware-Mindestanforderungen der folgenden Speicherkomponenten erfüllt sind. Die Angaben für die FirmwareMindestversionen finden Sie in der Solutions Deliverable List (SDL).
Tabelle 6-4.
Konfiguration von iSCSI-Netzwerken Dell empfiehlt, die Host-Netzwerkschnittstellen für iSCSI-Datenverkehr mit Flusskontrolle und Jumbo-Frames zu konfigurieren, um die Leistung zu optimieren. Um Flusskontrolle und Jumbo-Frames einzurichten, gehen Sie wie folgt vor: 1 Wählen Sie Start→ Einstellungen→ Netzwerkverbindungen. 2 Markieren Sie die iSCSI-Netzwerkschnittstelle und klicken Sie mit der rechten Maustaste auf Eigenschaften. 3 Klicken Sie auf Konfigurieren. 4 Klicken Sie auf Erweitert.
6 Klicken Sie im Fenster Ready to install the components (Bereit zur Installation der Komponenten) auf Install (Installieren). Das Fenster Installation Status (Installationsstatus) und das Fenster Software Update Installation Wizard (Assistent für Software-UpdateInstallation) werden angezeigt. 7 Klicken Sie im Fenster Installation Complete (Installation abgeschlossen) auf Finish (Fertig stellen).
6 Doppelklicken Sie auf Initiator-2.08-build3825-x64fre.exe, um das Installationsfenster zu öffnen. 7 Klicken Sie im Installations-Assistenten für Softwareupdates auf Weiter. 8 Wählen Sie im Fenster Microsoft iSCSI Initiator Installation die Optionen Initiator Service, Software Initiator und Microsoft MPIO Multipathing Support for iSCSI. Klicken Sie auf Next (Weiter). 9 Wählen Sie im Fenster License Agreement (Lizenzvertrag) auf I Agree (Ich bin einverstanden) und klicken Sie auf Next (Weiter).
5 Konfigurieren Sie im Fenster Advanced Settings (Erweiterte Einstellungen) die Registerkarte General (Allgemein) wie folgt: a Wählen Sie Microsoft iSCSI Initiator im Dropdown-Menü „Local adapter“ (Lokaler Adapter). b Wählen Sie eine IP-Adresse für den iSCSI-Initiator im DropdownMenü Source IP (Quell-IP). c Wählen Sie eine IP-Adresse für die EqualLogic-Gruppe im Dropdown-Menü Target Portal (Ziel-Portal). d Aktivieren Sie das Kontrollkästchen CHAP logon information (CHAP-Anmeldeinformationen).
Überprüfen der Zuordnung zwischen dem Speichersystem und den Knoten 1 Klicken Sie auf dem Windows-Desktop mit der rechten Maustaste auf Arbeitsplatz und wählen Sie Verwalten. 2 Klicken Sie im Fenster Computerverwaltung auf Geräte-Manager. 3 Klicken Sie auf das Kreuz neben Laufwerke, um die Untereinträge einzublenden. 4 Vergewissern Sie sich, dass unter Laufwerke für jedes virtuelle Laufwerk/LUN im Speichersystem vier SCSI-Laufwerke (Small Computer System Interface) aufgeführt sind.
Vorbereiten der Datenträger für Oracle Clusterware, Database und Backup Dieser Abschnitt enthält Informationen zum Erstellen der logischen Laufwerke für die folgenden Datenträger: • OCR-Datenträger (Oracle Cluster Registry) – Enthält die Clusterkonfigurationsinformationen • Voting-Datenträger – Sorgt für Ausgleich zwischen den Clusterknoten, wenn das private Netzwerk oder das verbundene Speichersystem für einen oder mehrere Knoten nicht zugänglich ist • Daten- und Sicherungsdatenträger – Stellen Speich
Vorbereiten des OCR- und Voting-Datenträgers für Clusterware unter Windows 2003 1 Klicken Sie auf dem Windows-Desktop mit der rechten Maustaste auf Arbeitsplatz und wählen Sie Verwalten. 2 Blenden Sie Speicher ein und klicken Sie dann auf Datenträgerverwaltung. Das Speicherlaufwerk, das Sie in „Überprüfen der Funktionalität des Multipath-Treibers“ auf Seite 195 initialisiert haben, wird als Nicht zugeordnet angezeigt.
c Wählen Sie im Fenster Partitionstyp festlegen die Option Logisches Laufwerk und klicken Sie auf Weiter. d Geben Sie im Fenster Partitionsgröße festlegen den Wert 120 im Feld Partitionsgröße in MB ein und klicken Sie auf Weiter. e Wählen Sie im Fenster Laufwerkbuchstaben oder Pfand zuordnen die Option Keinen Laufwerkbuchstaben oder Pfad zuweisen und klicken Sie auf Weiter. f Wählen Sie im Fenster Partition formatieren die Option Diese Partition nicht formatieren und klicken Sie auf Weiter.
Vorbereiten des OCR- und Voting-Datenträgers für Clusterware unter Windows 2008 ANMERKUNG: Die Schritte zum Erstellen erweiterter Partitionen und logischer Laufwerke sind dieselben wie bei Windows 2003. Sie können jedoch in Windows 2008 nicht mehr über die Benutzeroberfläche der Datenträgerverwaltung ausgeführt werden. Verfahren Sie wie folgt, um erweiterte Partitionen und logische anzulegen: 1 Klicken Sie auf Start→ Ausführen. Geben Sie cmd ein und drücken Sie die Eingabetaste.
Vorbereiten des Datenbankdatenträgers und des Wiederherstellungsbereichs für OCFS-Datenspeicherung In diesem Abschnitt ist beschrieben, wie logische Laufwerke für den OCFSSpeicherdatenträger (Oracle Clustered File System) erstellt werden.
2 Erstellen Sie auf Knoten 1 ein logisches Laufwerk für den Wiederherstellungsbereich. a Identifizieren Sie den Datenträger, der für den Wiederherstellungsbereich vorgesehen ist. b Führen Sie Schritt b bis Schritt h aus Schritt 1 durch. 3 Starten Sie alle anderen Knoten neu und melden Sie sich als Administrator an.
g Wählen Sie im Fenster Partition formatieren die Option Diese Partition nicht formatieren und klicken Sie auf Weiter. h Klicken Sie auf Fertig stellen. 2 Erstellen Sie ein logisches Laufwerk für den Wiederherstellungsbereich. a Identifizieren Sie den Datenträger, der für den Wiederherstellungsbereich vorgesehen ist. b Führen Sie Schritt b bis Schritt h aus Schritt 1 durch. 3 Starten Sie alle anderen Knoten neu und melden Sie sich als Administrator an.
Konfiguration von Netzwerk und Speicher für Oracle RAC Database
Stichwortverzeichnis A G Ablaufsteuerung, 198 Gebundenes Paar, 188 ASM, 207 Gigabit-Ethernet-Switch, 171 D H Datenträger Daten- und Sicherungsdatenträger, 203 OCR-Datenträger (Oracle Cluster Registry), 203 Redundanter Voting-Datenträger, 205 Voting-Datenträger, 203 Hilfe Dell Support, 167 Oracle Support, 168 I Dell/EMC Fibre Channel, 171 IP-Adresse Öffentliche IP-Adresse, 187 Virtuelle IP-Adresse, 187 DNS, 187 iSCSI-HBA, 179 E J EMC PowerPath, 195 Jumbo-Frame, 198 EqualLogic-Begriffe Grup
M Microsoft iSCSI-Initiator, 199 Modular Disk Storage Manager, 196 O OCFS, 207 P PowerConnect-Switch, 183 S SAN, 171 SAS-Cluster, 175 SDL, 196 T TCP Offload Engine, 189 V Virtual Internet Protocol (VIP), 194 212 Stichwortverzeichnis
Dell™ PowerEdge™ システム Microsoft® Windows Server® x64 使用する Oracle® データベース ストレージ & ネットワークガイド バージョン 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明し ています。 注意：手順に従わない場合は、ハードウェアの損傷やデータの損 失の可能性があることを示しています。 警告： 物的損害、けが、または死亡の原因となる可能性がある ことを示しています。 ____________________ 本書の内容は予告なく変更されることがあります。 © 2009 すべての著作権は Dell Inc. にあります。 Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられ ています。 本書に使用されている商標：Dell、DELL ロゴ、EqualLogic、PowerEdge、および PowerVault は Dell Inc.
目次 1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dell™ Oracle データベースの導入に必要なマニュアル . . . . . 219 . . . . . . . . . . . . . . . . . . . . . 220 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 本書で使用されている用語 困ったときは デルサポート . . . . . . . . . . . . . . . . . . . . . . . . . . . Oracle のサポート 2 . . . . . . . . . . . . . . . . . . . . . . . . Dell™ PowerVault™ MD3000 用の SAS クラスタのセットアップ . . SAS ストレージシステムのケーブル接続 . 4 221 222 ファイバーチャネルクラスタのセッ トアップ . . . . . . . . . .
5 Dell™ EqualLogic™ PS シリーズのスト レージシステム用の iSCSI クラスタ のセットアップ . . . . . . . . . . . . . . . . . . . . . . . 239 Dell™ EqualLogic™ iSCSI ストレージシステムのケー ブル接続 . . . . . . . . . . . . . . . . . . . . . . . . . . 6 . . . . . Oracle ® RAC データベース用のネッ トワークおよびストレージ（記憶域） の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 パブリックおよびプライベートネットワークの設定 プライベートネットワークの設定とチーム化 . . . . . 243 . . . . . . . 244 プライベートネットワークアダプタ用の NIC チー ム化の設定. . . . . . . . . . . . . . . . . . . . . . . .
EqualLogic iSCSI ストレージの設定 . ボリュームの作成 . . . . . . . . . . . . . . . . 252 . . . . . . . . . . . . . . . . . . . . . . . . 252 iSCSI ネットワークの設定 . . . . . . . . . . . . . . . . . . . . ホストからボリュームへのアクセスの設定 254 . . . . . . . . . . . . 255 . . . . . . . . . . . . . . . . . 256 Microsoft iSCSI Initiator のインストール Microsoft iSCSI Initiator の設定 . ノードに対するストレージの割り当ての確認 . . . . . . . . . . Oracle Clusterware、データベース、バックアップ 用のディスクの準備 . . . . . . . . . . . . . . . . . . . . . . . . .
目次
概要 Microsoft® Windows® で使用する Oracle® データベースの『ストレー ジ & ネットワークガイド』は、以下に適用されます。 • Microsoft® Windows Server® 2003 R2 Standard/Enterprise x64 Edition または Windows Server 2008 SP2 Enterprise/Standard x64 Edition で使用する Oracle® Database 10g R2/11g R1 Enterprise Edition • Windows Server 2003 R2 SP2 または Windows Server 2008 SP2 Standard x64 Edition で使用する Oracle Database 10g R2/11g R1 Standard Edition Dell™ Oracle データベースの導入に必要なマ ニュアル Dell|Oracle データベースのインストールに必要なマニュアルは、 以下のとおりです。 • 『Microsoft Windows Server x64 で使用する
• 『Microsoft Windows Server x64 で使用する Oracle データベース — データベースセットアップ & インストールガイド』— Oracle データ ベースのインストールと設定の方法について説明しています。 • 『Microsoft Windows Server x64 で使用する Oracle データベース — トラブルシューティングガイド』— 前の分冊で説明されているイン ストール手順中に発生するエラーの解決方法について説明してい ます。 メモ：各分冊のいずれにも、デルのテクニカルサポートを利用する方法 が記されています。 本書で使用されている用語 本書では、「論理ユニット番号」（LUN）および「仮想ディスク」という 語が使われています。これらの用語は同義語であり、どちらを使用して も構いません。「LUN」は Dell/EMC ファイバーチャネルストレージシ ステムの環境で、「仮想ディスク」は Dell PowerVault™ SAS または iSCSI（Dell MD3000 および Dell MD3000i + MD1000 拡張）ストレー ジの環境で、通常使われる
困ったときは 本項では、ホワイトペーパー、サポートされている構成、トレーニン グ、テクニカルサポートに関する情報、および一般的な情報を入手する ためにデルまたは Oracle に問い合わせる方法を説明しています。 デルサポート • システムの使い方の詳細については、システムコンポーネントに付 属のマニュアルを参照してください。 • 各種のホワイトペーパー、デルがサポートする設定、一般情報につ いては、Dell|Oracle Tested and Validated Configurations （Dell|Oracle で検証済みの構成）ウェブサイト dell.com/oracle を参照してください。 • ハードウェアおよび OS ソフトウェアに対するデルのテクニカルサ ポート、アップデートのダウンロードについては、デルサポートサ イト support.dell.
Oracle のサポート 222 • Oracle ソフトウェアおよびアプリケーションクラスタウェアのト レーニング、および Oracle へのお問い合わせの方法については、 Oracle のウェブサイト oracle.com または Oracle のマニュアルを 参照してください。 • テクニカルサポート、ダウンロード、その他の技術情報については、 My Oracle Support ウェブサイト metalink.oracle.com を参照し てください。 • Oracle のインストールと設定については、デルサポートサイト support.dell.
ファイバーチャネルクラスタの セットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 2-1. SAN 接続のファイバーチャネルクラスタ用のハードウェア接続 クライアントシステム ギガビットイーサネットスイッチ （プライベートネットワーク） LAN/WAN Dell™ PowerEdge™ システム （Oracle データベース） Dell/EMC ファイバーチャネル スイッチ（SAN） Dell/EMC ファイバー チャネルストレージ システム CAT 5e/6（パブリック NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル 追加の光ファイバーケーブル 表 2-1.
表 2-1.
Dell/EMC ファイバーチャネルストレージの ケーブル接続 Oracle® クラスタストレージシステムは、必要に応じて 4 ポートの SAN 接続構成が可能です。各構成について、以下の手順を参照してく ださい。 SAN 接続のファイバーチャネルクラスタのセットアップに使うハード ウェア接続を 図 2-2 に示します。 図 2-2.
Oracle クラスタのストレージシステムを 4 ポートの SAN 接続で構成す るには、以下の手順を実行します。 1 1 本の光ケーブルを SP-A ポート 0 からファイバーチャネルスイッチ 0 に接続します。 2 1 本の光ケーブルを SP-A ポート 1 からファイバーチャネルスイッチ 1 に接続します。 3 1 本の光ケーブルを SP-B ポート 0 からファイバーチャネルスイッチ 1 に接続します。 4 1 本の光ケーブルを SP-B ポート 1 からファイバーチャネルスイッチ 0 に接続します。 5 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 6 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 7 1 本の光ケーブルを各追加ノードの HBA 0 からファイバーチャネル スイッチ 0 に接続します。 8 1 本の光ケーブルを各追加ノードの HBA 1 からファイバーチャネル スイッチ 1 に接続します。 ファイバーチャネルクラスタのセットアップ 227
ファイバーチャネルクラスタのセットアップ
Dell™ PowerVault™ MD3000 用の SAS クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 3-1. SAS（シリアル接続 SCSI）クラスタと Dell PowerVault MD3000 のケーブ ル接続 パブリックネットワーク LAN/WAN PowerEdge システム PowerVault MD3000 ストレージシステム CAT 5e/6（銅線ギガビット NIC） CAT 5e/6（銅線ギガビット NIC） SAS ケーブル 表 3-1.
表 3-1.
図 3-2.
Dell™ PowerVault™ MD3000i/MD1000 拡張エンクロー ジャ用の iSCSI クラスタのセッ トアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.com/regulatory_compliance を参照してください。 本項では、Dell™ PowerEdge™ システムと Dell PowerVault™ MD3000i ハードウェアおよびソフトウェアが Oracle® RAC （Real Application Cluster）環境で機能するように設定するた めの情報と手順を示します。 デルサポートサイト support.dell.
表 4-1.
Dell PowerVault MD3000i ストレージシステム と Dell PowerVault MD1000 拡張エンクロー ジャを使用して iSCSI クラスタをセットアッ プする方法 iSCSI ストレージシステムのケーブル接続 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 4-1.
4 ノード 2 のもう一方のポート（iSCSI HBA または NIC）と Dell PowerVault MD3000i ストレージエンクロージャ内の RAID コント ローラ 1 の In-1 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 MD3000 の 2 個の出力ポートと 1 台目の Dell PowerVault MD1000 拡張エンクロージャの 2 個の入力ポートを 2 本の SAS ケーブルで接 続します（オプション）。 6 MD1000 の 2 個の出力ポートと 2 台目の Dell PowerVault MD1000 拡張エンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続し ます（オプション）。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、デルサ ポートサイト support.dell.com で Dell PowerVault MD3000 ストレージシステ ムのマニュアルを参照してください。 スイッチ式 iSCSI クラスタは、最大 8 ノードをサポートします。 図 4-2.
ノードをスイッチ式で構成するには、図 4-2 を参照し、以下の手順を実 行します。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと Dell PowerVault MD3000i ストレージエンク ロージャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 6 スイッチ 1 のもう一方のポートと Dell PowerVault MD3000i スト レージエンクロー
MD3000i/MD1000 拡張エンクロージャ用の iSCSI クラスタのセットアップ
Dell™ EqualLogic™ PS シリーズ のストレージシステム用の iSCSI クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 5-1. 推奨ネットワーク構成 トランクリン 操作パネル iSCSI SAN 用 Dell PowerConnect 54xx ギガビッ トイーサネットスイッチ Dell EqualLogic iSCSI ストレージ アレイの背面 iSCSI SAN 電源ユニット / 冷 却モジュール 1 コントロールモ ジュール 1 コントロールモ ジュール 0 電源ユニット / 冷 却モジュール 0 図 5-2 は、PS5000XV アレイ 3 つを使用した Oracle RAC 構成例の概略 図です。 表 5-1.
図 5-2.
図 5-2 に示すように、oracle-group という名前のグループには PS5000XV のメンバー 3 つが含まれています。 • oracle-member01 • oracle-member02 • oraclemember03 初期化済みのメンバーは、RAID 10、RAID 5、または RAID 50 のいずれ かに構成できます。EqualLogic アレイの初期化の詳細については、 Dell EqualLogic の『ユーザーズガイド』を参照してください。 PS シリーズのストレージグループは、複数の階層またはプールに分割 できます。ストレージを階層化すると、ディスクリソースをより自在に 割り当てることができるようになります。メンバーを同時に複数のプー ルに割り当てることはできません。メンバーをプールに割り当てたり、 別のプールに移動する操作は簡単に行うことができ、データの可用性に 何ら影響はありません。プールは、ディスクのタイプ、速度、RAID レ ベル、アプリケーションのタイプなど、さまざまな基準に従って組むこ とができます。 図 2-2 では、プールはメンバーの RAID レベル
Oracle® RAC データベース用の ネットワークおよびストレージ （記憶域）の設定 本項では、ネットワークとストレージの設定について説明します。 • パブリックおよびプライベートネットワークの設定。 • ストレージ構成の確認。 • Oracle® Clusterware および Oracle データベース用の共有ストレー ジの構成。 メモ：Oracle RAC は、順序化された一連の手順を必要とする複雑なデータ ベース設定です。ネットワークとストレージを最小限の時間で設定するに は、以下の手順を順番に実行してください。 パブリックおよびプライベートネットワーク の設定 メモ：クライアント接続および接続のフェイルオーバーのために、固有 のパブリックおよびプライベート IP アドレスを 1 つと、仮想 IP アドレス としての機能を果たす追加のパブリック IP アドレスを 1 つ、各ノードに設 定する必要があります。仮想 IP アドレスはパブリック IP アドレスと同じ サブネットに属していなければなりません。仮想 IP アドレスを含むすべ てのパブリック IP アドレスは、ドメインネームサービ
表 6-1.
プライベートネットワークアダプタ用の NIC チーム化の設定 メモ：このソリューションでは、TIE 対応 NIC の TOE（TCP オフロードエ ンジン）機能はサポートされません。 1 ノード 1 で、NIC チーム化に使用される 2 つのネットワークアダプ タを確認します。 2 選択した各ネットワークアダプタとプライベートネットワークス イッチをイーサネットケーブルで接続します。 3 ノード 1 が Broadcom NIC で構成されている場合は、手順 4 を参照 してください。ノード 1 が Intel® NIC で構成されている場合は、 次の手順で NIC のチーム化を設定します。 a マイコンピュータ を右クリックし、管理 を選択します。 b コンピュータの管理 ウィンドウで、デバイスマネージャ を選択 します。 c ネットワークアダプタ タブを展開します。 d NIC のチーム化用として識別された Intel NIC を右クリックし、 プロパティ を選択します。 e チーム化 タブをクリックします。 f その他のアダプタとチーム化する を選択し、新規チーム を選択 します。
4 ノード 1 が Broadcom NIC で構成されている場合は、次の手順で NIC のチーム化を設定します。それ以外の場合は手順 5 に進みます。 a スタート → プログラム → Broadcom→ Broadcom Advanced Control Suite 3 の順にクリックします。 Broadcom Advanced Control Suite 3 ウィンドウが表示され ます。 b チームの管理 をハイライト表示し、チーム をクリックして チームの作成 を選択します。 Broadcom Teaming Wizard（Broadcom チーム化ウィザー ド）ウィンドウが表示されます。 c Next（次へ）をクリックします。 d Enter the name for the team（チームの名前を入力します） フィールドで、Private と入力し、Next（次へ）をクリック します。 e チームタイプを選択するフィールドで、Smart Load Balancing (TM) and Failover (SLB)（Smart Load Balancing (TM) とフェイルオ
i Configuring Live Link（Live Link の設定）ウィンドウで、 No（いいえ）を選択し、Next（次へ）をクリックします。 j VLAN Support（VLAN のサポート）ウィンドウで、設定の必 要な VLAN があれば Add VLAN（VLAN の追加）を選択し、そ うでない場合は Skip manage VLAN（VLAN の管理を省略す る）を選択します。 k 最後のウィンドウで Preview（プレビュー）をクリックし、 NIC チームとアダプタを確認します。確認を終えたら、Commit changes to system（変更をシステムに適用する）を選択し、 ウィザードを終了します。Finish（完了）をクリックします。 l 情報メッセージウィンドウで Yes（はい）をクリックして続行し ます。 m Broadcom Advanced Control Suite 3 ウィンドウで、File （ファイル）をクリックし、Exit（終了）をクリックします。 5 手順 1 ～ 手順 4 を残りのクラスタノードで繰り返します。 パブリックおよびプライベー
d 名前を変更するプライベート NIC チームを右クリックし、 名前の変更 を選択します。 e プライベート NIC チームの名前を Private に変更し、 を押します。 2 IP アドレスを設定します。 メモ：パブリックインタフェースにデフォルトゲートウェイを設定 する必要があります。そうしないと、Clusterware のインストールが 失敗する場合があります。 a スタート → 設定 → コントロールパネル → ネットワーク接続 → パブリック → プロパティ の順にクリックします。 b インターネットプロトコル（TCP/IP）をダブルクリックします。 c 次の IP アドレスを使う をクリックし、必要な IP アドレス、デ フォルトゲートウェイアドレス、および DNS サーバーの IP アド レスを入力し、OK をクリックします。 d パブリックプロパティ ウィンドウで、接続時に通知領域にアイ コンを表示する を選択します。 本項の手順を実行すると、システムトレイにネットワークアダプ タのステータスが表示されます。 e OK をクリックします。 f プ
d ネットワークアダプタが次の順序で表示されていることを確認し ます。 i パブリック ii プライベート iii < その他のネットワークアダプタ > メモ：アダプタの順序を変更するには、上下の矢印をクリックして ください。 e OK をクリックします。 f ネットワーク接続 ウィンドウを閉じます。 4 すべてのノードで、 %SystemRoot%\system32\drivers\etc\hosts ファイルにパブ リック、プライベート、および仮想 IP アドレスとホスト名を追加し ます。 メモ：パブリック IP アドレスと仮想 IP アドレスが DNS サーバーに 登録されていない場合に限り、これらのアドレスをホストファイル に追加してください。 たとえば、以下の項目ではアダプタ IP とホスト名を 表 6-3 に示すよ うに使用しています。 表 6-3. IP アドレスとノード名 IP アドレス ノード名 155.16.170.1 rac1 155.16.170.2 rac2 10.10.10.1 rac1-priv 10.10.10.2 rac2-priv 155.
6 クラスタノードがパブリックおよびプライベートネットワークと通 信できることを確認します。 a ノード 1 で、コマンドプロンプトウィンドウを開きます。 b コマンドプロンプトで、次のコマンドを入力します。 ping < パブリックホスト名 > ping < プライベートホスト名 > < パブリックホスト名 > と < プライベートホスト名 > は、もう 1 つ のノードにおけるパブリックおよびプライベートネットワークアダ プタのホスト名です。 ノードのネットワークアダプタが ping コマンドに反応しない場合 は、ネットワーク設定を確認し、この手順を繰り返します。 メモ：仮想インターネットプロトコル（VIP）の設定は後で行われ ます。この時点では ping コマンドによる確認ができません。 c 手順 a ～ 手順 b を残りのクラスタノードで繰り返します。 ストレージに必要なホストベースソフトウェ アのインストール Dell/EMC ファイバーチャネルストレージを取り付ける場合は、システ ムに付属の Dell/EMC のマニュアルを参照して EMC Naviagent ソフト ウェアをインス
ストレージ用のマルチパスソフトウェアのイ ンストール ストレージデバイスに付属のマニュアルに従って、適切なマルチパスソ フトウェアをインストールします。 Dell/EMC システム用の PowerPath® のインストール 1 ノード 1 で、EMC® PowerPath® をインストールします。 メモ：詳細については、Dell/EMC ストレージシステムに同梱の EMC PowerPath のマニュアルを参照してください。 2 インストールの手順が完了したら、システムを再起動します。 3 残りのノードで 手順 1 と 手順 2 を繰り返します。 MD3000/MD3000i 用のマルチパスドライバソフトウェアのインス トール SAS または iSCSI （MD3000/MD3000i ストレージシステム）クラスタ の場合、マルチパスソフトウェアは 250 ページの「ストレージに必要 なホストベースソフトウェアのインストール」」の説明に従ってホスト にインストール済みのはずです。 EqualLogic iSCSI ストレージアレイ用のマルチパスドライバソフト ウェアのインストール 詳細については、25
ファームウェアの確認とアップグレード • ホストサーバーにインストールされている Modular Disk Storage Manager ソフトウェアを使用してホストサーバーの直接接続スト レージを検出します。 • 次のストレージコンポーネント用のファームウェアが最低必要な バージョンであることを確認します。ファームウェアのバージョン 要件については、Solutions Deliverable List（SDL）（ソリューショ ンリスト）を参照してください。 • MD3000i ストレージシステムファームウェア • MD1000 拡張エンクロージャファームウェア EqualLogic iSCSI ストレージの設定 ボリュームの作成 データを保存する前に、PS5000XV の物理ディスクを設定して、ボ リュームと呼ばれる使用可能なコンポーネントにする必要があります。 ボリュームはストレージプールを構成する一部であり、特定のサイズ、 アクセスコントロール、その他の属性を持っています。ボリュームは複 数のディスクとグループメンバー間に分散させることができ、ネット ワーク上では iSCSI ターゲット
表 6-4.
5 Jumbo Packet（ジャンボパケット）をハイライト表示し、 値を 9014 バイトに設定します。 6 Performance Options（パフォーマンスオプション）をハイライ ト表示し、Properties（プロパティ）をクリックします。 Performance Options（パフォーマンスオプション）ウィンドウ が表示されます。 7 Performance Options（パフォーマンスオプション）ウィンドウ で、Flow Control（フロー制御）をハイライト表示し、 値を Rx & Tx Enabled（Rx & Tx 有効）に設定します。 8 iSCSI トラフィックに使用されるその他すべてのネットワークインタ フェースについて、手順 2 ～ 手順 7 を繰り返します。 ホストからボリュームへのアクセスの設定 Dell EqualLogic Host Integration Tool（HIT）キットのインストールと設定 1 最新の HIT ツールキットをデータベースサーバーにダウンロードし ます。 2 Setup64.
8 System Restart Required（システムの再起動が必要）ウィンドウ で、Yes, I want to restart my computer now（はい、今すぐコ ンピュータを再起動します）を選択し、OK をクリックします。 9 サーバーが再起動すると、Remote Setup Wizard（リモートセッ トアップウィザード）ウィンドウが表示されます。 10 Configure MPIO settings for this computer（このコンピュー タの MPIO 設定を行う）を選択し、Next（次へ）をクリックし ます。 11 iSCSI ネットワークのサブネットを Subnets included for MPIO （MPIO 用に含まれているサブネット）の下に移動します。その他す べてのネットワークのサブネットを Subnets excluded from MPIO（MPIO から除外されたサブネット）の下に移動します。 Load balance across paths（パス間の負荷バランス）の横にある ボックスにチェックを入れます。Finish（完了）をクリックします。
7 Software Update Installation Wizard（ソフトウェアの更新のイ ンストールウィザード）で、Next（次へ）をクリックします。 8 Microsoft iSCSI Initiator Installation（Microsoft iSCSI Initiator のインストール）ウィンドウで、Initiator Service（イニシエータ サービス）、Software Initiator（ソフトウェアイニシエータ）、お よび Microsoft MPIO Multipathing Support for iSCSI を選択し ます。Next（次へ）をクリックします。 9 License Agreement（ライセンス契約）ウィンドウで、I Agree （同意します）をクリックし、Next（次へ）をクリックします。 10 Completing the Microsoft iSCSI Initiator Installation Wizard （Microsoft iSCSI Initiator インストールウィザードの完了）ウィンド ウで、Finish（完了）をクリックします。
5 Advanced Settings（詳細設定）ウィンドウの General（全般） タブで、以下の設定を行います。 a Local adapter（ローカルアダプタ）ドロップダウンメニューで Microsoft iSCSI Initiator（Microsoft iSCSI イニシエータ）を 選択します。 b Source IP（送信元 IP）ドロップダウンメニューで iSCSI イニシ エータの IP アドレスを選択します。 c Target Portal（ターゲットポータル）ドロップダウンメニューで EqualLogic group IP（EqualLogic グループ IP）アドレスを選 択します。 d CHAP logon information（CHAP ログオン情報）チェック ボックスにチェックを入れます。 e User name（ユーザー名）ボックスに EqualLogic ストレージで 定義した CHAP ユーザー名を入力します。 f Target secret（ターゲットシークレット）ボックスに EqualLogic ストレージで定義した CHAP パスワードを入力
ノードに対するストレージの割り当ての確認 1 Windows デスクトップの マイコンピュータ を右クリックし 管理 を 選択します。 2 コンピュータの管理 ウィンドウで、デバイスマネージャ を選択し ます。 3 ディスクドライブ を展開します。 4 ディスクドライブ の下で、ストレージに割り当てられている各 LUN/ 仮想ディスクについて、4 台の SCSI ディスクデバイスが表示されて いることを確認します。 5 記憶域 を展開し、ディスクの管理 をクリックします。 ディスクの初期化と変換ウィザードの開始 の画面が表示されたら、 手順 a ～ 手順 d を実行します。それ以外の場合は、手順 6 に進んで ください。 a ディスクの初期化と変換ウィザードへようこそ ウィンドウで、 次へ をクリックします。 b ディスク ウィンドウの 初期化するディスクの選択 ウィンドウ で、お使いのストレージ LUN/ 仮想ディスクと関連するディスク を選択し、次へ をクリックします。 c 変換するディスクの選択 ウィンドウで、手順 b で選択したディ スクをクリアし、次へ をクリックします。 メモ：この手順に
Oracle Clusterware、データベース、バック アップ用のディスクの準備 本項では、以下のディスク用に論理ドライブを作成するための情報を提 供します。 • Oracle Cluster Registry（OCR）ディスク — クラスタ設定情報が 格納されています。 • 投票ディスク（Voting Disk）— 1 つまたは複数のノードでプライ ベートネットワークまたは接続ストレージが使用できない場合に、 クラスタノード間にアービトレーションを提供します。 • データディスクとバックアップディスク — データベースを作成し （データディスク）、バックアップとログデータを保存する（バック アップディスク）ためのストレージ領域を提供します。 本書で説明されているクラスタ設定を行う際に、共有ストレージ上に パーティションを作成します。パーティションの作成時には、接続され ているストレージシステム内に作成された LUN または論理ディスクを クラスタノードが検出できることを確認します。 Oracle Clusterware 用のディスクを準備するには、OCR ディスク、投 票ディスク、データディ
共有ディスクの自動マウントオプションの有効化 1 ノード 1 で スタート をクリックし、ファイル名を指定して実行 を 選択します。 2 ファイル名を指定して実行 フィールドに cmd と入力し、 OK をクリックします。 3 コマンドプロンプトで、diskpart と入力し、 を押します。 4 DISKPART コマンドプロンプトで automount enable と入力し、 を押します。 次のメッセージが表示されます。Automatic mounting of new volumes enabled.
7 完了 をクリックします。 手順 3 で選択したディスクパーティション領域が、拡張パーティ ションとして設定されます。 8 クラスタノードに割り当てられているすべての共有ディスクで、 手順 3 ～ 手順 7 を繰り返します。 9 OCR ディスク用に論理ドライブを作成します。 a OCR と投票ディスク（2 GB LUN/ 仮想ディスク）用として識別 されたディスクのパーティション領域で空き領域を右クリック し、新しい論理ドライブ を選択します。 新しいパーティションウィザードの開始 が表示されます。 b 次へ をクリックします。 c パーティションの種類を選択 ウィンドウで 論理ドライブ を選択 し、次へ をクリックします。 d パーティションサイズの指定 ウィンドウの パーティションサイ ズ（MB）フィールドに 120 と入力し、次へ をクリックします。 e ドライブ文字またはパスの割り当て ウィンドウで、ドライブ文 字またはドライブパスを割り当てない を選択し、次へ をクリッ クします。 f パーティションのフォーマット ウィンドウで、このパーティ ションをフォーマットしない を
d パーティションサイズの指定 ウィンドウの パーティションサイ ズ（MB）フィールドに 50 と入力し、次へ をクリックします。 e ドライブ文字またはパスの割り当て ウィンドウで、ドライブ文 字またはドライブパスを割り当てない を選択し、次へ をクリッ クします。 f パーティションのフォーマット ウィンドウで、このパーティ ションをフォーマットしない を選択し、次へ をクリックします。 g 完了 をクリックします。 h 手順 a ～ 手順 g を繰り返して、追加の投票ディスクパーティ ションを 2 つ作成します。 メモ：冗長投票ディスクと OCR を使用している場合は、冗長投票ディス クと OCR について 手順 9 および 手順 10 の手順を繰り返します。 Windows 2008 で Clusterware 用の OCR ディスクと投票ディスクを 準備する手順 メモ：拡張パーティションと論理ドライブを作成する手順は、Windows 2003 での手順と同一ですが、Windows 2008 では同じ手順をディスクの管理 GUI から行うことはできなくなっています。 拡張パーティ
4 ターゲットディスクの select disk [ ディスク番号 ] を入力しま す。 メモ：以下の手順では、MBR ディスク用のパーティションと論理ディス クを作成する方法を説明します。 5 create partition extended と入力し、Enter を押します。 6 create partition logical size=< ボリュームサイズ（MB） > と入力し、Enter を押します。 OCFS を使用したデータベースストレージ用のデータベースディ スクとフラッシュリカバリ領域の準備 本項では、OCFS（Oracle Clustered File System）ストレージディスク の作成に使用する論理ドライブの作成方法について説明します。 メモ：ASM（Automatic Storage Management）を使用する場合、ASM デー タディスクグループのサイズはデータベース（複数の LUN）を上回ってい る必要があり、ASM フラッシュリカバリ領域のディスクグループのサイ ズは、データディスクグループの 2 倍以上である必要があります。 メモ：ASM ストレージディスクの作
g パーティションのフォーマット ウィンドウで、このパーティ ションをフォーマットしない を選択し、次へ をクリックします。 h 完了 をクリックします。 2 ノード 1 で、フラッシュリカバリ領域用に 1 つの論理ドライブを作 成します。 a フラッシュリカバリ領域に割り当てられたディスクを確認し ます。 b 手順 1 の 手順 b ～ 手順 h を実行します。 3 他のすべてのノードを再起動し、Administrator としてログインし ます。 ASM を使用したデータベースストレージ用のデータベースディ スクとフラッシュリカバリ領域の準備 本項では、ASM ディスクストレージの作成に使用する論理ドライブの 作成方法について説明します。ASM ディスクストレージは、複数の ディスクへのスパニングが可能な 1 つまたは複数のディスクグループ で構成されています。 メモ：OCFS ストレージディスクの作成に使用する論理ドライブを作成す る場合は、次の手順を省略して、263 ページの「OCFS を使用したデータ ベースストレージ用のデータベースディスクとフラッシュリカバリ領域の 準備」の手順
f ドライブ文字またはパスの割り当て ウィンドウで、ドライブ文 字またはドライブパスを割り当てない を選択し、次へ をクリッ クします。 g パーティションのフォーマット ウィンドウで、このパーティ ションをフォーマットしない を選択し、次へ をクリックします。 h 完了 をクリックします。 2 フラッシュリカバリ領域用に 1 つの論理ドライブを作成します。 a フラッシュリカバリ領域に割り当てられたディスクを確認し ます。 b 手順 1 の 手順 b ～ 手順 h を実行します。 3 他のすべてのノードを再起動し、Administrator としてログインし ます。 割り当て済みのドライブ文字の削除 1 各ノードの Windows デスクトップで、マイコンピュータ を右ク リックし、管理 を選択します。 2 コンピュータの管理 ウィンドウで、記憶域 を展開し、ディスクの管 理 をクリックします。 3 260 ページの「Windows 2003 で Clusterware 用の OCR ディスクと 投票ディスクを準備する手順」で作成したドライブにドライブ文字 が割り当てられている場合は、
Oracle RAC DB 用のネットワークおよびストレージ（記憶域）の設定
索引 A M ASM, 263 Microsoft iSCSI イニシ エータ , 255 D Dell/EMC ファイバーチ ャネル , 225 DNS, 243 Modular Disk Storage Manager, 252 O OCFS, 263 E EMC PowerPath, 251 EqualLogic 用語 グループ , 220 プール , 220 ボリューム , 220 メンバー , 220 P PowerConnect スイッチ , 239 S SAN, 226 SAS クラスタ , 231 SDL, 252 I IP アドレス パブリック IP アドレス , 243 仮想 IP アドレス , 243 T TCP オフロードエンジン , 245 iSCSI HBA, 235 索引 267
か ふ 仮想インターネットプ ロトコル , 250 フロー制御 , 253 へ き ギガビットイーサネット スイッチ , 225 ヘルプ Oracle サポート , 222 デルサポート , 221 け ほ ケーブル CAT 5e, 224 CAT 6, 224 SAS ケーブル , 231 ボンディング済みのペア , 244 し ジャンボパケット , 254 ジャンボフレーム , 253 て ディスク Oracle Cluster Registry ディスク , 259 冗長投票ディスク , 262 データディスクとバックアップ ディスク , 259 投票ディスク , 259 268 索引
Sistemas Dell™ PowerEdge™ Base de datos Oracle® en Microsoft® Windows Server® x64 Guía de almacenamiento y redes versión 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones o incluso la muerte. ____________________ La información contenida en este documento puede modificarse sin previo aviso. © 2009 Dell Inc. Todos los derechos reservados.
Contenido 1 Información general . . . . . . . . . . . . . . . . . . . . Documentación necesaria para implantar la base de datos Dell™ Oracle . . . . . . . . . . . . . . . . . . . . . . . . . 275 . . . . . . . . . . . . . . 276 . . . . . . . . . . . . . . . . . . . . . . . . . . 276 . . . . . . . . . . . . . . . . . . . . . . . . . 277 Terminología utilizada en este documento Obtención de ayuda Asistencia de Dell Asistencia de Oracle . 2 . . . . . . . . . . . . . . . . . . . . . . .
4 Configuración del clúster iSCSI para Dell™ PowerVault™ MD3000i y los alojamientos de expansión de PowerVault MD1000 . . . . . . . 289 . . . . . 291 . . . . . . . . 291 Configuración del clúster iSCSI con un sistema de almacenamiento PowerVault MD3000i y alojamientos de expansión PowerVault MD1000 . . . . . . . . . . . . . Cableado del sistema de almacenamiento iSCSI 5 Configuración del clúster iSCSI para los sistemas de almacenamiento Dell™ EqualLogic™ serie PS . . . . . . .
Instalación del software multirruta para el almacenamiento . . . . . . . . . . . . . . . . . . . . . . . . 307 Instalación de PowerPath en sistemas Dell/EMC . . . . . . . . 307 Instalación del software de controlador multirruta para MD3000/MD3000i . . . . . . . . . . . . . . . . . . . . . . . 307 ® Instalación del software del controlador multirruta para las matrices de almacenamiento EqualLogic iSCSI . . . . . 307 Verificación de las funciones del controlador multirruta . . . . . 307 . . .
Contenido
Información general La guía de almacenamiento y redes de la Base de datos Oracle® en Microsoft® Windows® es aplicable a: • Base de datos Oracle® 10g R2 o 11g R1 Enterprise Edition en Microsoft® Windows Server® 2003 R2 Standard/Enterprise x64 Edition o Windows Server 2008 SP2 Enterprise/Standard x64 Edition • Base de datos Oracle 10g R2 u 11g R1 Standard Edition en Windows Server 2003 R2 SP2 o Windows Server 2008 SP2 Standard x64 Edition Documentación necesaria para implantar la base de datos Dell™ Oracl
Terminología utilizada en este documento En este documento se utilizan los términos número de unidad lógica (LUN) y disco virtual. Dichos términos son sinónimos y pueden utilizarse indistintamente. El término LUN suele utilizarse en un entorno de sistema de almacenamiento Dell/EMC Fibre Channel, mientras que disco virtual suele emplearse en un entorno de almacenamiento iSCSI o SAS Dell PowerVault™ (Dell MD3000 y Dell MD3000i con expansión MD1000).
Asistencia de Dell • Para obtener información detallada sobre el uso del sistema, consulte la documentación incluida con los componentes del sistema. • Para obtener documentos técnicos, las configuraciones admitidas por Dell e información general, visite la página web de configuraciones probadas y validadas por Dell|Oracle en dell.com/oracle.
Información general
Configuración del clúster Fibre Channel AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 2-1. Conexiones de hardware para un clúster Fibre Channel de conexión mediante SAN. Sistemas cliente Conmutadores Ethernet Gigabit (red privada) LAN/WAN Sistemas Dell™ PowerEdge™ (base de datos Oracle) Conmutadores Dell/EMC Fibre Channel (SAN) Sistemas de almacenamiento Dell/EMC Fibre Channel CAT 5e/6 (NIC pública) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Cables de fibra óptica adicionales Tabla 2-1.
Tabla 2-1. Interconexiones de hardware Fibre Channel (continuación) Componente del clúster Conexiones Sistema de almacenamiento Dell/EMC Fibre Channel • Dos cables CAT 5e o CAT 6 conectados a la LAN • De una a cuatro conexiones de cable de fibra óptica a cada conmutador Fibre Channel.
Ilustración 2-2. Cableado de un clúster Dell/EMC Fibre Channel de conexión mediante SAN Dos puertos HBA para el nodo 1 Dos puertos HBA para el nodo 2 sw0 sw1 SP-B SP-A Almacenamiento Dell/EMC CX4-480 Fibre Channel Utilice el procedimiento siguiente para configurar el sistema de almacenamiento del clúster Oracle en una configuración de conexión mediante SAN de cuatro puertos. 1 Conecte un cable óptico del puerto 0 de SP-A al conmutador 0 Fibre Channel.
5 Conecte un cable óptico del HBA 0 del nodo 1 al conmutador 0 Fibre Channel. 6 Conecte un cable óptico del HBA 1 del nodo 1 al conmutador 1 Fibre Channel. 7 Conecte un cable óptico del HBA 0 de cada nodo adicional al conmutador 0 Fibre Channel. 8 Conecte un cable óptico del HBA 1 de cada nodo adicional al conmutador 1 Fibre Channel.
Configuración del clúster Fibre Channel
Configuración del clúster SAS para Dell™ PowerVault™ MD3000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 3-1. Cableado del clúster SCSI (SAS) de conexión serie y Dell PowerVault MD3000 Red pública LAN/WAN Sistemas PowerEdge Sistema de almacenamiento PowerVault MD3000 CAT 5e/6 (NIC Gigabit de cobre) CAT 5e/6 (NIC Gigabit de cobre) Cables SAS Tabla 3-1. Interconexiones de hardware del clúster SAS Componente del clúster Conexiones Nodo del sistema PowerEdge • Un cable CAT 5e/6 de la NIC pública a la red de área local (LAN).
Tabla 3-1. Interconexiones de hardware del clúster SAS (continuación) Componente del clúster Conexiones Sistema de almacenamiento • Dos cables CAT5e/6 conectados a una LAN (uno desde cada módulo del procesador de almacenamiento) • Dos conexiones SAS a cada nodo del sistema PowerEdge mediante una controladora SAS 5/E. Consulte "Cableado del sistema de almacenamiento SAS" en la página 287. Conmutador Ethernet Gigabit • Una conexión CAT5e/6 a la NIC Gigabit privada en cada sistema PowerEdge.
Ilustración 3-2.
Configuración del clúster iSCSI para Dell™ PowerVault™ MD3000i y los alojamientos de expansión de PowerVault MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Tabla 4-1. Interconexiones de hardware iSCSI Componente del clúster Conexiones Un nodo del sistema PowerEdge • Un cable CAT 5e/6 de la NIC pública a la red de área local (LAN). • Un cable CAT 5e/6 de la NIC Gigabit privada al conmutador Ethernet Gigabit (red privada). • Un cable CAT 5e/6 de la NIC Gigabit privada redundante al conmutador Ethernet Gigabit redundante (red privada).
Configuración del clúster iSCSI con un sistema de almacenamiento PowerVault MD3000i y alojamientos de expansión PowerVault MD1000 Cableado del sistema de almacenamiento iSCSI Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 4-1.
5 Conecte dos cables SAS de los dos puertos de salida de MD3000 a los dos puertos de entrada del primer alojamiento de expansión Dell PowerVault MD1000 (opcional). 6 Conecte dos cables SAS de los dos puertos de salida de MD1000 a los puertos In-0 del segundo alojamiento de expansión Dell PowerVault MD1000 (opcional).
3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1. 4 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 2. 5 Conecte un cable CAT 5e/6 de un puerto del conmutador 1 al puerto In-0 de la controladora RAID 0 en el alojamiento para almacenamiento Dell PowerVault MD3000i.
Configuración del clúster iSCSI para Dell PowerVault MD3000i y MD1000
Configuración del clúster iSCSI para los sistemas de almacenamiento Dell™ EqualLogic™ serie PS AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Además, desde cada uno de los módulos de control, se recomienda conectar una interfaz Gigabit a un conmutador Ethernet y las otras dos interfaces Gigabit al otro conmutador Ethernet. Ilustración 5-1.
Ilustración 5-2.
Tal como se muestra en la illustración 5-2, el grupo denominado oracle-group incluye tres miembros PS5000XV: • oracle-member01 • oracle-member02 • oraclemember03 Al inicializar un miembro, se puede configurar con RAID 10, RAID 5 o RAID 50. Para obtener más información sobre cómo inicializar una matriz EqualLogic, consulte la guía del usuario de Dell EqualLogic. Un grupo de almacenamiento de la serie PS se puede segregar en varios niveles en cascada o bloques.
Configuración de la red y el almacenamiento para la base de datos Oracle® RAC En esta sección se proporciona información sobre la configuración de la red y el almacenamiento. • Configuración de las redes pública y privada • Verificación de la configuración del almacenamiento • Configuración del almacenamiento compartido para el software de clúster Oracle® y la base de datos Oracle NOTA: Oracle RAC es una configuración de base de datos compleja que requiere una lista ordenada de los procedimientos.
Tabla 6-1. Asignaciones de puertos NIC Puerto NIC Tres puertos disponibles Cuatro puertos disponibles 1 IP pública e IP virtual IP pública 2 IP privada (grupo de NIC) IP privada (grupo de NIC) 3 IP privada (grupo de NIC) IP privada (grupo de NIC) 4 ND IP virtual Configuración y agrupación de la red privada Antes de implantar el clúster, asigne una dirección IP y un nombre de host privados a cada nodo del clúster.
Configuración de la agrupación de NIC para los adaptadores de red privada NOTA: En esta solución no se admite la función de motor de descarga TPC (TOE) de una NIC compatible con TOE. 1 Identifique en el nodo 1 los dos adaptadores de red que se utilizarán para la agrupación de NIC. 2 Conecte un cable Ethernet de cada adaptador de red seleccionado al conmutador de la red privada. 3 Si el nodo 1 está configurado con NIC Broadcom, vaya al paso 4.
k En la ventana Team Properties (Propiedades del grupo), haga clic en OK (Aceptar). l En la ventana Intel NIC's Properties (Propiedades de NIC Intel), haga clic en OK (Aceptar). m Cierre la ventana Computer Management (Administración de equipos). 4 Si el nodo 1 está configurado con NIC Broadcom, realice los pasos siguientes para configurar la agrupación de NIC. De lo contrario, vaya al paso 5. a Haga clic en Start (Inicio)→ Programs (Programas)→ Broadcom→ Broadcom Advanced Control Suite 3.
g Haga clic en Next (Siguiente). h En la ventana Designating a Standby Member (Designación de miembro en espera), seleccione una NIC; si no seleccione Do not configure a standby member (No configurar un miembro en espera). i En la ventana Configuring Live Link (Configuración de enlace activo), seleccione No y haga clic en Next (Siguiente).
NOTA: Cuando configure los adaptadores de red en los nodos del clúster, utilice nombres idénticos para los adaptadores públicos y los adaptadores privados en todos los nodos del clúster. De lo contrario, el programa de instalación de la base de datos Oracle generará un error y no será posible completar el procedimiento de instalación. c Cambie el nombre del adaptador público a Público y pulse .
3 Asegúrese de que los adaptadores de red pública y privada aparecen en el orden adecuado para el acceso mediante los servicios de red. a En el escritorio de Windows, haga clic en Start (Inicio)→ Settings (Configuración)→ Control Panel (Panel de control)→ Network Connections (Conexiones de red). b En la ventana Network Connections (Conexiones de red), haga clic en Advanced (Opciones avanzadas) y seleccione Advanced Settings (Configuración avanzada).
NOTA: No es necesario registrar las direcciones IP privadas con el servidor DNS, ya que no se puede acceder a las direcciones IP de la red privada desde la red pública. 5 Repita del paso 1 al paso 4 en los nodos restantes. 6 Asegúrese de que los nodos del clúster pueden comunicarse con las redes pública y privada. a En el nodo 1, abra una ventana de indicador de comandos.
Instalación del software multirruta para el almacenamiento Siga las instrucciones que se indican en la documentación incluida con el dispositivo de almacenamiento para instalar el software multirruta adecuado. Instalación de PowerPath® en sistemas Dell/EMC 1 En el nodo 1, instale EMC® PowerPath®. NOTA: Para obtener más información, consulte la documentación de EMC PowerPath incluida con el sistema de almacenamiento de Dell/EMC.
Verificación y actualización del firmware • Detecte el almacenamiento de conexión directa del servidor host mediante el software Modular Disk Storage Manager instalado en el servidor host. • Compruebe que la versión del firmware de los componentes de almacenamiento siguientes es la mínima necesaria. Consulte la lista de soluciones disponibles (SDL) para conocer los requisitos de la versión del firmware.
Tabla 6-4.
Configuración de redes iSCSI Dell recomienda configurar las interfaces de red del host para el tráfico iSCSI de modo que utilicen el control de flujo y la trama gigante para obtener un rendimiento óptimo. Para definir el control de flujo y la trama gigante, realice los pasos siguientes: 1 Seleccione Start (Inicio)→ Settings (Configuración)→ Network Connections (Conexiones de red). 2 Resalte la interfaz de red iSCSI y haga clic con el botón derecho del ratón en Properties (Propiedades).
4 En la ventana License Agreements (Contratos de licencia), seleccione I accept the terms of all the license agreements (Acepto los términos de todos los contratos de licencia) y haga clic en Next (Siguiente). 5 En la ventana Installation Type (Tipo de instalación), haga clic en Next (Siguiente). 6 En la ventana Ready to install the components (Preparado para instalar los componentes), haga clic en Install (Instalar).
Instalación del iniciador iSCSI de Microsoft 1 Haga clic en Start (Inicio)→ Settings (Configuración)→ Control Panel (Panel de control)→ Add or Remove Programs (Agregar o quitar programas). 2 Seleccione Microsoft iSCSI Initiator (Iniciador iSCSI de Microsoft) y haga clic en Remove (Quitar). Con este paso se elimina el iniciador incluido con el paquete HIT actual. 3 En la ventana Software Update Removal Wizard (Asistente para la eliminación de la actualización de software), haga clic en Next (Siguiente).
Configuración del iniciador iSCSI de Microsoft 1 Haga doble clic en el icono Microsoft iSCSI Initiator (Iniciador iSCSI de Microsoft) que se encuentra en el escritorio. 2 En la ficha Discovery (Detección) de la ventana iSCSI Initiator Properties (Propiedades del iniciador iSCSI), el kit de herramientas HIT ya debería haber rellenado la dirección IP de la dirección del grupo EqualLogic.
7 En la ficha Targets (Destinos) de la ventana iSCSI Initiator Properties (Propiedades del iniciador iSCSI), el estado del volumen en el que se ha iniciado sesión debe ser Connected (Conectado). 8 Repita del paso 3 al paso 7 para iniciar sesión en el mismo volumen para el resto de las direcciones IP del iniciador iSCSI. 9 Repita del paso 3 al paso 8 para iniciar sesión en el resto de los volúmenes creados para la base de datos. 10 Repita del paso 1 al paso 9 en los demás hosts del clúster.
c En la ventana Select Disks to Convert (Seleccione los discos que desea convertir), deseleccione los discos que ha seleccionado en el paso b y haga clic en Next (Siguiente). NOTA: Este procedimiento garantiza que los discos se configuren como básicos. d Haga clic en Finish (Finalizar). 6 En la ventana Disk Management (Administración de discos), compruebe si aparecen cuatro discos.
Habilitación de la opción de montaje automático para los discos compartidos 1 En el nodo 1, haga clic en Start (Inicio) y seleccione Run (Ejecutar). 2 En el campo Run (Ejecutar), escriba cmd y haga clic en OK (Aceptar). 3 En el indicador de comandos, escriba diskpart y pulse . 4 En el indicador de comandos de DISKPART, escriba automount enable y pulse Intro. Se muestra el mensaje siguiente: Automatic mounting of new volumes enabled (Montaje automático de nuevos volúmenes habilitado).
6 En la ventana Specify Partition Size (Especificar el tamaño de la partición), acepte el tamaño predeterminado y haga clic en Next (Siguiente). 7 Haga clic en Finish (Finalizar). El área de partición de disco que ha seleccionado en el paso 3 se configura como partición extendida. 8 Repita los pasos del paso 3 al paso 7 en todos los discos compartidos que están asignados a los nodos del clúster. 9 Cree una unidad lógica para el disco OCR.
10 Cree una unidad lógica para el disco de votación. a En el área de partición del disco identificada para los discos OCR y de votación (disco virtual/LUN de 2 GB), haga clic con el botón derecho del ratón en el espacio libre y seleccione New Logical Drive (Unidad lógica nueva). Aparece la ventana Welcome to the New Partition Wizard (Éste es el Asistente para partición nueva). b Haga clic en Next (Siguiente).
Preparación de los discos OCR y de votación para el software de clúster en Windows 2008 NOTA: Los pasos para crear particiones extendidas y unidades lógicas son los mismos que los pasos de Windows 2003; sin embargo, ya no es posible realizar dichos pasos en Windows 2008 desde la GUI de Disk Management (Administración de discos).
Preparación del disco de base de datos y el área de recuperación flash para el almacenamiento de base de datos con OCFS En esta sección se proporciona información para crear las unidades lógicas que se utilizarán para la creación del disco de almacenamiento OCFS (Sistema de archivos de clúster de Oracle).
2 En el nodo 1, cree una unidad lógica para el área de recuperación flash. a Localice el disco asignado para el área de recuperación flash. b Realice del paso b al paso h indicados en paso 1. 3 Reinicie los demás nodos e inicie sesión como administrador.
g En la ventana Format partition (Formatear la partición), seleccione Do not format this partition (No formatear esta partición) y haga clic en Next (Siguiente). h Haga clic en Finish (Finalizar). 2 Cree una unidad lógica para el área de recuperación flash. a Localice el disco asignado para el área de recuperación flash. b Realice del paso b al paso h indicados en paso 1. 3 Reinicie los demás nodos e inicie sesión como administrador.
Índice A ASM, 320 ayuda asistencia de Dell, 277 asistencia de Oracle, 277 C cable cable SAS, 287 CAT 5e, 280 CAT 6, 280 clústeres de SAS, 287 conmutador Ethernet Gigabit, 281 conmutador PowerConnect, 295 discos disco de registro del clúster Oracle, 315 disco de votación, 315 disco de votación redundante, 318 discos de datos y de copia de seguridad, 315 DNS, 299 E EMC PowerPath, 307 F Flow Control, 310 D Dell/EMC Fibre Channel, 281 dirección IP dirección IP pública, 299 dirección IP virtual, 299 H HBA
J S Jumbo frames, 310 SAN, 281 Jumbo Packet, 310 SDL, 308 M T Microsoft iSCSI Initiator, 312 términos de EqualLogic bloque, 276 grupo, 276 miembro, 276 volumen, 276 Modular Disk Storage Manager, 308 motor de descarga TCP, 301 O OCFS, 320 P par de bonding, 300 protocolo virtual de Internet, 306 324 Índice
