Oracle Linux 8上 Oracle ASM 共享盘命名方案 —— multipath 与 udev 两种实现

环境：Oracle Linux 8（OEL8）+ multipath-tools / systemd，两节点 fmsbzdb1 / fmsbzdb2（RAC 演练环境）
虚拟化：VirtualBox SATA 共享 VMDK，guest 侧 vendor=ATA、model=VBOXHARDDISK
原始需求：给 ASM 提供两节点名字一致的共享盘路径，并保证设备属组满足 OSDBA 要求
结论：本环境最终采用 multipath 方案，放弃 udev 软链方案（两种方案不叠加）

0. 环境速览与盘位

0.1 共享盘（两节点 wwid 完全一致）

0.2 各节点独有盘（系统盘，必须排除）

注意：早期排查时 db2 曾出现 sda=VBOX_HARDDISK_VB78f24c9c（共享盘排到 sda），后续重新枚举后变回 sda=系统盘。这类“sd 字母漂移”是本方案的直接动因。

0.3 为什么必须按 wwid 固定名

同一块盘在不同节点、不同次开机拿到的 sdx 不同：

• db1：asmocr01 → sdb
• db2 首轮：asmocr01 → sda；末轮：asmocr01 → sdb
• db2 的 asmdata02/03 在两次观测中 sdd / sde 互换

结论：任何基于 sdx 的路径（asm_diskstring、rsp 的 diskGroup.disks、udev 的 KERNEL=="sdb"）都不可靠，必须锚定 wwid。

1. 两种方案对比与选型

本环境选择 A 的理由

1. 单路径设备 multipath 同样会建图（find_multipaths no），命名与权限都在一份 multipath.conf 里闭环，不依赖任何 udev 规则文件；
2. 后续若换到真多路径存储（FC/iSCSI/RDM），配置结构不用重写；
3. 少一处需要同步的 udev 规则（/etc/udev/rules.d/ 在两节点间容易漏拷）。

两套方案不要叠加：一旦 multipath 接管了这些盘，按 sd* 匹配的 udev 软链会指向被 multipathd 占用/接管的底层路径，/dev/asmxxx 与 /dev/mapper/asmxxx 混用会让 ASM 认到两份不同的“同一块盘”。

2. 方案 A：multipath

2.1 软件包与内核模块

# 包名注意：device-mapper 只是 libdevmapper/dmsetup，
# multipath 的 /sbin/multipathd、/sbin/multipath 在 device-mapper-multipath 包里
yum install -y device-mapper device-mapper-multipath

rpm -qa | grep -i multipath
# 期望看到类似：device-mapper-multipath-0.8.x-x.el8.x86_64
#              device-mapper-multipath-libs-0.8.x-x.el8.x86_64

modprobe dm-multipath        # 等价于 dm_multipath
modprobe dm-round-robin      # 多数发行版无独立模块，报 Module not found 属正常
lsmod | grep dm_multipath
# 期望：dm_multipath ...

dmsetup targets | grep -E 'multipath|round-robin'   # 确认 target 已注册

常见现象与判断：

2.2 mpathconf --enable 的坑（重要）

mpathconf --enable 会启用服务并检查/补写 /etc/multipath.conf：缺配置就生成一份默认配置，其中包含 user_friendly_names yes 与本机设备黑名单；对有手写配置的机器，它仍可能把这些默认项补进去。

而本方案的两个关键项恰好是 find_multipaths no、user_friendly_names no。被改成 yes 的后果：

• user_friendly_names yes → 名字改由本机 /etc/multipath/bindings 决定，两节点 mpathX 编号漂移，alias 白做；
• find_multipaths yes → 单路径设备可能不建图，两节点可见性不一致。

安全做法（二选一）：

# 做法 1（推荐）：不执行 mpathconf，直接由 systemd 启用
systemctl enable --now multipathd
systemctl status multipathd

# 做法 2：确实要执行 mpathconf，则先备份、执行后核对并回改
cp -a /etc/multipath.conf /etc/multipath.conf.bak.$(date +%F_%T)
/sbin/mpathconf --enable
multipath -t | grep -E 'find_multipaths|user_friendly_names'   # 看是否被改成 yes

校验口径以 multipath -t（daemon 实际生效值）为准，不要以文件里写了什么为准。

2.3 最终版 /etc/multipath.conf（两节点逐字节一致）

# /etc/multipath.conf —— fmsbzdb1 / fmsbzdb2 完全一致
defaults {
    find_multipaths       no          # 单路径也必须建图；集群场景靠 blacklist 决定
    user_friendly_names   no          # 命名只认 alias/wwid，不用本机 bindings

    path_grouping_policy  multibus
    path_selector         "service-time 0"
    path_checker          tur         # TUR 异常时改 directio
    checker_timeout       15
    polling_interval      10          # 单路径无需 5s 高频轮询

    failback              immediate
    no_path_retry         fail        # 给 ASM：失败即报错，不挂队列
    queue_without_daemon  no
    flush_on_last_del     yes
    max_fds               max
    detect_prio           no

    # 设备节点属主/属组/权限；属组必须等于安装时的 OSDBA 组
    uid                   "500"       # id -u grid 的实际值
    gid                   "54321"     # getent group asmdba 的实际 gid
    mode                  "0660"
}

blacklist {
    devnode "^(ram|zram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
    devnode "^hd[a-z]"
    devnode "^vd[a-z]"

    # 两节点系统盘都写上（各自多黑一个不存在的 wwid，无副作用），保证 conf 一致
    wwid  "VBOX_HARDDISK_VBfd03285d-460bcb9e"     # db1 系统盘
    wwid  "VBOX_HARDDISK_VBbef8357d-8d2d8b87"     # db2 系统盘
}

devices {
    device {
        vendor                "ATA"
        product               "VBOXHARDDISK"
        path_grouping_policy  multibus
        path_checker          tur
        no_path_retry         fail
        features              "0"
        hardware_handler      "0"
    }
}

multipaths {
    multipath {
        wwid  "VBOX_HARDDISK_VB78f24c9c-81b5a323"
        alias "asmocr01"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VB9e185111-851fa9f6"
        alias "asmdata01"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBfe936f89-6e4b70ac"
        alias "asmdata02"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBc5405f15-edfbaeb7"
        alias "asmdata03"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBb02983a4-8d191e4f"
        alias "asmarch01"
    }
}

2.3.1 直接粘贴落地（heredoc 方式）

同一份内容也可以整段 cat > 覆盖，不用 vi 手敲。要点是定界符必须加单引号 'EOF'，否则 shell 会展开 $、反引号和转义，配置被悄悄改掉：

# 1) 先备份（cat > 是整体覆盖，没有后悔余地）
cp -a /etc/multipath.conf /etc/multipath.conf.bak.$(date +%F_%T)

# 2) 整段粘贴。注意 <<'EOF' 带引号，且每行缩进按原样保留
cat > /etc/multipath.conf <<'EOF'
defaults {
    find_multipaths       no
    user_friendly_names   no
    path_grouping_policy  multibus
    path_selector         "service-time 0"
    path_checker          tur
    checker_timeout       15
    polling_interval      10
    failback              immediate
    no_path_retry         fail
    queue_without_daemon  no
    flush_on_last_del     yes
    max_fds               max
    detect_prio           no
    uid                   "500"
    gid                   "54321"
    mode                  "0660"
}
blacklist {
    devnode "^(ram|zram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
    devnode "^hd[a-z]"
    devnode "^vd[a-z]"
    wwid  "VBOX_HARDDISK_VBfd03285d-460bcb9e"
    wwid  "VBOX_HARDDISK_VBbef8357d-8d2d8b87"
}
devices {
    device {
        vendor                "ATA"
        product               "VBOXHARDDISK"
        path_grouping_policy  multibus
        path_checker          tur
        no_path_retry         fail
        features              "0"
        hardware_handler      "0"
    }
}
multipaths {
    multipath {
        wwid  "VBOX_HARDDISK_VB78f24c9c-81b5a323"
        alias "asmocr01"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VB9e185111-851fa9f6"
        alias "asmdata01"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBfe936f89-6e4b70ac"
        alias "asmdata02"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBc5405f15-edfbaeb7"
        alias "asmdata03"
    }
    multipath {
        wwid  "VBOX_HARDDISK_VBb02983a4-8d191e4f"
        alias "asmarch01"
    }
}
EOF

# 3) 落地后三件事：编码/换行、语法、生效值
grep -c $'\r' /etc/multipath.conf          # 期望 0，非 0 说明被 CRLF 污染
multipath -t 2>&1 | grep -iE 'invalid|missing|ignoring|unknown'   # 期望空
multipath -t | grep -E 'find_multipaths|user_friendly_names|alias|uid|gid|mode'

粘贴时的四个坑：

cat > 与 vi 两种方式等价，区别只在：cat > 是整体覆盖（多余的历史段落会被清掉，这反而是好事，能避免“两个 defaults 块”这类残留），而 vi 容易改漏。

三条硬性书写规则

1. multipath { } 块内每个关键字独占一行，multipath { wwid "..." alias "..." } 单行写法解析器不认；
2. 全文件只能有一个 defaults 块；
3. wwid 字符串必须与 multipath -ll 输出完全一致（本环境不带 1ATA_ 前缀）。

2.4 生效与校验

# 1. 解析干净
multipath -t 2>&1 | grep -iE 'invalid|missing|ignoring|unknown'   # 期望输出为空
multipath -t | grep -E 'alias|uid|gid|mode'

# 2. 权限只在建 map 时写入，已有 map 需重建
for m in asmocr01 asmdata01 asmdata02 asmdata03 asmarch01; do multipath -f $m 2>/dev/null; done
systemctl restart multipathd
systemctl enable multipathd
systemctl status multipathd

# 3. 结果核对
multipath -ll
ls -l /dev/mapper/asm*
stat -Lc '%a %U %G %n' /dev/mapper/asm*        # 必须解析到真实 dm 节点
ls -lL /dev/mapper/asmocr01                    # 软链自身恒为 root root，要看目标

# 4. 两节点一致性（dm-N 编号不要求相同，名字+wwid 必须相同）
multipath -ll | awk '/^asm/{print $1,$2}' | sort > /tmp/mp.$(hostname)
diff /tmp/mp.fmsbzdb1 /tmp/mp.fmsbzdb2

期望形态：

asmocr01 (VBOX_HARDDISK_VB78f24c9c-81b5a323) dm-1 ATA,VBOX HARDDISK
size=10G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 3:0:0:0 sdb 8:16 active ready running

2.5 与 ASM 对接

# 发现串必须指 alias 路径，不能再写 /dev/asm*
export ASM_DISKSTRING='/dev/mapper/asm*'
kfod ds=true disks=asm numdg=false ASM_DISKSTRING='/dev/mapper/asm*'

# grid 用户实际打开一块盘（属组验证的终局判据）
su - grid -c 'dd if=/dev/mapper/asmocr01 of=/dev/null bs=1024k count=1'

GI 静默响应文件同步修改：

oracle.install.asm.diskGroup.diskDiscoveryString=/dev/mapper/asm*
oracle.install.asm.diskGroup.disks=/dev/mapper/asmocr01,/dev/mapper/asmdata01,/dev/mapper/asmdata02,/dev/mapper/asmdata03,/dev/mapper/asmarch01

3. 方案 B：udev 软链

3.1 规则文件（现场原始版本）

cat > /etc/udev/rules.d/99-oracle-asm.rules <<'EOF'
KERNEL=="sd*",SUBSYSTEM=="block",ENV{DEVTYPE}=="disk",ENV{ID_SERIAL}=="VBOX_HARDDISK_VB78f24c9c-81b5a323",SYMLINK+="asmocr01",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",ENV{DEVTYPE}=="disk",ENV{ID_SERIAL}=="VBOX_HARDDISK_VB9e185111-851fa9f6",SYMLINK+="asmdata01",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",ENV{DEVTYPE}=="disk",ENV{ID_SERIAL}=="VBOX_HARDDISK_VBfe936f89-6e4b70ac",SYMLINK+="asmdata02",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",ENV{DEVTYPE}=="disk",ENV{ID_SERIAL}=="VBOX_HARDDISK_VBc5405f15-edfbaeb7",SYMLINK+="asmdata03",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",ENV{DEVTYPE}=="disk",ENV{ID_SERIAL}=="VBOX_HARDDISK_VBb02983a4-8d191e4f",SYMLINK+="asmarch01",OWNER="grid",GROUP="asmadmin",MODE="0660"
EOF
cat /etc/udev/rules.d/99-oracle-asm.rules

规则文件同样用 heredoc 落地即可（上面就是现成命令）。定界符必须写 <<'EOF'；粘贴后先 grep -c $'\r' /etc/udev/rules.d/99-oracle-asm.rules 应为 0，否则规则里的 ID_SERIAL 尾随 CR 后永不命中，表现为”软链死活不出现、udevadm test 也看不出错”。

3.2 生效与校验

udevadm control --reload-rules
udevadm trigger --type=devices --action=change
udevadm settle

ls -l /dev/asm*                        # 软链存在且指向对应 sd
ls -lL /dev/asmocr01                   # 属主属组要看解析后的真实节点
udevadm test /sys/block/sdb            # 不生成软链时，看规则是否命中
udevadm info --query=env --name=/dev/sdb | grep ID_SERIAL

3.3 三个必须知道的细节

1. ID_SERIAL 不带 1ATA_ 前缀
   • udevadm info --query=env / multipath -ll 里是 VBOX_HARDDISK_VB78f24c9c-...
   • /usr/lib/udev/scsi_id -g -u 输出的是 1ATA_VBOX_HARDDISK_VB78f24c9c-...
   • 写 udev 规则和写 multipath.conf 的 wwid 都用不带前缀的那种；带 1ATA_ 只在排查时参考。
2. 必须带 ENV{DEVTYPE}=="disk"
   不加会连分区（sdb1）一起匹配，软链指向分区而不是整盘，ASM 拒用。
3. GROUP 必须是 OSDBA 组
   现场片段写的是 asmadmin，而本方案 multipath 用的是 asmdba。二者只取其一，判定依据是安装时 -OSDBA 的取值： id grid | tr ',' '\n' | grep -E 'asmadmin|asmdba'对不上会在 GI 安装的 CVU 前置检查里报 PRVF-9992 Group of device ... did not match the expected group，属 FATAL。

3.4 局限

• 只是软链，不提供任何冗余；单路径设备出问题没有第二条路可切；
• wwid 一变（重建/克隆 VMDK）→ 规则静默不命中，/dev/asm* 直接消失，ASM 报 ORA-15031；
• 与 multipath 叠加会造成“同一块盘两个入口”，ASM_DISKSTRING 混写会让同一个盘被发现两次。

4. 排错实录（按时间线）

5. 关键参数速查

6. 验收清单

7. 运维红线

1. wwid 会变：VirtualBox VMDK 的序列号来自磁盘 UUID，clonemedium、重建盘、cp 后改 UUID 都会变 → alias 静默不生成、ASM 报 ORA-15031。扩容/重建盘后必须重取 wwid 并同步两节点 conf。
2. alias 不可改：一旦 ASM 用 /dev/mapper/asmocr01 建了磁盘组，改别名等于改路径，必须走“停库 → dismount → 改配置 → 重挂”的完整流程。
3. 改名前先验证占用：lsof +D /dev/mapper、lsblk -o NAME,MOUNTPOINT、pvs -o pv_name,vg_name；被占用时先停库/卸卷组。
4. 两节点 conf 必须 diff 为空：diff /etc/multipath.conf，否则一个节点的 alias 生效、另一个不生效，最隐蔽但也最难查。
5. 不要 chown 手动改权限：map 一重建就丢；也不要为了省事把 grid 加进 disk 组，GI 前置检查 PRVF-9992 会挡住。
6. 保留现场：变更前留 cp -a /etc/multipath.conf、multipath -ll > /tmp/multipath.$(date +%F)、lsblk -o NAME,SIZE,MODEL,SERIAL 三份基线。

8. 命令速查

# 盘识别
for d in /dev/sd*[!0-9]; do printf '%-8s %s\n' "$d" "$(/usr/lib/udev/scsi_id -g -u -d $d 2>/dev/null)"; done
udevadm info --query=property --name=/dev/sdb | grep -E 'ID_SERIAL|ID_WWN'

# multipath
systemctl status|restart|enable multipathd
multipath -t                     # 实际生效配置
multipath -ll                    # map 与路径
multipath -c /dev/sdb            # 该设备是否被 blacklist
multipath -f <alias>             # 删除单个 map（重建权限用）
multipathd show paths format "%d %w %s"    # daemon 侧的 path/wwid 状态

# 权限与占用
stat -Lc '%a %U %G %n' /dev/mapper/asm*
ls -lL /dev/mapper/asmocr01
lsof +D /dev/mapper 2>/dev/null

# ASM
export ASM_DISKSTRING='/dev/mapper/asm*'
kfod ds=true disks=asm numdg=false

8.1 盘识别脚本：两种写法的区别

脚本 A —— sysfs 直读版

for d in /dev/sd*[!0-9]; do
  printf '%-7s vendor=%-12s product=%-16s wwid=%s\n' "$d" \
    "$(cat /sys/block/${d#/dev/}/device/vendor 2>/dev/null)" \
    "$(cat /sys/block/${d#/dev/}/device/model  2>/dev/null)" \
    "$(cat /sys/block/${d#/dev/}/device/wwid 2>/dev/null)"
done

特点：完全不依赖 udev 工具链，rescue/最小化镜像也能跑；wwid 取的是内核上报的原始标识。

脚本 B —— scsi_id 版（带守卫与去空格）

for d in /dev/sd*[!0-9]; do
  [ -b "$d" ] || continue
  printf '%-8s vendor=%-10s model=%-14s wwid=%s\n' "$d" \
    "$(cat /sys/block/${d#/dev/}/device/vendor 2>/dev/null | tr -d ' ')" \
    "$(cat /sys/block/${d#/dev/}/device/model  2>/dev/null | tr -d ' ')" \
    "$(/usr/lib/udev/scsi_id -g -u -d $d 2>/dev/null)"
done

差异对照

同一个盘的三串 wwid（本环境实测）

口诀：sysfs 是”硬件真名”，scsi_id 是”工具别名”，multipath -ll 才是”配置口径”。 FC 环境最容易犯的错就是把 sysfs 的 naa. 串直接粘进 conf —— 100% 不匹配，且没有任何报错。

推荐合并版（排查时一条命令看全）

for d in /dev/sd*[!0-9]; do
  [ -b "$d" ] || continue
  k=${d#/dev/}
  printf '%-6s %-9s %-16s | sysfs=%-48s | scsi_id=%s\n' \
    "$d" \
    "$(cat /sys/block/$k/device/vendor 2>/dev/null | tr -d ' ')" \
    "$(cat /sys/block/$k/device/model  2>/dev/null | tr -d ' ')" \
    "$(cat /sys/block/$k/device/wwid   2>/dev/null)" \
    "$(/usr/lib/udev/scsi_id -g -u -d $d 2>/dev/null)"
done

# 权威口径：daemon 自己认的 wwid（直接抄进 conf 用这个）
multipathd -k'show paths format "%d %w %s"' 2>/dev/null || multipath -ll

取不到 wwid 时（输出为空）先怀疑三件事：设备被 blacklist、虚拟盘未开 disk.EnableUUID、或该路径已被别的多路径软件接管。