RAC - WARNING: failed to online diskgroup resource ora.CRS.dg (unable to communicate with CRSD/OHASD)

ERROR:

Found error while installing 2 node oracle database on cluster.

Shared storage check   

 +DATA1 is not shared across the cluster nodes.   

 +FRA1 is not shared across the cluster nodes.

/u01/app/grid/diag/asm/+asm/+ASM1/trace
[grid@srv1 trace]$ tail -1000f alert_+ASM1.log

WARNING: failed to online diskgroup resource ora.CRS.dg (unable to communicate with CRSD/OHASD)
WARNING: failed to online diskgroup resource ora.DATA1.dg (unable to communicate with CRSD/OHASD)
WARNING: failed to online diskgroup resource ora.FRA1.dg (unable to communicate with CRSD/OHASD)

[root@srv2 ~]# crsctl status resource -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.DATA1.dg
               ONLINE  OFFLINE      srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.FRA1.dg
               ONLINE  OFFLINE      srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.asm
               ONLINE  ONLINE       srv1                     Started,STABLE
               ONLINE  ONLINE       srv2                     Started,STABLE
ora.net1.network
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.ons
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       srv2                     STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       srv1                     STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       srv1                     STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       srv1                     169.254.205.21,STABLE
                                                           
ora.cvu
      1        ONLINE  ONLINE       srv1                     STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       srv1                     Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       srv1                     STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       srv2                     STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       srv1                     STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       srv1                     STABLE
ora.srv1.vip
      1        ONLINE  ONLINE       srv1                     STABLE
ora.srv2.vip
      1        ONLINE  ONLINE       srv2                     STABLE
--------------------------------------------------------------------------------
[root@srv2 ~]#

[root@srv2 ~]# crsctl status resource -t -init

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.asm

      1        ONLINE  ONLINE       srv2                     Started,STABLE

ora.cluster_interconnect.haip

      1        ONLINE  ONLINE       srv2                     STABLE

ora.crf

      1        ONLINE  ONLINE       srv2                     STABLE

ora.crsd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.cssd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.cssdmonitor

      1        ONLINE  ONLINE       srv2                     STABLE

ora.ctssd

      1        ONLINE  ONLINE       srv2                     ACTIVE:700,STABLE

ora.diskmon

      1        OFFLINE OFFLINE                               STABLE

ora.drivers.acfs

      1        ONLINE  ONLINE       srv2                     STABLE

ora.evmd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.gipcd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.gpnpd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.mdnsd

      1        ONLINE  ONLINE       srv2                     STABLE

ora.storage

      1        ONLINE  ONLINE       srv2                     STABLE

[grid@srv1 ~]$ . oraenv

ORACLE_SID = [+ASM1] ?

The Oracle base remains unchanged with value /u01/app/grid

[grid@srv1 ~]$ sqlplus / as sysasm

SQL*Plus: Release 12.1.0.2.0 Production on Tue Aug 13 11:43:06 2019

Copyright (c) 1982, 2014, Oracle.  All rights reserved.

Connected to:

Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production

With the Real Application Clusters and Automatic Storage Management options

SQL> ALTER DISKGROUP ALL MOUNT /* asm agent */

  2  ;

ALTER DISKGROUP ALL MOUNT /* asm agent */

*

ERROR at line 1:

ORA-15032: not all alterations performed

ORA-15017: diskgroup "FRA1" cannot be mounted

ORA-15013: diskgroup "FRA1" is already mounted

ORA-15017: diskgroup "DATA1" cannot be mounted

ORA-15013: diskgroup "DATA1" is already mounted

ORA-15017: diskgroup "CRS" cannot be mounted

ORA-15013: diskgroup "CRS" is already mounted

SQL>

[root@srv1 ~]# ps -ef |grep pmon

grid      6903     1  0 10:41 ?        00:00:00 asm_pmon_+ASM1

grid      7299     1  0 10:42 ?        00:00:00 mdb_pmon_-MGMTDB

root     29403 29242  0 11:43 pts/4    00:00:00 grep pmon

[root@srv1 ~]#

[root@srv1 ~]#

[root@srv1 ~]#

[root@srv1 ~]# . oraenv

ORACLE_SID = [root] ? +ASM1

The Oracle base has been set to /u01/app/grid

[root@srv1 ~]# srvctl status diskgroup -g data1 -a

Disk Group data1 is running on srv2

Disk Group data1 is enabled

[root@srv1 ~]# srvctl status diskgroup -g FRA1 -a

Disk Group FRA1 is running on srv2

Disk Group FRA1 is enabled

[root@srv1 ~]# srvctl start diskgroup -g FRA1

[root@srv1 ~]# srvctl start diskgroup -g DATA1

[root@srv1 ~]# srvctl status diskgroup -g data1 -a

Disk Group data1 is running on srv1,srv2

Disk Group data1 is enabled

[root@srv1 ~]# srvctl status diskgroup -g FRA1 -a

Disk Group FRA1 is running on srv1,srv2

Disk Group FRA1 is enabled

[root@srv1 ~]#

[root@srv2 ~]# crsctl status resource -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.CRS.dg

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

ora.DATA1.dg

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

ora.FRA1.dg

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

ora.LISTENER.lsnr

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

ora.asm

               ONLINE  ONLINE       srv1                     Started,STABLE

               ONLINE  ONLINE       srv2                     Started,STABLE

ora.net1.network

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

ora.ons

               ONLINE  ONLINE       srv1                     STABLE

               ONLINE  ONLINE       srv2                     STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       srv2                     STABLE

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       srv1                     STABLE

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       srv1                     STABLE

ora.MGMTLSNR

      1        ONLINE  ONLINE       srv1                     169.254.205.21,STABL

                                                             E

ora.cvu

      1        ONLINE  ONLINE       srv1                     STABLE

ora.mgmtdb

      1        ONLINE  ONLINE       srv1                     Open,STABLE

ora.oc4j

      1        ONLINE  ONLINE       srv1                     STABLE

ora.scan1.vip

      1        ONLINE  ONLINE       srv2                     STABLE

ora.scan2.vip

      1        ONLINE  ONLINE       srv1                     STABLE

ora.scan3.vip

      1        ONLINE  ONLINE       srv1                     STABLE

ora.srv1.vip

      1        ONLINE  ONLINE       srv1                     STABLE

ora.srv2.vip

      1        ONLINE  ONLINE       srv2                     STABLE

--------------------------------------------------------------------------------

[root@srv2 ~]#