PRCR-1079 : Failed to start resource ora.rac.db CRS-5017: The resource action "ora.rac.db start" encountered the following error: ORA-01102: cannot mount database in EXCLUSIVE mode

[oracle@srv2 u01]$ . oraenv
ORACLE_SID = [rac2] ?
The Oracle base remains unchanged with value /u01/app/oracle
[oracle@srv2 u01]$ sqlplus / as sysdba

SQL*Plus: Release 12.1.0.2.0 Production on Mon Aug 5 13:40:38 2019

Copyright (c) 1982, 2014, Oracle.  All rights reserved.


Connected to:
Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production
With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,
Advanced Analytics and Real Application Testing options

SQL> sho parameter cluster

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
cluster_database                     boolean     TRUE
cluster_database_instances           integer     2
cluster_interconnects                string

SQL> sho parameter spfile;

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
spfile                               string      +DATA/RAC/PARAMETERFILE/spfile
                                                 .268.1011961131


SQL> alter system set cluster_database=FALSE scope=both;
alter system set cluster_database=FALSE scope=both
                 *
ERROR at line 1:
ORA-02095: specified initialization parameter cannot be modified


SQL> alter system set cluster_database=FALSE scope=spfile;

System altered.

SQL> exit

[root@srv1 u01]# srvctl start database -d rac -startoption mount
PRCR-1079 : Failed to start resource ora.rac.db
CRS-5017: The resource action "ora.rac.db start" encountered the following error:
ORA-01102: cannot mount database in EXCLUSIVE mode
. For details refer to "(:CLSN00107:)" in "/u01/app/grid/diag/crs/srv2/crs/trace/crsd_oraagent_oracle.trc".

CRS-2674: Start of 'ora.rac.db' on 'srv2' failed
CRS-2632: There are no more servers to try to place resource 'ora.rac.db' on that would satisfy its placement policy
[root@srv1 u01]# crsctl status resource -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.BACKUP.BACKUP.advm
               ONLINE  ONLINE       srv1                     Volume device /dev/a
                                                             sm/backup-461 is onl
                                                             ine,STABLE
               ONLINE  ONLINE       srv2                     Volume device /dev/a
                                                             sm/backup-461 is onl
                                                             ine,STABLE
ora.BACKUP.dg
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.CRS.dg
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.DATA.dg
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.FRA.dg
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.asm
               ONLINE  ONLINE       srv1                     Started,STABLE
               ONLINE  ONLINE       srv2                     Started,STABLE
ora.backup.backup.acfs
               ONLINE  ONLINE       srv1                     mounted on /u01/Back
                                                             up,STABLE
               ONLINE  ONLINE       srv2                     mounted on /u01/Back
                                                             up,STABLE
ora.net1.network
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
ora.ons
               ONLINE  ONLINE       srv1                     STABLE
               ONLINE  ONLINE       srv2                     STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       srv1                     STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       srv2                     STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       srv2                     STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       srv2                     169.254.128.179 192.
                                                             168.10.2,STABLE
ora.cvu
      1        ONLINE  ONLINE       srv2                     STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       srv2                     Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       srv2                     STABLE
ora.rac.acsrv.svc
      1        OFFLINE OFFLINE                               STABLE
ora.rac.db
      1        ONLINE  INTERMEDIATE srv1                     Mounted (Closed),STA
                                                             BLE
      2        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                             ABLE
ora.rac.lbsrv.svc
      1        OFFLINE OFFLINE                               STABLE
      2        OFFLINE OFFLINE                               STABLE
ora.rac.pretaf.svc
      1        OFFLINE OFFLINE                               STABLE
ora.rac.pretaf_preconnect.svc
      1        OFFLINE OFFLINE                               STABLE
ora.rac.soesrv.svc
      1        OFFLINE OFFLINE                               STABLE
ora.rac.staf.svc
      1        OFFLINE OFFLINE                               STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       srv1                     STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       srv2                     STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       srv2                     STABLE
ora.srv1.vip
      1        ONLINE  ONLINE       srv1                     STABLE
ora.srv2.vip
      1        ONLINE  ONLINE       srv2                     STABLE
--------------------------------------------------------------------------------

[oracle@srv2 u01]$ . oraenv

ORACLE_SID = [rac2] ? rac2

The Oracle base remains unchanged with value /u01/app/oracle

[oracle@srv2 u01]$ sqlplus / as sysdba

SQL*Plus: Release 12.1.0.2.0 Production on Mon Aug 5 13:54:53 2019

Copyright (c) 1982, 2014, Oracle.  All rights reserved.

Connected to an idle instance.

SQL> startup mount;

ORA-01102: cannot mount database in EXCLUSIVE mode

SQL> sho parameter cluster

ORA-01034: ORACLE not available

Process ID: 0

Session ID: 0 Serial number: 0

SQL> exit

SQL> sho parameter cluster_database

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

cluster_database                     boolean     FALSE

cluster_database_instances           integer     1

SQL> alter system set cluster_database=TRUE scope=spfile;

System altered.