[WARN]Ceph Monitor Clock Skew detected

운영중인 Ceph 에서 health 체크했을 때, 

Warn 메시지는 경우, mon서버끼리의 시간이 맞지 않아 아래와 같이 메시지가 뜨게 됩니다.

[root@MON-3 ~]# ceph -s

    cluster 427f2e6a-5722-4365-a475-8fcdc218a418

     health HEALTH_WARN

            clock skew detected on mon.MON-1, mon.MON-2, mon.MON-3

            Monitor clock skew detected 

     monmap e2: 4 mons at {MON-0=10.1.0.6:6789/0,MON-1=10.1.0.7:6789/0,MON-2=10.1.0.8:6789/0,MON-3=10.1.0.9:6789/0}

            election epoch 142, quorum 0,1,2,3 MON-0,MON-1,MON-2,MON-3

     osdmap e6693: 6 osds: 6 up, 6 in

            flags sortbitwise,require_jewel_osds

      pgmap v30234759: 256 pgs, 2 pools, 11892 GB data, 3003 kobjects

            23776 GB used, 65558 GB / 89335 GB avail

                 255 active+clean

                   1 active+clean+scrubbing+deep

  client io 36194 B/s wr, 0 op/s rd, 5 op/s wr

[root@MON-3 ~]# timedatectl status

Local time: 화 2020-06-30 07:44:09 KST

Universal time: 월 2020-06-29 22:44:09 UTC

RTC time: 화 2020-06-30 07:44:09

Time zone: Asia/Seoul (KST, +0900)

NTP enabled: no

NTP synchronized: no

RTC in local TZ: yes

DST active: n/a

Warning: The system is configured to read the RTC time in the local time zone.

         This mode can not be fully supported. It will create various problems

         with time zone changes and daylight saving time adjustments. The RTC

         time is never updated, it relies on external facilities to maintain it.

         If at all possible, use RTC in UTC by calling

         'timedatectl set-local-rtc 0'.

찾아보니 하드웨어 시간을 받아와서 정상적으로 sync가 맞지 않아 발생하는 부분으로 아래와 같이 설정 후, ntp를 재시작해주면 됩니다.

# timedatectl set-local-rtc 0

# service ntpd restart

시간 동기화가 정상적으로 될 경우에는 

[root@MON-3 ~]# timedatectl status

Local time: 화 2020-06-30 08:17:17 KST

Universal time: 월 2020-06-29 23:17:17 UTC

RTC time: 화 2020-06-30 08:17:17

Time zone: Asia/Seoul (KST, +0900)

NTP enabled: yes

NTP synchronized: yes

RTC in local TZ: no

DST active: n/a

NTP Synchronized가 yes로 변경이 되어야 하며, ntp 재시작 이후에는 시간 경과 후, 정상적으로 Ceph가 OK뜨는 것을 확인할 수 있습니다.