Ceph Jewel 버전이 설치되어있는 상태에서 최신버전인 octopus까지 올리려 했으나,Ceph Doc 상에서는 바로 올릴수 없으며, Jewel -> Luminous -> Octopus 순으로 올리라고 되어있습니다. Doc 상에서 Ceph 안에 데이터가 있을 경우, 망실될 수 있으며, 데이터 백업 후 진행하는 것을 권장하고 있습니다. 1. OSD 설정 [root@mgmt ~]# ceph osd set sortbitwiseset sortbitwise[root@mgmt ~]# ceph osd set nooutset noout[root@mgmt ~]# ceph -s cluster 2a289202-e471-47a5-b672-929818b2bf6b health HEALTH_WARN noout flag(s) s..

운영중인 Ceph 에서 health 체크했을 때, Warn 메시지는 경우, mon서버끼리의 시간이 맞지 않아 아래와 같이 메시지가 뜨게 됩니다. [root@MON-3 ~]# ceph -s cluster 427f2e6a-5722-4365-a475-8fcdc218a418 health HEALTH_WARN clock skew detected on mon.MON-1, mon.MON-2, mon.MON-3 Monitor clock skew detected monmap e2: 4 mons at {MON-0=10.1.0.6:6789/0,MON-1=10.1.0.7:6789/0,MON-2=10.1.0.8:6789/0,MON-3=10.1.0.9:6789/0} election epoch 142, quorum 0,1,2,3 ..

MGMT 서버에서 아래 4개의 명령어 입력 후 해당 OSD 서버 리부팅 ceph -s 로 해당 옵션값 추가되는 지 확인할 것 # ceph osd set nobackfill # ceph osd set noout # ceph osd set norecover # ceph osd set norebalance 리부팅 완료 후 MGMT 서버에서 아래의 명령어 입력 후 해제 ceph -s 로 해당 옵션값 빠졌는지 확인할 것 # ceph osd unset nobackfill # ceph osd unset noout # ceph osd unset norecover # ceph osd unset norebalance norecover 옵션을 사용했지만 해당 서버 리부팅 이후 recover이 진행될 수 있습니다. Creat..

현재 실서비스를 사용하고 있는 CEPH내에서 OSD를 제거한다는 것은 매우 위험한 경우입니다.제거를 하기 전 osd쪽에 데이터가 남아있는 상황이라면 깨질 수도 있는 위험성이 큰 작업입니다. 저의 경우, 아래 내용은 테스트의 결과이지만, 실 사용시 한개의 OSD가 문제가 생겨 제거하고 다시 설치하는 작업을 진행하였습니다. 다시 설치하고 진행하는 과정에서 데이터의 손실이 났었습니다.해당 작업을 실서비스에서 제거하신다면 고려하신다음에 아래 작업을 진행하시는 것을 추천드립니다. 현재 상태 3번이 문제된다고 판단한 다음, osd-3번을 제거하겠습니다.[root@mon-1 ~]# ceph -s cluster f34c394f-8591-4d25-9a09-81c0341ce672 health HEALTH_OK monmap..

MON 서버가 현재 2개가 존재하는데, 한개 더 추가하는 작업을 진행해보도록 하겠습니다. 현재 상태[root@mon-0 ~]# ceph -s cluster f34c394f-8591-4d25-9a09-81c0341ce672 health HEALTH_OK monmap e1: 2 mons at {mgmt=10.1.0.5:6789/0,mon-0=10.1.0.7:6789/0} election epoch 4, quorum 0,1 mgmt,mon-0 osdmap e55: 4 osds: 4 up, 4 in flags sortbitwise,require_jewel_osds pgmap v193: 64 pgs, 1 pools, 0 bytes data, 0 objects 432 MB used, 81443 MB / 81875 ..

Crushmap을 수동으로 편집할 수 있습니다.기존에 있는 CRUSHMAP을 수정하려면 아래와 같은 절차로 진행하면 됩니다. 현재 있는 crushmap 가져오기# ceph osd getcrushmap -o [compiled crushmap][root@mgmt ~]# ceph osd getcrushmap -o /tmp/crushmapgot crush map from osdmap epoch 23 CRUSHMAP decompile# crushtool -d [compiled crushmap] -p [decompiled crushmap][root@mgmt ~]# crushtool -d /tmp/crushmap -o /tmp/crushmap.txt [root@mgmt ~]# cat /tmp/crushmap.txt#..

* Ceph 버전 : Jewel 10.2* OS : CentOS 7 [CEPH 설치 글][CLOUD/BlockStorage(Ceph)] - CEPH 설치 전 사전작업[CLOUD/BlockStorage(Ceph)] - CEPH 설치 0. 현재 상태 Jewel 버전의 경우, ceph 설치를 마치게 되면 기본적이 rbd pool이 생성이 되어있습니다.[root@mgmt ~]# ceph osd lspools0 rbd, [root@mgmt ~]# ceph osd dump | grep poolpool 0 'rbd' replicated size 2 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 10 flags hashp..

사전준비 이후에 ceph-deploy를 통해서 설치하는 방법입니다.ceph-deploy는 ceph 설치 및 운영시 사용되는 관리 패키지로, 설정변경시에 일괄적으로 변경이 가능하며, 배포등의 작업을 편리하게 할 수 있습니다. [사전준비작업 관련 글][CLOUD/BlockStorage(Ceph)] - CEPH 설치 전 사전작업 * 모든 작업은 mgmt 서버에서 진행됩니다.* 설치환경은 CENTOS7로 모두 동일합니다. 1. ceph-deploy 설치[root@mgmt ~]# yum install ceph-deploy -yceph-deploy는 ceph클러스터를 쉽고 빠르게 배포할 수 있는 도구입니다. ceph-deploy를 이용해서 관리노드에 ceph를 설치를 진행합니다. 2. mon 서버 구성 mon의 경..

* CentOS7 환경에서 구축되었습니다. MGMT, MON, OSD-0, OSD-1 총 4개로 구성할예정이며, Jewel (10.2) 버전으로 설치 예정입니다.mgmt : 10.1.0.5mon : 10.1.0.6osd-0 : 10.1.0.7osd-1 : 10.1.0.8 ** 4대 서버 모두 설정을 해야 됩니다. 1. yum repo 설정# echo '[ceph]name=Ceph packages for $basearchbaseurl=http://download.ceph.com/rpm-jewel/el7/$basearchenabled=1priority=2gpgcheck=1type=rpm-mdgpgkey=https://download.ceph.com/keys/release.asc [ceph-noarch]nam..