CEPH pool, crush rule, bucket 생성

* Ceph 버전 : Jewel 10.2

* OS : CentOS 7

[CEPH 설치 글]

[CLOUD/BlockStorage(Ceph)] - CEPH 설치 전 사전작업

[CLOUD/BlockStorage(Ceph)] - CEPH 설치

0. 현재 상태 

Jewel 버전의 경우, ceph 설치를 마치게 되면 기본적이 rbd pool이 생성이 되어있습니다.

[root@mgmt ~]# ceph osd lspools

0 rbd,

[root@mgmt ~]# ceph osd dump | grep pool

pool 0 'rbd' replicated size 2 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 10 flags hashpspool stripe_width 0

1. POOL 생성

기존에 있는 rbd pool의 이름을 변경해줍니다.

[root@mgmt ~]# ceph osd pool rename rbd mypool

pool 'rbd' renamed to 'mypool'

[root@mgmt ~]# ceph osd lspools

0 mypool,

2. CRUSH rule 생성

crush rule은 ceph osd 내에서 데이터가 분산되는 정책을 세우는 것으로, 기본적인 계층구조(트리구조) 형태에서 가중치구조를 어떻게 할지 설정하는 부분을 말합니다.

처음 OSD를 생성하고 난 뒤에, 현재 구성을 보면 root default 그룹 안에 osd-0, osd-1이 있는 것을 확인할 수 있습니다. 

[root@mgmt ~]# ceph osd tree

ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-1 0.03897 root default                                     

-2 0.01949     host osd-0                                   

 0 0.01949         osd.0       up  1.00000          1.00000 

-3 0.01949     host osd-1                                   

 1 0.01949         osd.1       up  1.00000          1.00000 

저는 여기서 SSD 라는 rule을 추가할 것이며, 이 아래에 osd-0, osd-1을 추가할 예정입니다.

# ceph osd crush rule create_simple [ruleset이름] [root] [bucket-type] [firstn|indep]

[root@mgmt ~]# ceph osd crush rule create-simple ssd default host firstn

[root@mgmt ~]# ceph osd crush rule ls

[

    "replicated_ruleset",

    "ssd"

]

3. Bucket 생성 및 이동

SSD 라는 BUCKET을 생성했으며, 현재 있는 host들을 이동시켰습니다.

# ceph osd crush add-bucket [bucket 이름] [bucket 타입]

[root@mgmt ~]# ceph osd crush add-bucket ssd root

added bucket ssd type root to crush map

[root@mgmt ~]# ceph osd tree

ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-4       0 root ssd                                         

-1 0.03897 root default                                     

-2 0.01949     host osd-0                                   

 0 0.01949         osd.0       up  1.00000          1.00000 

-3 0.01949     host osd-1                                   

 1 0.01949         osd.1       up  1.00000          1.00000 

현재 있는 osd-0, osd-1을 ssd bucket으로 이동시키겠습니다.

# ceph osd crush move [bucket 이름] [bucket 타입]=[bucket 이름]

[root@mgmt ~]# ceph osd crush move osd-0 root=ssd

moved item id -2 name 'osd-0' to location {root=ssd} in crush map

[root@mgmt ~]# ceph osd tree

ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-4 0.01949 root ssd                                         

-2 0.01949     host osd-0                                   

 0 0.01949         osd.0       up  1.00000          1.00000 

-1 0.01949 root default                                     

-3 0.01949     host osd-1                                   

 1 0.01949         osd.1       up  1.00000          1.00000 

[root@mgmt ~]# ceph osd crush move osd-1 root=ssd

moved item id -3 name 'osd-1' to location {root=ssd} in crush map

[root@mgmt ~]# ceph osd tree

ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-4 0.03897 root ssd                                         

-2 0.01949     host osd-0                                   

 0 0.01949         osd.0       up  1.00000          1.00000 

-3 0.01949     host osd-1                                   

 1 0.01949         osd.1       up  1.00000          1.00000 

-1       0 root default                                     

마지막으로 ssd라는 bucket을 default bucket아래에 넣어보겠습니다.

[root@mgmt ~]# ceph osd crush move ssd root=default

moved item id -4 name 'ssd' to location {root=default} in crush map

[root@mgmt ~]# ceph osd tree

ID WEIGHT  TYPE NAME          UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-1 0.03897 root default                                         

-4 0.03897     root ssd                                         

-2 0.01949         host osd-0                                   

 0 0.01949             osd.0       up  1.00000          1.00000 

-3 0.01949         host osd-1                                   

 1 0.01949             osd.1       up  1.00000          1.00000