Изучил настройку и внедрение ceph.

Тестовый стенд:

3 сервера под диски ceph1 ceph2 ceph3

1 сервер ceph-mon

1 сервер ceph-mgr

1 клиент (и так как он не является частью кластера будет нодой для настройки)

 

Подготовка:

На всех нодах подключается репа

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
apt-get update

На ноде настройки нужно поставить

apt-get install ceph-deploy

 

Создание клатера с помощью механизма ceph-deploy

mkdir /opt/deploy; cd /opt/deploy


ceph-deploy new ceph1 ceph2 ceph3 ceph-mon ceph-mgr

ceph-deploy install ceph1 ceph2 ceph3 ceph-mon ceph-mgr

ceph-deploy mon create-initial

ceph-deploy mgr create ceph-mgr ceph-mon
ceph-deploy mds create ceph-mgr ceph-mon

ceph-deploy osd create --data /dev/sdb ceph1
ceph-deploy osd create --data /dev/sdb ceph2
ceph-deploy osd create --data /dev/sdb ceph3

 

Кластер создан.

Первоначальная настройка :

 

1. Мелкая фигня 

1.1 Включение в ceph dashboard 

ceph mgr module ls

ceph mgr module enable dashboard

при создании был очередной пиздец. во всех туториалах, в том числе и на оф сайте, пишут второй командой после включение дашборда "ceph dashboard create-self-signed-cert
", но она не работает.

дашборд слушает на 7000 порту, я поставил nginx на проксирование к нему

1.2 Правка конфига на будущее 

mon_allow_pool_delete = true

Это нужно для удаление пула в будущем.

2. Создание и подключение блочного устройства. 

2.1 Создание пула под рбд 

ceph osd pool create morapool 100 100 replicated

ceph osd pool application enable morapool rbd

тут morapool это имя пула

2.2 Создание диска под рбд 

rbd create -p morapool rbddisk1 --size 20G --name client.admin --image-feature layering

2.3 Cоздание клиента 

ceph auth get-or-create client.1 mon 'allow r' mds 'allow rw' osd 'allow rw' -o /etc/ceph/ceph.client.1.keyring

2.4 Подключение клиента 

rbd map rbddisk1 --pool morapool --name client.1 -m ceph-mon

3. Создание cephfs и подключение клиента 

3.1 Создание пулов под cephfs 

ceph osd pool create cephfs_data 100

ceph osd pool create cephfs_metadata 100

ceph fs new otusfs cephfs_metadata cephfs_data

ceph fs ls

3.2 Подключение клиента

Клиент был создан выше

mount -t ceph ceph-mgr:6789,ceph-mon:6789:/ /mnt -o name=1,secret=AQAlppVfj71EEhAAI5RwIdW6nE8WX3PdDT3gTg==

4. Создание и удаление элементов
4.1 Настройка начальная 
В любом случае придется поставить репу ключ и установить ceph 
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
apt-get update

4.2 Настройка OSD 
apt-get install ceph lvm2 
занести конфиги 
/etc/ceph/ceph.conf
/etc/ceph/ceph.client.admin.keyring 
/var/lib/ceph/bootstrap-ods/ceph-{id}/keyring 
проверить что ключ админа и конфиг подключились
ceph -s 
подключить диск 
/usr/sbin/ceph-volume --cluster ceph lvm create --bluestore --data /dev/sdb

4.3 Настройка MON 
apt-get install ceph 
mkdir temp 
cd temp
ceph auth get mon. -o keyring
ceph mon getmap -o monmap 
ceph-mon -i ceph4 --mkfs --monmap monmap --keyring keyring 
ceph-mon -i ceph4 --public-addr 192.168.253.164:6789
chown ceph:ceph -R /var/lib/ceph/mon

возможны проблемы возможность запуска можно проверять командой 
/usr/bin/ceph-mon -f --cluster ceph --id ceph4 --setuser ceph --setgroup ceph

4.4 Удаление OSD/MON
ceph mon rm id 
ceph osd rm id 

 

Траблы:

Нерабочий MDS.

У меня были проблемы с работой mds. При создании кластера создался не сам mds, а bootstrap-mds из-за чего сервис метаданных не знал ключа для подключения к кластеру

в логах почти ничего не было и было вообще не понятно в чем проблема, потому что ceph -s выдавал запись о рабочем  mds (нахуй этот ceph -s тогда вообще нужен ).

Нашел причину я случайно : введя systemctl list-dependencies увидел не рабочий ceph-mds@ceph-mon.service(соответственно на ноде ceph-mon)

Решается проблема так:

root@ceph-mgr/home/mora# ceph auth get-or-create mds.ceph-mgr mon 'allow rwx' osd 'allow *' mds 'allow *' mgr 'allow profile mds'

mkdir -p /var/lib/ceph/mds/ceph-ceph-mgr
vim /var/lib/ceph/mds/ceph-ceph-mgr/keyring (сюда пихаешь созданный ключ) 
chmod 644 /var/lib/ceph/mds/ceph-ceph-mgr/keyring
chown ceph:ceph -R /var/lib/ceph/mds
systemctl restart ceph-mds@ceph-mgr.service
systemctl status ceph-mds@ceph-mgr.service