Ceph で分散ストレージをやってみた

実機にインストール

Proxmox とは直接関係のないことで躓いて何かと苦労したけど、無事に３台構成のクラスタで安定運用できるようになった。iTunes & 在宅勤務用の Windows は仮想化で間に合っている。ceph 用のストレージには各ホストとも１Tの SSD を用意した。メモリは ThinkCenter M630e が 16GB で X300 と H470 はそれぞれ 32GB。
安価な PC でも十分使用に耐える。いい時代だなぁ。

概略手順は、

1. クラスタの作成
2. Ceph のインストール
3. OSD の登録
4. pool の作成
5. ストレージの追加（4と同時に可能）
6. 仮想マシンのハードディスクの移行
7. HA の設定（グループ作成、リソース登録）
8. ntp server の変更（インストール直後の ntp server だと 20 ホップ以上を要した）

ほぼ、テスト環境で確認したとおりにサクサクと進められた。

あわせて読みたい

ceph と HA のテスト 先に作った Hyper-V 環境下の PVE と併せて 3 台のクラスタを構成する。 仮想マシンの作成 DeskMini X300 と H470 に、それぞれ仮想マシンを作って PVE をインストール...

注意するところは Ceph Pool を作るときの PG Autoscale Mode。初期設定で ON になっている。
PG の値を標準の 128 で pool を作っても、自動で適切な値に変更される。どんなパラメータで調整しているのか知らないけど、自分の環境だと 32 で十分らしい。
もし 128 で固定したいなら OFF にして pool を作ること。

あと、初期設定で「ストレージとして追加」にチェックが入っているから、pool と同じ名前でストレージも勝手に追加される。何となく落ち着かないから WebGUI のデータセンターでストレージを選択して削除、改めてストレージ（RBD）を追加した。スッキリ。

Xfce のインストール

普段はノート PC で生活しているが、在宅勤務用の Windows 仮想マシンを使うため M630e に Xfce4 をインストールした。元は Debian だから手順は溢れている。一応、Proxmox の Wiki にも書いてある。ただし、GUI ログイン用の lightdm はインストールしない。

日本語化の記事はこちら。

ntp server の変更

/etc/systemd/timesyncd.conf を編集してホップ数の少ない国内に変更。

Ceph の削除

下のほ��に書いたけど、自分の無知のせいで環境構築中に何度か ceph を削除する羽目になった。
次のサイトを参考に、慌てず手順を間違えなければ ceph の再インストールは可能だったけど、もし間違って仮想マシンのデータごと削除してしまっても大丈夫なよう、事前にバックアップをとっておくことをお勧めする。

失敗その１

H470 の OS 用に用意した Western Digital の SSD 500GB WD Blue SN550 PC M.2-2280 NVMe 。
Proxmox のインストール途中で pkg の展開に失敗することが多々あった。何度か再起動を繰り返して無事インストールが終わると、何事もなかったかの如く起動できた。がしかし、何かのタイミングで１日に１回以上はクラッシュするからAC アダプタの抜き差しを余儀なくされた。これまでも何度か再現してたけど、ceph をインストールしてから頻繁に発生するようになった。
これではとても実運用には耐えられないから、代わりに Crucial の CT500MX500SSD1/JP に取り替えたら全く問題なく安定した。・・・ハズレだったのか。

失敗その２

M630e に最初、Xfce4 をインストールして GUI でログインできるよう lightdm をインストールしたのが間違いで、ログイン画面を表示したままで一定時間が経過すると勝手に電源を切ってくださる（suspend?）。電源スイッチを押せば再起動するけど。
何か不具合があるとも思ったが、ログイン後のデスクトップ画面を表示した状態なら放置しても何事もなかった。lightdm の設定を変更すればいいんだろうけど、CUI でログインして startx でも支障は無いから lightdm は削除した。

こちらが関係あるかも（調べてない）。

Qiita

Ubuntu 20.04 + lightdm + NVIDIA driver で一定時間ログインしないと suspend する(解決策あり) - Qiita 環境一旦 Ubuntu Desktop(gdm3) をインストールしたのち, lightdm に切り替えheadless で x11vnc 経由で OpenGL アプリなどを使いたいため. NV…

PG の手動修復

ceph の画面で次のようなエラー（ pg に不整合がある）が出たときの対応。

pg 1.a is active+clean+inconsistent, acting [1,2,0]

~# ceph pg ls
~# ceph pg repair 1.a

クラッシュのログをアーカイブに

~# ceph crash ls
ID                                                                ENTITY    NEW  
2021-05-09T10:15:50.489387Z_dafb9d6c-ff83-4efa-ae36-9c72bbd74e54  mon.h470   *   

~# ceph crash archive-all