节点介绍
- mon节点:hp-server-6 、hp-server-7 、hp-server-8
osd节点:hp-server-1 、hp-server-2 、hp-server-3 、hp-server-4 、hp-server-5 、hp-server-6、hp-server-7 、hp-server-8
Ceph安装
准备
每台主机设置主机名,如WH-hp-server-1
设置hosts vim etc/hosts 172.16.10.1 WH-hp-server-1
部署节点到其他节点使用comall用户ssh无密码登录
安装ntp服务器,关闭selinux和防火墙。
部署节点更改ceph源
centos7源
(此ceph源为阿里云提供,只支持centos7)
vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
priority=1
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
centos6源
(强烈不建议在centos6下安装) rpm -ivh http://ceph.com/rpm-hammer/el6/noarch/ceph-release-1-1.el7.noarch.rpm (实际安装过程中报错,需要修改一个参数,查看ceph-deploy代码,结合报错修改 /usr/lib/python2.6/site-packages/ceph_deploy/install.py 用 Ceph 的最新主稳定版名字替换 {ceph-stable-release} (如 firefly ),用你的Linux发行版名字替换 {distro} (如 el6 为 CentOS 6 、 el7 为 CentOS 7 、 rhel6 为 Red Hat 6.5 、 rhel7 为 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20 )。最后保存到/etc/yum.repos.d/ceph.repo
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-{ceph-release/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc}
部署节点安装 ceph-deploy
(该部只需要在部署节点执行,之后卸载epel-release,ceph-release)
sudo yum update && sudo yum install ceph-deploy
每个节点
sudo yum install yum-plugin-priorities
创建mon节点 ;
sudo ceph-deploy new WH-hp-server-7
为其他节点安装Ceph(下载速度慢也会报错,可以先下载包,在所有节点安装后在执行,注意要所有节点先配置yum源ceph、epel后安装,安装完成卸载两个yum源,再执行以下命令)
sudo ceph-deploy install WH-hp-server-1 WH-hp-server-2 WH-hp- server-4 WH-hp-server-5 WH-hp-server-6 WH-hp-server-7 WH-hp- server-8
生成Ceph的监控秘钥。
sudo ceph-deploy mon create-initial
拷贝秘钥至其他节点 (报错需要加 –overwrite-conf)
sudo ceph-deploy --overwrite-conf admin node1 node2 node3
sudo ceph-deploy admin WH-hp-server-2 WH-hp-server-4 WH-hp- server-5 WH-hp-server-6 WH-hp-server-7 WH-hp-server-8
每个节点
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
往集群里面增加OSD节点
centos7
不用对硬盘执行任何操作 查看WH-hp-server-8硬盘
sudo ceph-deploy disk list WH-hp-server-8
格式化WH-hp-server-8硬盘
sudo ceph-deploy disk zap WH-hp-server-8:sdb
创建并增加OSD节点(create = prepare初始化 then activate激活)
sudo ceph-deploy osd create WH-hp-server-8:sdb
centos6.5
centos采用手动创建分区的方式增加osd,对新添加硬盘进行分区例如sdc,分成sdc1 sdc2,sdc1不做任何操作,sdc2格式化为xfs(mkfs.xfs -f -i size=2048 /dev/sdc2),修改/etc/fstab 挂载参数 (/dev/sdc2 /test xfs inode64,noatime 0 0),执行mount -a 初始化
ceph-deploy -overwrite-conf osd prepare centos4:/test:/dev/sdc1
激活
ceph-deploy --overwrite-conf osd activate centos4:/test:/dev/sdc1
从集群里面删除osd节点
查看集群中的节点
ceph osd tree
剔除问题节点的osd
ceph osd out osd.0
从crush map 中移除该osd
ceph osd crush remove osd.0
删除节点认证
ceph auth del osd.0
删除节点
sudo ceph osd rm 0
或使用ceph-deploy命令:ceph-deploy osd prepare host:osd目录
增加monitor节点
sudo ceph-deploy mon add(create) WH-hp-server-6
注意:增加新的监控节点之后,需要在每台osd的配置文件(/etc/ceph/ceph.conf)中把心mon节点写进去,然后重启osd
ceph池的操作
创建pool
sudo ceph osd pool create cloudstack 256 256
查看pool
sudo ceph osd lspools
删除pool(输入两次pool名)
sudo ceph osd pool delete cloudstack cloudstack --yes-i-really-really-mean-it
ceph块操作
创建块设备
sudo rbd create ceph_nfs –size 1024000
本文链接:https://zhusl.com/post/ceph-10-0-2-install-2.html,参与评论 »
--EOF--
发表于 2017-12-06 01:27:00,并被添加「ceph」标签。
本站使用「署名 4.0 国际」创作共享协议,转载请注明作者及原网址。更多说明 »
提醒:本文最后更新于 2564 天前,文中所描述的信息可能已发生改变,请谨慎使用。
专题「CEPH」的其它文章 »
- ceph-手动更换osd的journal分区 (Jul 18, 2019)
- 在cephfs下快速统计目录大小和文件数量 (Jul 15, 2019)
- ceph百科 (Dec 06, 2017)
Comments