ceph-jewel安装文档

节点介绍

  • mon节点:hp-server-6 、hp-server-7 、hp-server-8
  • osd节点:hp-server-1 、hp-server-2 、hp-server-3 、hp-server-4 、hp-server-5 、hp-server-6、hp-server-7 、hp-server-8

    Ceph安装

    准备

  • 每台主机设置主机名,如WH-hp-server-1

  • 设置hosts vim etc/hosts 172.16.10.1 WH-hp-server-1

  • 部署节点到其他节点使用comall用户ssh无密码登录

  • 安装ntp服务器,关闭selinux和防火墙。

部署节点更改ceph源

centos7源

(此ceph源为阿里云提供,只支持centos7)

vim /etc/yum.repos.d/ceph.repo 
[ceph] 
name=ceph 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ 
gpgcheck=0 
priority=1 
[ceph-noarch] 
name=cephnoarch 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/ 
gpgcheck=0 
priority=1 
[ceph-source] 
name=Ceph source packages 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS 
enabled=1 
gpgcheck=1 
type=rpm-md 
gpgkey=https://download.ceph.com/keys/release.asc 
priority=1 

centos6源

(强烈不建议在centos6下安装) rpm -ivh http://ceph.com/rpm-hammer/el6/noarch/ceph-release-1-1.el7.noarch.rpm (实际安装过程中报错,需要修改一个参数,查看ceph-deploy代码,结合报错修改 /usr/lib/python2.6/site-packages/ceph_deploy/install.py ceph-install 用 Ceph 的最新主稳定版名字替换 {ceph-stable-release} (如 firefly ),用你的Linux发行版名字替换 {distro} (如 el6 为 CentOS 6 、 el7 为 CentOS 7 、 rhel6 为 Red Hat 6.5 、 rhel7 为 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20 )。最后保存到/etc/yum.repos.d/ceph.repo

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-{ceph-release/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc}

部署节点安装 ceph-deploy

(该部只需要在部署节点执行,之后卸载epel-release,ceph-release)

sudo yum update && sudo yum install ceph-deploy

每个节点

sudo yum install yum-plugin-priorities

创建mon节点 ;

sudo  ceph-deploy new WH-hp-server-7

为其他节点安装Ceph(下载速度慢也会报错,可以先下载包,在所有节点安装后在执行,注意要所有节点先配置yum源ceph、epel后安装,安装完成卸载两个yum源,再执行以下命令)

sudo  ceph-deploy install  WH-hp-server-1 WH-hp-server-2  WH-hp- server-4 WH-hp-server-5 WH-hp-server-6 WH-hp-server-7 WH-hp- server-8

生成Ceph的监控秘钥。

sudo  ceph-deploy mon create-initial

拷贝秘钥至其他节点 (报错需要加 –overwrite-conf)

sudo ceph-deploy --overwrite-conf admin node1 node2 node3

sudo  ceph-deploy admin  WH-hp-server-2  WH-hp-server-4 WH-hp- server-5 WH-hp-server-6 WH-hp-server-7 WH-hp-server-8 

每个节点

sudo chmod  +r /etc/ceph/ceph.client.admin.keyring

往集群里面增加OSD节点

centos7

不用对硬盘执行任何操作 查看WH-hp-server-8硬盘

sudo  ceph-deploy  disk   list    WH-hp-server-8

格式化WH-hp-server-8硬盘

sudo  ceph-deploy  disk   zap    WH-hp-server-8:sdb

创建并增加OSD节点(create = prepare初始化 then activate激活)

sudo  ceph-deploy  osd   create    WH-hp-server-8:sdb

centos6.5

centos采用手动创建分区的方式增加osd,对新添加硬盘进行分区例如sdc,分成sdc1 sdc2,sdc1不做任何操作,sdc2格式化为xfs(mkfs.xfs -f -i size=2048 /dev/sdc2),修改/etc/fstab 挂载参数 (/dev/sdc2 /test xfs inode64,noatime 0 0),执行mount -a 初始化

ceph-deploy  -overwrite-conf  osd prepare centos4:/test:/dev/sdc1

激活

ceph-deploy   --overwrite-conf  osd activate centos4:/test:/dev/sdc1

从集群里面删除osd节点

查看集群中的节点

ceph osd tree

剔除问题节点的osd

ceph osd out osd.0

从crush map 中移除该osd

ceph osd crush remove osd.0

删除节点认证

ceph auth del osd.0

删除节点

sudo ceph osd   rm 0

或使用ceph-deploy命令:ceph-deploy osd prepare host:osd目录

增加monitor节点

sudo ceph-deploy  mon  add(create)   WH-hp-server-6

注意:增加新的监控节点之后,需要在每台osd的配置文件(/etc/ceph/ceph.conf)中把心mon节点写进去,然后重启osd

ceph池的操作

创建pool

sudo ceph osd pool create  cloudstack  256 256

查看pool

sudo ceph osd lspools

删除pool(输入两次pool名)

sudo ceph osd pool delete cloudstack   cloudstack  --yes-i-really-really-mean-it

ceph块操作

创建块设备

sudo rbd create ceph_nfs –size 1024000

本文链接:参与评论 »

--EOF--

提醒:本文最后更新于 627 天前,文中所描述的信息可能已发生改变,请谨慎使用。

专题「CEPH」的其它文章 »

Comments