0 Comments

ceph-jewel安装文档

节点介绍

  • mon节点：hp-server-6 、hp-server-7 、hp-server-8

  • osd节点：hp-server-1 、hp-server-2 、hp-server-3 、hp-server-4 、hp-server-5 、hp-server-6、hp-server-7 、hp-server-8

    Ceph安装

    准备

  • 每台主机设置主机名，如WH-hp-server-1

  • 设置hosts vim etc/hosts 172.16.10.1 WH-hp-server-1

  • 部署节点到其他节点使用comall用户ssh无密码登录

  • 安装ntp服务器，关闭selinux和防火墙。

部署节点更改ceph源

centos7源

（此ceph源为阿里云提供，只支持centos7）

vim /etc/yum.repos.d/ceph.repo 
[ceph] 
name=ceph 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ 
gpgcheck=0 
priority=1 
[ceph-noarch] 
name=cephnoarch 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/ 
gpgcheck=0 
priority=1 
[ceph-source] 
name=Ceph source packages 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS 
enabled=1 
gpgcheck=1 
type=rpm-md 
gpgkey=https://download.ceph.com/keys/release.asc 
priority=1

centos6源

（强烈不建议在centos6下安装) rpm -ivh http://ceph.com/rpm-hammer/el6/noarch/ceph-release-1-1.el7.noarch.rpm （实际安装过程中报错，需要修改一个参数，查看ceph-deploy代码，结合报错修改 /usr/lib/python2.6/site-packages/ceph_deploy/install.py ceph-install 用 Ceph 的最新主稳定版名字替换 {ceph-stable-release} （如 firefly ），用你的Linux发行版名字替换 {distro} （如 el6 为 CentOS 6 、 el7 为 CentOS 7 、 rhel6 为 Red Hat 6.5 、 rhel7 为 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20 ）。最后保存到/etc/yum.repos.d/ceph.repo

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-{ceph-release/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc}

部署节点安装 ceph-deploy

（该部只需要在部署节点执行，之后卸载epel-release,ceph-release）

sudo yum update && sudo yum install ceph-deploy

每个节点

sudo yum install yum-plugin-priorities

创建mon节点 ；

sudo  ceph-deploy new WH-hp-server-7

为其他节点安装Ceph（下载速度慢也会报错，可以先下载包，在所有节点安装后在执行，注意要所有节点先配置yum源ceph、epel后安装，安装完成卸载两个yum源，再执行以下命令）

sudo  ceph-deploy install  WH-hp-server-1 WH-hp-server-2  WH-hp- server-4 WH-hp-server-5 WH-hp-server-6 WH-hp-server-7 WH-hp- server-8

生成Ceph的监控秘钥。

sudo  ceph-deploy mon create-initial

拷贝秘钥至其他节点 （报错需要加 –overwrite-conf）

sudo ceph-deploy --overwrite-conf admin node1 node2 node3

sudo  ceph-deploy admin  WH-hp-server-2  WH-hp-server-4 WH-hp- server-5 WH-hp-server-6 WH-hp-server-7 WH-hp-server-8

每个节点

sudo chmod  +r /etc/ceph/ceph.client.admin.keyring

往集群里面增加OSD节点

centos7

不用对硬盘执行任何操作 查看WH-hp-server-8硬盘

sudo  ceph-deploy  disk   list    WH-hp-server-8

格式化WH-hp-server-8硬盘

sudo  ceph-deploy  disk   zap    WH-hp-server-8:sdb

创建并增加OSD节点（create = prepare初始化 then activate激活）

sudo  ceph-deploy  osd   create    WH-hp-server-8:sdb

centos6.5

centos采用手动创建分区的方式增加osd，对新添加硬盘进行分区例如sdc，分成sdc1 sdc2，sdc1不做任何操作，sdc2格式化为xfs（mkfs.xfs -f -i size=2048 /dev/sdc2），修改/etc/fstab 挂载参数 （/dev/sdc2 /test xfs inode64,noatime 0 0）,执行mount -a 初始化

ceph-deploy  -overwrite-conf  osd prepare centos4:/test:/dev/sdc1

激活

ceph-deploy   --overwrite-conf  osd activate centos4:/test:/dev/sdc1

从集群里面删除osd节点

查看集群中的节点

ceph osd tree

剔除问题节点的osd

ceph osd out osd.0

从crush map 中移除该osd

ceph osd crush remove osd.0

删除节点认证

ceph auth del osd.0

删除节点

sudo ceph osd   rm 0

或使用ceph-deploy命令：ceph-deploy osd prepare host:osd目录

增加monitor节点

sudo ceph-deploy  mon  add(create)   WH-hp-server-6

注意：增加新的监控节点之后，需要在每台osd的配置文件(/etc/ceph/ceph.conf)中把心mon节点写进去，然后重启osd

ceph池的操作

创建pool

sudo ceph osd pool create  cloudstack  256 256

查看pool

sudo ceph osd lspools

删除pool(输入两次pool名)

sudo ceph osd pool delete cloudstack   cloudstack  --yes-i-really-really-mean-it

ceph块操作

创建块设备

sudo rbd create ceph_nfs –size 1024000

本文链接：，参与评论 »

--EOF--

发表于 2017-12-06 01:27:00，并被添加「ceph」标签。

本站使用「署名 4.0 国际」创作共享协议，转载请注明作者及原网址。更多说明 »

提醒：本文最后更新于 2572 天前，文中所描述的信息可能已发生改变，请谨慎使用。

专题「CEPH」的其它文章 »

Comments