对分布式存储系统的优化离不开以下几点：
- 1.硬件层面
- 硬件布局
- SSD抉择
- BIOS设置
- 2.软件层面
- Linux OS
- Ceph Configurations
- PG Number调整
- CRUSH Map
- 其余因素
硬件层面
1、CPU
- ceph-osd过程在运行过程中会耗费CPU资源，所以个别会为每一个ceph-osd过程绑定一个CPU核上。
- ceph-mon过程并不非常耗费CPU资源，所以不用为ceph-mon过程预留过多的CPU资源。
- ceph-msd也是十分耗费CPU资源的，所以须要提供更多的CPU资源。
2、内存
ceph-mon和ceph-mds须要2G内存，每个ceph-osd过程须要1G内存。
3、网络
万兆网络当初基本上是跑Ceph必备的，网络布局上，也尽量思考拆散cilent和cluster网络。网络接口上能够应用bond来提供高可用或负载平衡。
4、SSD
SSD在ceph中的应用能够有几种架构
- a、ssd作为Journal
- b、ssd作为高速ssd pool(须要更改crushmap)
- c、ssd做为tier pool
5、BIOS
- a、开启VT和HT，VH是虚拟化云平台必备的，HT是开启超线程单个处理器都能应用线程级并行计算。
- b、敞开节能设置，可有肯定的性能晋升。
- c、NUMA思路就是将内存和CPU宰割为多个区域，每个区域叫做NODE,而后将NODE高速互联。node内cpu与内存访问速度快于拜访其余node的内存， NUMA可能会在某些状况下影响ceph-osd 。解决的计划，一种是通过BIOS敞开NUMA，另外一种就是通过cgroup将ceph-osd过程与某一个CPU Core以及同一NODE下的内存进行绑定。然而第二种看起来更麻烦，所以个别部署的时候能够在零碎层面敞开NUMA。CentOS零碎下，通过批改/etc/grub.conf文件，增加numa=off来敞开NUMA。
软件层面
1、Kernel pid max
echo 4194303 > /proc/sys/kernel/pid_max
2、设置MTU，交换机端须要反对该性能，零碎网卡设置才有成果
配置文件追加MTU=9000
3、read_ahead, 通过数据预读并且记录到随机拜访内存形式进步磁盘读操作
echo "8192" > /sys/block/sda/queue/read_ahead_kb
4、swappiness, 次要控制系统对swap的应用
echo "vm.swappiness = 0"/>etc/sysctl.conf ; sysctl –p
5、I/O Scheduler，SSD要用noop，SATA/SAS应用deadline
echo "deadline" >/sys/block/sd[x]/queue/scheduler echo "noop" >/sys/block/sd[x]/queue/scheduler
6、ceph.conf 配置选项
[global]#全局设置 fsid = 88caa60a-e6d1-4590-a2b5-bd4e703e46d9 #集群标识ID mon host = 10.0.1.21,10.0.1.22,10.0.1.23 #monitor IP 地址 auth cluster required = cephx #集群认证 auth service required = cephx #服务认证 auth client required = cephx #客户端认证 osd pool default size = 2 #最小正本数 osd pool default min size = 1 #PG 处于 degraded 状态不影响其 IO 能力,min_size是一个PG能承受IO的最小正本数 osd pool default pg num = 128 #pool的pg数量 osd pool default pgp num = 128 #pool的pgp数量 public network = 10.0.1.0/24 #公共网络(monitorIP段) cluster network = 10.0.1.0/24 #集群网络 max open files = 131072 #默认0#如果设置了该选项，Ceph会设置零碎的max open fds mon initial members = controller1, controller2, compute01 #初始monitor (由创立monitor命令而定) ############################################################## [mon] mon data = /var/lib/ceph/mon/ceph-$id mon clock drift allowed = 1 #默认值0.05，monitor间的clock drift mon osd min down reporters = 13 #默认值1，向monitor报告down的最小OSD数 mon osd down out interval = 600 #默认值300，标记一个OSD状态为down和out之前ceph期待的秒数 ############################################################## [osd] osd data = /var/lib/ceph/osd/ceph-$id osd journal size = 20000 #默认5120，osd journal大小 osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal地位 osd mkfs type = xfs #格式化零碎类型 osd mkfs options xfs = -f -i size=2048 #强制格式化 filestore xattr use omap = true #默认false，为XATTRS应用object map，EXT4文件系统时应用，XFS或者btrfs也能够应用 filestore min sync interval = 10 #默认0.1，从日志到数据盘最小同步距离(seconds) filestore max sync interval = 15 #默认5，从日志到数据盘最大同步距离(seconds) filestore queue max ops = 25000 #默认500，数据盘最大承受的操作数 filestore queue max bytes = 1048576000 #默认100，数据盘一次操作最大字节数(bytes filestore queue committing max ops = 50000 #默认500，数据盘可能commit的操作数 filestore queue committing max bytes = 10485760000 #默认100，数据盘可能commit的最大字节数(bytes) filestore split multiple = 8 #默认值2，#前一个子目录决裂成子目录中的文件的最大数量 filestore merge threshold = 40 #默认值10，#前一个子类目录中的文件合并到父类的最小数量 filestore fd cache size = 1024 #默认值128，#对象文件句柄缓存大小 journal max write bytes = 1073714824 #默认值1048560，journal一次性写入的最大字节数(bytes) journal max write entries = 10000 #默认值100，journal一次性写入的最大记录数 journal queue max ops = 50000 #默认值50，journal一次性最大在队列中的操作数 journal queue max bytes = 10485760000 #默认值33554432，journal一次性最大在队列中的字节数(bytes) osd max write size = 512 #默认值90，OSD一次可写入的最大值(MB) osd client message size cap = 2147483648 #默认值100，客户端容许在内存中的最大数据(bytes) osd deep scrub stride = 131072 #默认值524288，在Deep Scrub时候容许读取的字节数(bytes) osd op threads = 16 #默认值2，并发文件系统操作数 osd disk threads = 4 #默认值1，#OSD密集型操作例如复原和Scrubbing时的线程 osd map cache size = 1024 #默认值500，保留OSD Map的缓存(MB) osd map cache bl size = 128 #默认值50，OSD过程在内存中的OSD Map缓存(MB) osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默认值rw,noatime,inode64，Ceph OSD xfs Mount选项 osd recovery op priority = 2 #默认值10，复原操作优先级，取值1-63，值越高占用资源越高 osd recovery max active = 10 #默认值15，同一时间内沉闷的复原申请数 osd max backfills = 4 #默认值10，一个OSD容许的最大backfills数 osd min pg log entries = 30000 #默认值3000，建筑PGLog是保留的最大PGLog数 osd max pg log entries = 100000 #默认值10000，建筑PGLog是保留的最大PGLog数 osd mon heartbeat interval = 40 #默认值30，OSD ping一个monitor的工夫距离（默认30s） ms dispatch throttle bytes = 1048576000 #默认值 104857600，期待差遣的最大音讯数 objecter inflight ops = 819200 #默认值1024 ，客户端流控，容许的最大未发送io申请数，超过阀值会梗塞利用io，为0示意不受限 osd op log threshold = 50 #默认值5，#一次显示多少操作的log osd crush chooseleaf type = 0 #默认值为1，CRUSH规定用到chooseleaf时的bucket的类型 ############################################################## [client] rbd cache = true #默认值 true ，RBD缓存 rbd cache size = 335544320 #默认值33554432，RBD缓存大小(bytes) rbd cache max dirty = 134217728 #默认值25165824，缓存为write-back时容许的最大dirty字节数(bytes)，如果为0，应用write-through rbd cache max dirty age = 30 #默认值1，在被刷新到存储盘前dirty数据存在缓存的工夫(seconds) rbd cache writethrough until flush = false #默认值true，该选项是为了兼容linux-2.6.32之前的virtio驱动，防止因为不发送flush申请，数据不回写。 #设置该参数后，librbd会以writethrough的形式执行io，直到收到第一个flush申请，才切换为writeback形式。 rbd cache max dirty object = 2 #默认值0，最大的Object对象数，默认为0，示意通过rbd cache size计算失去，librbd默认以4MB为单位对磁盘Image进行逻辑切分。 #每个chunk对象形象为一个Object；librbd中以Object为单位来治理缓存，增大该值能够晋升性能。 rbd cache target dirty = 235544320 #默认值16777216，开始执行回写过程的脏数据大小，不能超过 rbd_cache_max_dirty
7、PG Number
PG和PGP数量肯定要依据OSD的数量进行调整，计算公式如下，然而最初算出的后果肯定要靠近或者等于一个2的指数。
Total PGs = (Total_number_of_OSD * 100) / max_replication_count
例：有100个osd，2正本，5个pool
Total PGs =100*100/2=5000
每个pool 的PG=5000/5=1000，那么创立pool的时候就指定pg为1024
ceph osd pool create pool_name 1024
8、批改crush map
Crush map能够设置不同的osd对应到不同的pool，也能够批改每个osd的weight
9、其余因素
ceph osd perf
通过osd perf能够提供磁盘latency的情况，如果延时过长，应该剔除osd
举荐给大家：Ceph分布式存储日常运维治理手册
作者：来自51CTO博客 Jacken_yang
出处：https://blog.51cto.com/linuxn…
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：Ceph-架构及性能优化
转载请注明原文链接：Ceph-架构及性能优化
