memcache一致性hash的php实现方法_PHP

本文实例讲述了memcache一致性hash的php实现方法。分享给大家供大家参考。具体如下：

最近在看一些分布式方面的文章，所以就用php实现一致性hash来练练手，以前一般用的是最原始的hash取模做 分布式，当生产过程中添加或删除一台memcache都会造成数据的全部失效，一致性hash就是为了解决这个问题，把失效数据降到最低，相关资料可以 google一下！

php实现效率有一定的缺失，如果要高效率，还是写扩展比较好

经测试，5个memcache，每个memcache生成100个虚拟节点，set加get1000次，与单个memcache直接set加get慢5倍，所以效率一般，有待优化！

在阅读本文之前，最好知道二分查找法。

实现过程：

memcache的配置 ip+端口+虚拟节点序列号 做hash,使用的是crc32,形成一个闭环。
对要操作的key进行crc32
二分法在虚拟节点环中查找最近的一个虚拟节点
从虚拟节点中提取真实的memcache ip和端口，做单例连接

<br /><?php<br />class memcacheHashMap {<br />        private $_node = array();<br />        private $_nodeData = array();<br />        private $_keyNode = 0;<br />        private $_memcache = null;<br />        //每个物理服务器生成虚拟节点个数 [注：节点数越多，cache分布的均匀性越好，同时set get操作时，也更耗资源，10台物理服务器，采用200较为合理]<br />        private $_virtualNodeNum = 200;<br />        private function __construct() {<br />                $config = array(//五个memcache服务器<br />                                                '127.0.0.1:11211',<br />                                                '127.0.0.1:11212',<br />                                                '127.0.0.1:11213',<br />                                                '127.0.0.1:11214',<br />                                                '127.0.0.1:11215'<br />                                        );<br />                if (!$config) throw new Exception('Cache config NULL');<br />                foreach ($config as $key => $value) {<br />                        for ($i = 0; $i _virtualNodeNum; $i++) {<br />                                $this->_node[sprintf("%u", crc32($value . '_' . $i))] = $value . '_' . $i;//循环为每个memcache服务器创建200个虚拟节点<br />                        }<br />                }<br />                ksort($this->_node);//创建出来的1000个虚拟节点按照键名从小到大排序<br />        }<br />        //实例化该类<br />        static public function getInstance() {<br />                static $memcacheObj = null;<br />                if (!is_object($memcacheObj)) {<br />                        $memcacheObj = new self();<br />                }<br />                return $memcacheObj;<br />        }<br />        //根据传来的键查找到对应虚拟节点的位置<br />        private function _connectMemcache($key) {<br />                $this->_nodeData = array_keys($this->_node);//所有的虚拟节点的键的数组<br />                $this->_keyNode = sprintf("%u", crc32($key));//算出键的hash值<br />                $nodeKey = $this->_findServerNode();//找出对应的虚拟节点<br />                //如果超出环，从头再用二分法查找一个最近的，然后环的头尾做判断，取最接近的节点<br />                if ($this->_keyNode > end($this->_nodeData)) {<br />                        $this->_keyNode -= end($this->_nodeData);<br />                        $nodeKey2 = $this->_findServerNode();<br />                        if (abs($nodeKey2 - $this->_keyNode) _keyNode))  $nodeKey = $nodeKey2;<br />                }<br />                var_dump($this->_node[$nodeKey]);<br />                list($config, $num) = explode('_', $this->_node[$nodeKey]);<br />                if (!$config) throw new Exception('Cache config Error');<br />                if (!isset($this->_memcache[$config])) {<br />                        $this->_memcache[$config] = new Memcache;<br />                        list($host, $port) = explode(':', $config);<br />                        $this->_memcache[$config]->connect($host, $port);<br />                }<br />                return $this->_memcache[$config];<br />        }<br />        //二分法根据给出的值找出最近的虚拟节点位置<br />        private function _findServerNode($m = 0, $b = 0) {<br />            $total = count($this->_nodeData);<br />            if ($total != 0 && $b == 0) $b = $total - 1;<br />            if ($m < $b){<br />                $avg = intval(($m+$b) / 2);<br />                if ($this->_nodeData[$avg] == $this->_keyNode) return $this->_nodeData[$avg];<br />                elseif ($this->_keyNode _nodeData[$avg] && ($avg-1 >= 0)) return $this->_findServerNode($m, $avg-1);<br />                else return $this->_findServerNode($avg+1, $b);<br />            }<br />                if (abs($this->_nodeData[$b] - $this->_keyNode) _nodeData[$m] - $this->_keyNode))  return $this->_nodeData[$b];<br />                else return $this->_nodeData[$m];<br />        }<br />        public function set($key, $value, $expire = 0) {<br />                return $this->_connectMemcache($key)->set($key<i style="color:transparent">本￥文来源gaodai$ma#com搞$代*码*网(</i><strong>搞代gaodaima码</strong>, json_encode($value), 0, $expire);<br />        }<br />        public function add($key, $value, $expire = 0) {<br />                return $this->_connectMemcache($key)->add($key, json_encode($value), 0, $expire);<br />        }<br />        public function get($key) {<br />                return json_decode($this->_connectMemcache($key)->get($key), true);<br />        }<br />        public function delete($key) {<br />                return $this->_connectMemcache($key)->delete($key);<br />        }<br />}<br />$runData['BEGIN_TIME'] = microtime(true);<br />//测试一万次set加get<br />for($i=0;$i<10000;$i++) {<br />        $key = md5(mt_rand());<br />        $b = memcacheHashMap::getInstance()->set($key, time(), 10);<br />}<br />var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));<br />$runData['BEGIN_TIME'] = microtime(true); $m= new Memcache;<br />$m->connect('127.0.0.1', 11211);<br />for($i=0;$i<10000;$i++) {<br />        $key = md5(mt_rand());<br />        $b = $m->set($key, time(), 0, 10);<br />}<br />var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));<br />?><br />

希望本文所述对大家的php程序设计有所帮助。

喜欢 (0)赏

[搞代码]

分享 (0)