• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

超级大容量数据库设计有关问题,年存储4万亿条记录

mysql 搞代码 7年前 (2018-06-04) 123次浏览 已收录 0个评论

超级大容量数据库设计问题,年存储4万亿条记录。
一秒钟有十几万条记录产生,一年有将近4万亿条记录产生,数据量非常之大,目前也有好多用户都提出了类似的要求,请教各位大神,有无可行的方案,不限数据库(目前使用mysql,无法满足要求),只要能满足要求,关系型数据库、NoSQL数据库都行,请注明实现的方式,多谢。

说明:
  1.不考虑超级服务器,太贵,但8核之类的服务器还可以接受;
  2.除了检索,还要进行数据统计分析,可能会针对1年的数据进行分析,需要保证统计性能;

——解决方案——————–
这个数据量,恐怕只有ORACLE胜任了
——解决方案——————–

引用

一秒钟有十几万条记录产生

——解决方案——————–
你的用户是百度谷歌吧?
——解决方案——————–
前使用MySQL,无法满足要求

为什么
——解决方案——————–
hadoop
——解决方案——————–
一秒钟有十几万条记录产生,太厉害了!
——解决方案——————–
楼主瞎折腾。。

什么项目,,有这么大请求啊。
——解决方案——————–

探讨

这个数据量,恐怕只有ORACLE胜任了

——解决方案——————–

探讨

引用:
这个数据量,恐怕只有ORACLE胜任了

DB2的数据库也可以满足楼主的要求的。

——解决方案——————–
NoSQL
——解决方案——————–
按天 分表 分库
——解决方案——————–
DB2啊DB2

——解决方案——————–
无论是ORACLE或者DB2,这样的大的IO,单台普通计算机服务器肯定不行。 同样如果是多机,则不管是MYSQL还是ORACLE都可以。但关键是这个集群很难,需要有经验的专家。
——解决方案——————–
一秒十几万记录是什么数据啊,短信也没这么多吧
必须cluster+负载均衡
——解决方案——————–
楼主的大数据处理环境使用HBase+Hadoop+Hive,做分布式存储,后期做分布式计算,数据统计分析,挖掘之类的是一个可取的方案,可以说是解决这个大数据量利器。
——解决方案——————–
学习ing


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:超级大容量数据库设计有关问题,年存储4万亿条记录

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址