海量数据存储优化。(二)
大多数资料表明,Shard架构(MySQL Cluster)是非常推荐的。
但是被pass的理由也表明了,这个是没得搞了。
还好在High Performance MySQL 3rd上看到了Partitioning,估计能够建议掉BOSS当时的神奇架构。
==============================
嗯,虽然有待讲解原理,但是看样子BOSS满意了。
毕竟有MySQL自动帮他分表。
思路如下:
首先,利用MySQL的Partitioning特性来建立一个表。以range进行partition,用爬取时间的月份来分隔。然后利用MySQL的Event Scheduler进行定时创建partition,这样子就直接把本来该手动添加一个个物理表的任务给自动化了。
同时,Partitioned tables在逻辑上还是看成一个表来处理,这样子还能够减轻原来BOSS的方案中蛋疼的查询问题。
现在简单的分了几个partition在测试中,已经给表中随机添加了数十万的数据了,目前性能还没有什么瓶颈,看看明天会有什么结果吧。
但是被pass的理由也表明了,这个是没得搞了。
还好在High Performance MySQL 3rd上看到了Partitioning,估计能够建议掉BOSS当时的神奇架构。
==============================
嗯,虽然有待讲解原理,但是看样子BOSS满意了。
毕竟有MySQL自动帮他分表。
思路如下:
首先,利用MySQL的Partitioning特性来建立一个表。以range进行partition,用爬取时间的月份来分隔。然后利用MySQL的Event Scheduler进行定时创建partition,这样子就直接把本来该手动添加一个个物理表的任务给自动化了。
同时,Partitioned tables在逻辑上还是看成一个表来处理,这样子还能够减轻原来BOSS的方案中蛋疼的查询问题。
现在简单的分了几个partition在测试中,已经给表中随机添加了数十万的数据了,目前性能还没有什么瓶颈,看看明天会有什么结果吧。