mongodb困扰啊

在mongodb的一些collection里面拥有几十上百万条记录之后。
使用mongoid进行遍历的过程中,经常就会丢失一些信息。
也许是我写程序的时候,一些异常处理得有问题,导致信息转换的过程中丢失了大量的信息吧。
非常奇怪,后来还是直接在mongo的shell里面,用js搞定了所有的数据转换。
有错误会直接爆出来,安全跑完,就没有任何问题了。

通过shell直接转换的数据,里面有大量重复的,烦死了。

今天发现有的时候内存不足也会造成。呃,搜索失败。当然并不是简单的搜索,而是做了管道聚合。看来太复杂的数据需要更多的内存进行聚合。不知道前面做制作失败的一些事情了,是不是因为内存不足出现的,但是并没有报错误,只是不执行。

内存不足,是可以通过allowDiskUse:true来解决的,但是我今天测试了半天,好像不是很好用,加不加这个参数,都提示内存不足。