最近做了个项目实现对存在千万条记录的库表进行插入查询操作原以为对数据库的插入查询是件很容易的事可不知当数据达到百万甚至千万条级别的时候这一切似乎变得相当困难几经折腾总算完成了任务
避免使用Hibernate框架
Hibernate用起来虽然方便但对于海量数据的操作显得力不从心
关于插入
试过用Hibernate一次性进行万条左右数据的插入若ID使用sequence方式生成Hibernate将分万次从数据库取得万个sequence构造成相应对象后再分五万次将数据保存到数据库花了我十分钟时间主要的时间不是花在插入上而是花在万次从数据库取sequence上弄得我相当郁闷虽然后来把ID生成方式改成increase解决了问题但还是对那十分钟的等待心有余悸
关于查询
Hibernate对数据库查询的主要思想还是面向对象的这将使许多我们不需要查询的数据占用了大量的系统资源（包括数据库资源和本地资源）由于对Hibernate的偏爱本着不抛弃不放弃的作风做了包括配SQL改进SQL等等的相当多的尝试可都以失败告终不得不忍痛割爱了
写查询语句时要把查询的字段一一列出
查询时不要使用类似select * from x_table的语句要尽量使用select idname from x_table以避免查询出不需要的数据浪费资源对于海量数据而言一个字段所占用的资源和查询时间是相当可观的
减少不必要的查询条件
当我们在做查询时常常是前台提交一个查询表单到后台后台解析这个表单而后进行查询操作在我们解析表单时为了方便起见常常喜欢将一些不需要查询的条件用永真的条件来代替（如select count(id) from x_table where name like %）其实这样的SQL对资源的浪费是相当可怕的我试过对于同样的近一千万条记录的查询来说使用select count(id) from x_table 进行表查询需要秒而使用select count(id) from x_table where name like %却花了秒
避免在查询时使用表连接
在做海量数据查询时应尽量避免表连接（特别是左右连接）万不得已要进行表连接时被连接的另一张表数据量一定不能太大若连接的另一张表也是数万条的话那估计可以考虑重新设计库表了因为那需要等待的时间决不是正常用户所能忍受的
嵌套查询时尽可能地在第一次select就把查询范围缩到最小
在有多个select嵌套查询的时候应尽量在最内层就把所要查询的范围缩到最小能分页的先分页很多时候就是这样简单地把分页放到内层查询里对查询效率来说能形成质的变化
就是这些了希望对遇到类似问题的朋友们能有所帮助！
