博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
java查询一次性查询几十万,几百万数据解决办法
阅读量:6616 次
发布时间:2019-06-25

本文共 2782 字,大约阅读时间需要 9 分钟。

hot3.png

java查询一次性查询几十万,几百万数据解决办法
1、先批量查出所有数据,例子中是一万条一批。
2、在查出数据之后把每次的数据按一定规则存入本地文件。
3、获取数据时,通过批次读取,获得大批量数据。此方法参见:http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/

以下是查询数据库。按批次查询

public static void  getMonthDataList() {        ResultSet rs = null;        Statement stat = null;        Connection conn = null;        List
list = new ArrayList
(); try { conn = createConnection(); if(conn!=null){ SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); SimpleDateFormat timesdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); String nowDate = sdf.format(new Date()); Config.lasttimetext = timesdf.format(new Date()); String lastDate = sdf.format(CreateData.addDaysForDate(new Date(), 30)); stat = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE); int lastrow = 0; int datanum = 0; String countsql = "SELECT count(a.id) FROM trip_special_flight a" + " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " + "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') and rownum>"+lastrow+" order by a.get_time desc"; rs = stat.executeQuery(countsql); while (rs.next()) { datanum = rs.getInt(1); } int onerun = 10000; int runnum = datanum%onerun==0?(datanum/onerun):(datanum/onerun)+1; for(int r =0;r
= to_date('"+nowDate+"','yyyy-mm-dd') " + "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') order by rownum asc) WHERE rn > "+lastrow; stat.setMaxRows(onerun); stat.setFetchSize(1000); rs = stat.executeQuery(sql); String text = ""; int i = 1; while (rs.next()) { text += rs.getString(2)+"|"+rs.getString(3)+"|"+rs.getDate(4)+"|"+rs.getString(5)+"|"+rs.getString(6)+"|"+rs.getString(7)+"|"+rs.getString(8)+"||"; if(i%1000==0){ FileUtil.appendToFile(Config.tempdatafile, text); text = ""; } i++; } if(text.length()>10){ FileUtil.appendToFile(Config.tempdatafile, text); } lastrow+=onerun; } } } catch (Exception e) { e.printStackTrace(); } finally { closeAll(rs, stat, conn); } }

转载于:https://my.oschina.net/xiahuawuyu/blog/82588

你可能感兴趣的文章
08.基于IDEA+Spring+Maven搭建测试项目--Maven的配置文件settings.xml
查看>>
HDFS的Java操作方式
查看>>
桌面图形化安装的CentOS6.7中默认安装的yum不能正常使用
查看>>
MVC 二级联动 可以试试
查看>>
本地搭建Wordpress博客网站(Windows)
查看>>
[洛谷P5081]Tweetuzki 爱取球
查看>>
Mysql 两种引擎的区别
查看>>
[bzoj 2818]GCD
查看>>
Mircosoft Visual Studio MSDN版下载
查看>>
1 IE中页面无法跳转解决方案
查看>>
rem详解
查看>>
浅谈:APK混淆保护解析,如何保护APP应用安全
查看>>
关于MATLAB处理大数据坐标文件20170706
查看>>
反射性 索罗斯
查看>>
graphviz的使用
查看>>
jenkins进行andriod打包,上传蒲公英
查看>>
json字符串转为json对象-jQuery.parseJSON()
查看>>
快速排序
查看>>
hdu Just a Hook
查看>>
js 计时器小练-20160601
查看>>