科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网›软件频道 ›iBatis框架batch处理优化

iBatis框架batch处理优化

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

这个问题我就不解释了，因为我想你们肯定能比我解释的更好！如果你真的不知道，那就到雅虎上去搜 索一下吧☻

作者：中国IT实验室 来源：中国IT实验室 2007年9月8日

关键字： batch处理 iBatis框架

  • 评论
  • 分享微博
  • 分享邮件
为什么要做batch处理    

    这个问题我就不解释了，因为我想你们肯定能比我解释的更好！如果你真的不知道，那就到雅虎上去搜
索一下吧☻

Oracle回滚段

    这个问题偶也不很明白，只是大概有个了解，如果你是这方面的专家，或者对这方面有比较深的理解，
别忘了跟偶分享哦☻

在JDBC中如何做batch处理

    JDBC提供了数据库batch处理的能力，在数据大批量操作（新增、删除等）的情况下可以大幅度提升系统的性能。我以前接触的一个项目，在没有采用batch处理时，删除5万条数据大概要半个小时左右，后来对系统进行改造，采用了batch处理的方式，删除5万条数据基本上不会超过1分钟。看一段JDBC代码：
  1. // 关闭自动执行
  2. con.setAutoCommit(false);
  3. Statement stmt = con.createStatement();
  5. stmt.addBatch("INSERT INTO employees VALUES (1000, 'Joe Jones')");
  6. stmt.addBatch("INSERT INTO departments VALUES (260, 'Shoe')");
  7. stmt.addBatch("INSERT INTO emp_dept VALUES (1000, 260)");
  9. // 提交一批要执行的更新命令
  10. int[] updateCounts = stmt.executeBatch();



    本例中禁用了自动执行模式，从而在调用 Statement.executeBatch() 时可以防止 JDBC 执行事务处理。禁用自动执行使得应用程序能够在发生错误及批处理中的某些命令不能执行时决定是否执行事务处理。因此，当进行批处理更新时，通常应该关闭自动执行。

    在JDBC 2.0 中，Statement 对象能够记住可以一起提交执行的命令列表。创建语句时，与它关联的命令列表为空。Statement.addBatch() 方法为调用语句的命令列表添加一个元素。如果批处理中包含有试图返回结果集的命令，则当调用 Statement. executeBatch() 时，将抛出 SQLException。只有 DDL 和 DML 命令（它们只返回简单的更新计数）才能作为批处理的一部分来执行。如果应用程序决定不提交已经为某语句构
造的命令批处理，则可以调用方法 Statement.clearBatch()（以上没有显示）来重新设置批处理。

    Statement.executeBatch() 方法将把命令批处理提交给基本 DBMS 来执行。命令的执行将依照在批处理中的添加顺序来进行。ExecuteBatch() 为执行的命令返回更新计数数组。数组中对应于批处理中的每个命令都包含了一项，而数组中各元素依据命令的执行顺序（这还是和命令的最初添加顺序相同）来排序。调用executeBatch() 将关闭发出调用的 Statement 对象的当前结果集（如果有一个结果集是打开的）。executeBatch() 返回后，将重新将语句的内部批处理命令列表设置为空。

    如果批处理中的某个命令无法正确执行，则 ExecuteBatch() 将抛出BatchUpdateException。可以调用BatchUpdateException.getUpdateCounts() 方法来为批处理中成功执行的命令返回更新计数的整型数组。因为当有第一个命令返回错误时，Statement.executeBatch() 就中止，而且这些命令是依据它们在批处理中的添加顺序而执行的。所以如果 BatchUpdateException.getUpdateCounts() 所返回的数组包含 N 个元素，这就意味着在调用 executeBatch() 时批处理中的前 N 个命令被成功执行。用PreparedStatement 可以象下面这样写代码：

  1. // 关闭自动执行
  2. con.setAutoCommit(false);
  3. PreparedStatement stmt = con.prepareStatement("INSERT INTO employees VALUES (?, ?)");
  5. stmt.setInt(1, 2000);
  6. stmt.setString(2, "Kelly Kaufmann");
  7. stmt.addBatch();
  8. ???
  10. // 提交要执行的批处理
  11. int[] updateCounts = stmt.executeBatch();



iBatis框架对batch处理的支持

    iBatis框架对batch处理提供了很好的支持，底层的实现方式就是JDBC。下面看一段示例代码：

  1.     private void execute(SqlMapClient client){
  2.         if(log.isDebugEnabled()){
  3.             log.debug("execute start...");
  4.         }
  6.         client.startBatch();
  7.         
  8.         for(int i=0;i<2000;i++){
  10.             client.delete("delete from order where id=?",i);
  11.             
  12.         }
  14.         client.executeBatch();
  16.         if(log.isDebugEnabled()){
  17.             log.debug("execute end...");
  18.         }
  19.     }


 iBatis框架做batch处理的问题

    在一个batch中只能对一个表进行操作，例如插入或删除。当有多个表需要处理时，只能放在多个batch中进行处理。看下面的一段代码：

  1.     private void execute(int from,int to,List list){
  2.         if(log.isDebugEnabled()){
  3.             log.debug("STRGHousekeepTask execute start...");
  4.         }
  5.         HKSqlMapWrapper sqlWrapper = HKSqlMapWrapper.newInstance();
  6.         sqlWrapper.startBatch();
  7.         
  8.         for(int i=from;i<to;i++){
  9.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_STRG_CNTR_BL,list.get(i));
  10.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_STRG_CNTR,list.get(i));
  11.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_CNTR,list.get(i));
  12.         }
  13.         sqlWrapper.execBatch();
  14.         if(log.isDebugEnabled()){
  15.             log.debug("STRGHousekeepTask execute end...");
  16.         }
  17.     }

                                            代码1

    这段代码的目的就是要删除数据库中3个表的数据，sqlWrapper是iBatis的SqlMapClient的一个包装器，主要是封状对事物的控制。当批次（既to-from的值）很小的时候，这样写是没有问题的。尽管这段代码的本意是要享受batch处理带来的好处，但是事实上这段代码并不会真正达到预期的效果，至于原因，我们一会在进行分析☻。我们先来看下面一段代码：

  1.     private void execute(int from,int to,List list){
  2.         if(log.isDebugEnabled()){
  3.             log.debug("STRGHousekeepTask execute start...");
  4.         }
  5.         HKSqlMapWrapper sqlWrapper = HKSqlMapWrapper.newInstance();
  6.         sqlWrapper.startBatch();
  7.         
  8.         for(int i=from;i<to;i++){
  9.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_STRG_CNTR_BL,list.get(i));
  10.         }
  11.         for(int i=from;i<to;i++){
  12.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_STRG_CNTR,list.get(i));
  13.         }
  14.         for(int i=from;i<to;i++){
  15.             sqlWrapper.delete(STRGHousekeepConstants.DELETE_CNTR,list.get(i));
  16.         }
  17.         sqlWrapper.execBatch();
  18.         if(log.isDebugEnabled()){
  19.             log.debug("STRGHousekeepTask execute end...");
  20.         }
  21.     }


                                            代码2

    正如你所看到的，和代码1相比它只是做了3次循环，每个循环执行一个表的操作。虽然麻烦，但是却真正的享受到了batch处理的好处！

查看本文来源

    • 评论
    • 分享微博
    • 分享邮件
        VIP专区
        邮件订阅

        如果您非常迫切的想了解IT领域最新产品与技术信息，那么订阅至顶网技术邮件将是您的最佳途径之一。

        重磅专题
        往期文章
        最新文章

        业界热点:

        北京第二十六维信息技术有限公司（至顶网）版权所有. 京ICP备15039648号-7 京ICP证161336号 京公网安备 11010802021500号