查看原文
其他

MyBatis中使用流式查询避免数据量过大导致OOM

点击关注 👉 Java架构师技术 2022-07-01
以下文章来源Java架构师技术,回复”Spring“获惊喜礼包
上一篇推文:一个很酷的 API 快速生成系统

大家好,我是Java架构师


今天mybatis查询数据库中大量的数据,程序抛出:

java.lang.OutOfMemoryError: Java heap space

看下日志,是因为一次查询数据量过大导致JVM内存溢出了,虽然可以配置JVM大小,但是指标不治本,还是需要优化代码。网上查看大家都是流式查询,这里记录下解决的过程。

1、Mapper.xml配置

select语句需要增加fetchSize属性,底层是调用jdbc的setFetchSize方法,查询时从结果集里面每次取设置的行数,循环去取,直到取完。默认size是0,也就是默认会一次性把结果集的数据全部取出来,当结果集数据量很大时就容易造成内存溢出。另外,搜索公众号Java就该这么学后台回复“代码生成器”,获取一份惊喜礼包。

<select id="listTaskResultIpInfo" fetchSize="1000" resultType="String">
   select info from task_result_info where project_id = #{projectId} and task_id = #{taskId}
</select>

注意:此时需要在mysql连接URL中增加useCursorFetch=true。

jdbc.url=jdbc:mysql://127.0.0.1:3306/test?useCursorFetch=true

2、自定义ResultHandler

package com.iie.test.handler.result;
 
import com.iie.test.entity.po.custom.CustTaskResultInfo;
import org.apache.ibatis.session.ResultContext;
import org.apache.ibatis.session.ResultHandler;
 
import java.util.ArrayList;
import java.util.List;
 
/**
 * MyBatis中使用流式查询避免数据量过大导致OOM
 */

public class ResultInfoHandler implements ResultHandler<CustTaskResultInfo> {
    // 存储每批数据的临时容器
    private List<CustTaskResultInfo> resultInfoList = new ArrayList<>();
 
    public List<CustTaskResultInfo> getResultInfoList() {
        return resultInfoList;
    }
 
    @Override
    public void handleResult(ResultContext<? extends CustTaskResultInfo> resultContext) {
        CustTaskResultInfo custTaskResultInfo = resultContext.getResultObject();
        resultInfoList.add(CustTaskResultInfo);
    }
 
}

3、spring中配置sqlSessionTemplate

    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="dataSource"/>
        <property name="configLocation" value="classpath:mybatis/mybatis-config.xml"/>
        <!-- mapper扫描 -->
        <property name="mapperLocations" value="classpath:mybatis/mapper/*/*.xml"/>
    </bean>
    <bean id="sqlSessionTemplate" class="org.mybatis.spring.SqlSessionTemplate">
        <constructor-arg index="0" ref="sqlSessionFactory" />
    </bean>

4、service中使用

    @Autowired
    private SqlSessionTemplate sqlSessionTemplate;
  
public List<CustTaskResultInfo> listTaskResultInfo(Long projectId, Long taskId) {
        Map<String, Object> param = new HashMap<>();
        param.put("projectId", projectId);
        param.put("taskId", taskId);
        ResultInfoHandler handler = new ResultInfoHandler();
        sqlSessionTemplate.select("com.iie.cyberpecker.dao.custom.CustTaskResultInfoMapper.listTaskResultInfo", param, handler);
        return handler.getResultInfoList();
    }

5、疑问

上面这种方案必须要定义一个sqlSessionTemplate,我想着能不能直接在mapper.xml中配置,网上说的是这样实现:

但是我这样实现一直没有成功,查询数据为空,有遇到同样问题解决的可以留言给我。

参考

  • https://blog.csdn.net/weixin_43221845/article/details/84871362
  • https://www.jianshu.com/p/0339c6fe8b61
  • https://stackoverflow.com/questions/28413717/how-to-connect-a-resulthandler-in-mybatis-mapper-xml

最后,整理了100多套项目,赠送读者。扫码下方二维码,后台回复赚钱即可获取。

--END--

来源:blog.csdn.net/bobozai86/article/details/100033076

版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢!

往期惊喜:

何谓架构?

一个很酷的后台权限管理系统

一个很酷的博客系统

一个很酷的快速开发代码生成器系统

看看人家那 IM 即时通讯系统,那叫一个优雅(附源码)

支付宝架构师眼中的高并发架构

最新 955 不加班的公司名单(2022版)

分布式缓存,就该这样设计!

深入Java线程池:从设计思想到源码解读

牛B!做一个3D冰墩墩,送女友,太浪漫了!

不卷了!Eclipse 跌落神坛。。。

如何保证缓存与数据库双写时的数据一致性?

介绍一款地理数据可视化神器——keplergl


扫码关注我们的Java架构师技术

带你全面深入Java

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存