Giter Club home page Giter Club logo

excel-boot's Introduction

Excel-Boot是一款Excel导入导出解决方案组成的轻量级开源组件。

如果喜欢或愿意使用, 请star本项目或者点击donate图标捐赠我们

如果是企业使用, 为了产品推广, 请通过评论、Issue、PullRequest README的合作企业告诉我们企业名称

请先仔细阅读本说明, 然后如果有任何问题或者建议可以通过issue告知我们, 尽力第一时间解决您的问题

合作企业:

开源库地址(同步更新):

GitHub:https://github.com/programmeres/excel-boot

码云:https://gitee.com/nw1992/easy-poi

功能简介

  1. 浏览器导出Excel文件(支持单/多sheet)

  2. 浏览器导出Excel模板文件

  3. 指定路径生成Excel文件(支持单/多sheet)

  4. 返回Excel文件(支持单/多sheet)的OutputStream, 一般用于将Excel文件上传到远程, 例如FTP

  5. 导入Excel文件(支持单/多sheet)

功能强大

1.解决导出大量数据造成的内存溢出问题(支持分页查询数据库、采用poi官方推荐api(SXSSFWorkbook), 实现指定行数刷新到磁盘)

2.解决导入大量数据造成的内存溢出问题(支持分页插入数据库、采用poi官方推荐api(XSSF and SAX),采用SAX模式一行行读取到内存当中去)

3.解决含有占位符的空假行造成的读空值问题

4.解决Long类型或者BigDecimal的精度不准问题

组件特色

1.导入可以自定义解析成功或失败的处理逻辑

2.导出支持分页查询、全量查询, 自定义每条数据的处理逻辑

3.内置缓存, 3万条11列数据, 排除查询数据所用时间, 第一次导出2.2s左右、第二次导出在1.4s左右;第一次导入3.5s左右、第二次导入2.5s左右

4.注解操作, 轻量且便捷

5.内置常用正则表达式类RegexConst(身份证号、手机号、金额、邮件)

6.可配置是否适配单元格宽度, 默认开启(单元格内容超过20个汉字不再增加宽度, 3万条11列数据, 耗时50ms左右, 用时与数据量成正比)

7.假如出现异常,Sheet、行、列位置也都一并打印

8.注解中的用户自定义字符串信息以及Excel信息已全部trim,不用担心存在前后空格的风险

9.Excel样式简洁、大方、美观

10.导出的单条数据假如全部属性都为null或0或0.0或0.00或空字符串者null字符串,自动忽略,此特性也可让用户自定义忽略规则

11.除了直接返回OutputStream的方法以外的导出方法, 正常或异常情况都会自动关闭OutputStrem、Workbook流

组件需知

导入&导出

1.导入和导出只支持尾缀为xlsx的Excel文件

2.标注注解的属性顺序即Excel列的排列顺序

3.时间转化格式(dateFormat)默认为“yyyy-MM-dd HH:mm:ss“

导入

1.当导入Excel, 读取到空行, 则停止读取当前Sheet的后面数据行

2.导入Excel文件, 单元格格式使用文本或者常规, 防止出现不可预测异常

3.导入字段类型支持:Date、Short(short)、Integer(int)、Double(double)、Long(long)、Float(float)、BigDecimal、String类型

4.导入BigDecimal字段精度默认为2, roundingMode默认为BigDecimal.ROUND_HALF_EVEN, scale设置为-1则不进行格式化

5.第一行有效单元格内必须包含内容并且以第一行为依据, 导入Excel文件列数必须等于标注注解的属性数量

6.Date类型字段,Excel与时间转化格式(dateFormat)相比,格式要保持一致(反例:2018/12/31和“yyyy-MM-dd“)并且长度要一致或更长(反例:"2018-12-31"和yyyy-MM-dd HH:mm:ss"),否则SimpleDateFormat将解析失败,报 “Unparseable date:”

导出

1.导出BigDecimal字段默认不进行精度格式化

2.分页查询默认从第一页开始, 每页3000条

3.Excel每超过2000条数据, 将内存中的数据刷新到磁盘当中去

4.使用分Sheet导出方法, 每8万行数据分Sheet

5.当使用(exportResponse、exportStream、generateExcelStream)方法时, 当单个Sheet超过100万条则会分Sheet

6.标注属性类型要与数据库类型保持一致

7.如果想提高性能, 并且内存允许、并发导出量不大, 可以根据实际场景适量改变分页条数和磁盘刷新量

扩展

1.新建子类继承ExcelBoot类, 使用子类构造器覆盖以下默认参数, 作为通用配置

2.直接调用以下两个构造器, 用于临时修改配置

/**
* HttpServletResponse 通用导出Excel构造器
*/
ExportBuilder(HttpServletResponse response, String fileName, Class excelClass, Integer pageSize, Integer rowAccessWindowSize, Integer recordCountPerSheet, Boolean openAutoColumWidth)
/**
* OutputStream 通用导出Excel构造器
*/
ExportBuilder(OutputStream outputStream, String fileName, Class excelClass, Integer pageSize, Integer rowAccessWindowSize, Integer recordCountPerSheet, Boolean openAutoColumWidth)
    /**
     * Excel自动刷新到磁盘的数量
     */
    public static final int DEFAULT_ROW_ACCESS_WINDOW_SIZE = 2000;
    /**
     * 分页条数
     */
    public static final int DEFAULT_PAGE_SIZE = 3000;
    /**
     * 分Sheet条数
     */
    public static final int DEFAULT_RECORD_COUNT_PEER_SHEET = 80000;
    /**
     * 是否开启自动适配宽度
     */
    public static final boolean OPEN_AUTO_COLUM_WIDTH = true;

版本

当前为2.0版本, 新版本正在开发(包括:导出Word、PDF、单元格合并等)

使用手册

1.引入Maven依赖

2.将需要导出或者导入的实体属性上标注@ExportField或@ImportField注解,并根据自己需要编写属性

3.在使用者项目相应的代码中粘贴相应的导出或者导入代码

4.将Demo中注释标明:"需要使用本组件的开发者自己定义的" 的替换成自己项目中的类

5.将开发者自定义逻辑编写到导出pageQuery或者导入onProcess方法中

6.将开发者自定义逻辑编写到导出convert或者导入onError方法中

POM.xml

<dependency>
	<groupId>io.github.magic-core</groupId>
	<artifactId>excel-boot</artifactId>
	<version>2.0</version>
</dependency>

导出导入实体对象

/**
* 导出导入实体对象
* 
* 导出注解说明
* columnName:导出Excel列名
* scale:导出BigDecimal类型格式化精度
* roundingMode:导出BigDecimal类型舍入规则
* dateFormat:导出Data类型格式化模式
* defaultCellValue:导出模板默认值
* 
* 导入注解说明
* required:是否非空校验
* regex:正则校验规则
* regexMessage:正则校验失败信息
* scale:导出BigDecimal类型格式化精度
* roundingMode:导出BigDecimal类型舍入规则
* dateFormat:导出Data类型格式化模式
*/
public class UserEntity {
/**
* Integer类型字段
*/
@ExportField(columnName = "ID", defaultCellValue = "1")
@ImportField(required = true)
    private Integer id;
/**
* String类型字段
*/
@ExportField(columnName = "姓名", defaultCellValue = "张三")
@ImportField(regex = IDCARD_REGEX, regexMessage="身份证校验失败")
    private String name;
/**
* BigDecimal类型字段
*/    
@ExportField(columnName = "收入金额", defaultCellValue = "100", scale = 2, roundingMode=BigDecimal.ROUND_HALF_EVEN)
@ImportField(scale = 2, roundingMode=BigDecimal.ROUND_HALF_EVEN)
    private BigDecimal money;
/**
* Date类型字段
*/
@ExportField(columnName = "创建时间", dateFormat="yyyy-MM-dd", defaultCellValue = "2019-01-01")
@ImportField(dateFormat="yyyy-MM-dd")
    private Date birthDayTime;
}

导入Demo

/**
 * 导入Demo
 * 
 * UserEntity是标注注解的类, Excel的导入映射类, onProcess的userEntity参数则是Excel每行数据的映射实体
 * 需要使用本组件的开发者自己定义
 * 
 * ErrorEntity是封装了每行Excel数据常规校验后的错误信息实体, 封装了sheet号、行号、列号、单元格值、所属列名、错误信息
 * 
 * onProcess方法是用户自己实现, 当经过正则或者判空常规校验成功后执行的方法, 参数是每行数据映射的实体
 * onError方法是用户自己实现, 当经过正则或者判空常规校验失败后执行的方法
 */
@Controller
@RequestMapping("/import")
public class TestController {
    @RequestMapping("/importExcel")
    public void importExcel() throws IOException {
        ExcelBoot.ImportBuilder(new FileInputStream(new File("C:\\Users\\导入Excel文件.xlsx")),  UserEntity.class)
                .importExcel(new ImportFunction<UserEntity>() {

                    /**
                     * @param sheetIndex 当前执行的Sheet的索引, 从1开始
                     * @param rowIndex 当前执行的行数, 从1开始
                     * @param userEntity Excel行数据的实体
                     */
                    @Override
                    public void onProcess(int sheetIndex,  int rowIndex,  UserEntity userEntity) {
                        //将读取到Excel中每一行的userEntity数据进行自定义处理
                        //如果该行数据发生问题,将不会走本方法,而会走onError方法
                    }

                    /**
                     * @param errorEntity 错误信息实体
                     */
                    @Override
                    public void onError(ErrorEntity errorEntity) {
                        //将每条数据非空和正则校验后的错误信息errorEntity进行自定义处理
                    }
                });
    }
}

导出Demo

/**
 * 导出Demo
 * 
 * UserEntity是标注注解的类,Excel映射的导出类
 * 需要使用本组件的开发者自己定义
 * ParamEntity是查询的参数对象
 * 需要使用本组件的开发者自己定义
 * ResultEntity是查询到的结果List内部元素
 * 需要使用本组件的开发者自己定义
 * 
 * UserEntity可以和ResultEntity使用同一个对象,即直接在查询的结果对象上标注注解(建议使用两个对象, 实现解耦)
 * 
 * pageQuery方法是用户自己实现, 即导出Excel的数据来源, 根据查询条件和当前页数和每页条数进行数据层查询, 当返回List的条数为NULL或者小于DEFAULT_PAGE_SIZE(每页条数)时, 将视为查询结束, 反之则会发生死循环 
 * convert方法是用户自己实现, 参数就是您查询出来的list中的每个元素引用, 您可以对对象属性的转换或者对象的转换, 但是必须返回标注注解的对象
 */
@Controller
@RequestMapping("/export")
public class TestController {
    /**
     * 浏览器导出Excel
     *
     * @param httpServletResponse
     */
    @RequestMapping("/exportResponse")
    public void exportResponse(HttpServletResponse httpServletResponse) {
        ParamEntity queryQaram = new ParamEntity();
        ExcelBoot.ExportBuilder(httpServletResponse, "Excel文件名", UserEntity.class).exportResponse(queryQaram,
                new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {
                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 浏览器多sheet导出Excel
     *
     * @param httpServletResponse
     */
    @RequestMapping("/exportMultiSheetResponse")
    public void exportMultiSheetResponse(HttpServletResponse httpServletResponse) {
        ParamEntity queryQaram = new ParamEntity();
        ExcelBoot.ExportBuilder(httpServletResponse, "Excel文件名", UserEntity.class).exportMultiSheetStream(queryQaram,
                new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {

                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 导出Excel到指定路径
     */
    @RequestMapping("/exportStream")
    public void exportStream() throws FileNotFoundException {
        ParamEntity queryQaram = new ParamEntity();
        ExcelBoot.ExportBuilder(new FileOutputStream(new File("C:\\Users\\Excel文件.xlsx")), "Sheet名", UserEntity.class)
                .exportStream(queryQaram, new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {

                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 导出多sheet Excel到指定路径
     */
    @RequestMapping(value = "exportMultiSheetStream")
    public void exportMultiSheetStream() throws FileNotFoundException {
        ParamEntity queryQaram = new ParamEntity();
        ExcelBoot.ExportBuilder(new FileOutputStream(new File("C:\\Users\\Excel文件.xlsx")), "Sheet名", UserEntity.class)
                .exportMultiSheetStream(queryQaram, new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {

                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 生成Excel OutputStream对象
     */
    @RequestMapping(generateStream)
    public void generateExcelStream() throws FileNotFoundException {
        ParamEntity queryQaram = new ParamEntity();
        OutputStream outputStream = ExcelBoot.ExportBuilder(new FileOutputStream(new File("C:\\Users\\Excel文件.xlsx")), "Sheet名", UserEntity.class)
                .generateExcelStream(queryQaram, new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {

                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 生成多Sheet Excel OutputStream对象
     */
    @RequestMapping(generateMultiSheetStream)
    public void generateMultiSheetExcelStream() throws FileNotFoundException {
        ParamEntity queryQaram = new ParamEntity();
        OutputStream outputStream = ExcelBoot.ExportBuilder(new FileOutputStream(new File("C:\\Users\\Excel文件.xlsx")), "Sheet名", UserEntity.class)
                .generateMultiSheetExcelStream(queryQaram, new ExportFunction<ParamEntity, ResultEntity>() {
                    /**
                     * @param queryQaram 查询条件对象
                     * @param pageNum    当前页数,从1开始
                     * @param pageSize   每页条数,默认3000
                     * @return
                     */
                    @Override
                    public List<ResultEntity> pageQuery(ParamEntity queryQaram, int pageNum, int pageSize) {

                        //1.将pageNum和pageSize传入使用本组件的开发者自己项目的分页逻辑中
                        
                        //2.调用使用本组件的开发者自己项目的分页查询方法
                        List<ResultEntity> result=dao().queryPage(queryQaram);
                        return result;
                    }

                    /**
                     * 将查询出来的每条数据进行转换
                     *
                     * @param o
                     */
                    @Override
                    public UserEntity convert(ResultEntity o) {
                        //用于编写开发者自定义的转换逻辑
                        return new UserEntity();
                    }
                });
    }

    /**
     * 导出Excel模板
     */
    @RequestMapping("/exportTemplate")
    public void exportTemplate(HttpServletResponse httpServletResponse) {
        ExcelBoot.ExportBuilder(httpServletResponse, "Excel模板名称", UserEntity.class).exportTemplate();
    }
}

excel-boot's People

Contributors

codacy-badger avatar programmeres avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

excel-boot's Issues

导入问题

1.onProcess 方法无法拿到列信息,所以如果是业务上的error,不能判断是哪一列
2.onError方法不能抛出异常,所以如果第二行导入失败,不能直接退出导入,会把所有数据全部处理后,才返回错误信息

导入问题

导入复杂表头数据,添加groupName注解,只能读取到第一列数据。

overhead limit GC

你好,我看报错信息,其中有个方法是xssfReader的sharedStringsTable。我是导入10万条数据,第一次还行,如果接着再导第二次,就这样了。目前还没有插入数据库,只是解析和校验

导入图片

excel中有图片,支持导入导出图片吗

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.