alipay / rdf-file Goto Github PK

RT，FileValidator 的validate方法实现中，貌似打开的reader没有关闭，在处理大批量文件的时候，会导致文件句柄打开过多导致系统异常 ProtocolFileValidator类中的方法，可以看下是不是有相关的问题

多线程并行处理定时任务时， Timer 运行多个 TimeTask 时，只要其中之一没有捕获抛出的异常，其它任务便会自动终止运行，使用 ScheduledExecutorService 则没有这个问题。 是否可以使用 ScheduledExecutorService 来替代？

com.alipay.rdf.file.preheat.OssPreheatProtocolReaderWrapper 类的 Timer 属性

srcOSSPath = toOSSPath(srcOSSPath); List<String> fileNames = listAllFiles(srcOSSPath); if (isExist(srcOSSPath)) { fileNames.add(srcOSSPath); } else { throw new RdfFileException("rdf-file:FileOssStorage.download# oss donwLoad srcOSSPath=" + srcOSSPath + " 不存在", RdfErrorEnum.NOT_EXSIT); }

key实际存在，isExist(srcOSSPath)返回不存在

出现负数金额，NumberFormatException

如果文件过大，那么上传由于网络问题导致上传失败，需要重新上传，所以建议增加断点续传模式

线程池有资源争抢的隐患，希望能够同步的将文件内容全部load到本地

具备排除jar包中已有的processor扩展的能力

在 Windows 环境下载 Linux 环境的文件时，测试发现 com.alipay.rdf.file.storage.FileSftpStorage#listAllFiles(java.lang.String, com.alipay.rdf.file.interfaces.FileStorage.FilePathFilter...) 功能存在问题，该方法中会处理系统文件分隔符， com.alipay.rdf.file.util.RdfFileUtil#combinePath 组装文件路径时会把远程 Linux 的文件系统分隔符替换成Windows的文件系统分隔符，导致远程文件不存在，比如 /root 目录下存在 test 文件夹，但通过上面的方法，显示组装成 /root/test ，然后将分隔符替换成 \，变成 \root\test ，之后就会报文件不存在。

方法调用过程为 com.alipay.rdf.file.util.RdfFileUtil#combinePath => com.alipay.rdf.file.util.FileNameUtils#join(java.lang.Object[], java.lang.String) => com.alipay.rdf.file.util.FileNameUtils#normalize
本人经测试是有问题的，请核实

您好，有个问题想问下，我现在按照国标fund模板，自己定义了一个新的不需要头部垂直数据的定长文件模板json，但是导出的时候定长解析不生效，都是一行所有数据写入，如果换成fund模板倒是可以，但是fund被其他文件已经使用了，不能修改，想问下如果要自定义一个定长模板，除了protocol文件还有哪些需要添加注意的地方呢，谢谢~

就是一个文件中有多行，可能有3中规则类型，根据每一行第一个字段的值来判断其属于哪一个规则，然后再进行解析？？

跟oss交互打印 oss request id，便于问题排查

特别是对于国标文件，阅读困难， 此工具主要用来查看，生成文件，模板校验， 方便线下调试等

添加文件核对功能

因为 RDF 会给每一行都添加换行符，但有些文件需求是希望不要存在空行，也就是需要能够给支持文件最后一行无换行符。

oss文件rename操作考虑删除原文件

com.alipay.rdf.file.model.FileConfig#clone方法没有设置processKeys

在以下类中的方法中使用 java.lang.StringBuffer ：

• com/alipay/rdf/file/meta/FileColumnTypeMeta.java:65
• com/alipay/rdf/file/model/FileConfig.java:361
• com/alipay/rdf/file/protocol/RowDefinition.java:120
• com/alipay/rdf/file/function/ColumnFunctionWrapper.java:135
• com/alipay/rdf/file/function/ColumnFunctionWrapper.java:114
• com/alipay/rdf/file/meta/FileColumnMeta.java:125
• com/alipay/rdf/file/meta/FileMeta.java:391

是否可以改成 StringBuilder ?

BeanMapWrapper class元数据缓存优化

oss 基于多线程逻辑分片，提升大文件逻辑分片的效率

是否考虑发布到**仓库，以便使用？

同一个应用，需要根据配置从不同的Bucket上读取模板配置

场景1：实际模板定义字段后，如果数据文件在最后增加了新的字段，但暂时不需要消费该字段，希望能够兼容，不要报模板定义列数与实际字段列数不一致的错

场景2：目前好像模板定义字段顺序必须与文件字段顺序一致，希望能够可以顺序不一致，字段名相同就行

FileWriter writer
try{

oss write 抛出异常后

} finally {
writer.close()
}
调close方法可能会把错误文件上传到oss

TemplateLoader.removeCache 没有移除 国标文件对行长度计算的缓存

需求：sftp存储操作扩展

文件合并body/head/tail pathlist为空时考虑生成空文件

FileWriter writer
try{

oss write 抛出异常后

} finally {
writer.close()
}
调close方法可能会把错误文件上传到oss

执行路径：merge时会直接进入mergeBodyStream，不会调用ensureOpen 创建writer，导致没有写入器

文档中，https://github.com/alipay/rdf-file/wiki 关于开放式基金业务数据交换协议的链接已失效。

oss合并额外已存全文件数据为空时错误
com.alipay.rdf.file.exception.RdfFileException: rdf-file#FileOssStorage.getInputStream(filePath=rdf/rdf-file/open/PreheatMergeDeFileTest/testMergeEmpty/1, start=96, length=0获取数据长度必须大于零
at com.alipay.rdf.file.storage.FileOssStorage.getInputStream(FileOssStorage.java:109)
at com.alipay.rdf.file.common.IOFactory.createReader(IOFactory.java:37)
at com.alipay.rdf.file.common.ProtocolFileReader.ensureOpen(ProtocolFileReader.java:300)
at com.alipay.rdf.file.common.ProtocolFileReader.readBodyLine(ProtocolFileReader.java:251)
at com.alipay.rdf.file.common.ProtocolFileMerger.mergeBodyLines(ProtocolFileMerger.java:276)
at com.alipay.rdf.file.common.ProtocolFileMerger.mergeBody(ProtocolFileMerger.java:145)
at com.alipay.rdf.file.common.ProtocolFileMerger.merge(ProtocolFileMerger.java:83)

RT，最近碰到一种文件，分隔符是用unicode字符\u0001来分隔的，导入的时候可以自定义分隔处理器，但是导出的时候好像没有相关的处理器能够自定义处理，经过blank判断后，trim过后的unicode字符就变为空串了，怎么解决呢，请教下，谢谢~

com.alipay.rdf.file.split.NasFileSliceSplitter 文件中的 152 , 186 , 191 , 423 行日志信息打印错误

1.根据条件值 进行分组汇总
2. 根据条件值进行分组统计

删除模版缓存但是columnRegExs未被清除

OSS会报错；NAS返回一个长度为0的流

RT，发现一个问题，比较源码后，发现2.1.3版本和之后版本的ProtocolFileValidator类验证的逻辑不太一样，会导致带有头部配置的xml模板实际json不配置头部信息时，仍然会进行行数和头部行数的校验导致报错，2.1.3版本头部为空时会有boolean值进行校验拦截，之后的版本去除了这部分的逻辑

支持创建本地临时文件加上threadId防止并发

com.alipay.rdf.file.interfaces.FileStorage#upload

调用这个方法，当超过阈值时，会触发多线程上传，现在代码中写死了5线程，10m大小，期望可配置

        uploadFileRequest.setUploadFile(srcPath);
        uploadFileRequest.setTaskNum(5);
        uploadFileRequest.setPartSize(10 * 1024 * 1024);
        uploadFileRequest.setEnableCheckpoint(true);

比如protocol中定义了totalcount=Integer[8,0]可以被template中定义的totalCount=Integer[16,0]覆盖

id,eventId,taskId,totalAmount,status
1,Ea123,Ts123,5,A
id,eventId,taskId,amount
2,aa123,as123,5,D
......
第一行为文件头的描述，第二行为文件头的属性值，第三行为文件体的字段描述，第四行及后面都是文件体的内容，要解析的是文件头的内容（即第二行值）和文件体的内容，即第4行及后面的所有文件行。

statistic统计添加内置无条件统计实现

添加文件唯一性校验功能，类似数据中的唯一索引约束

需求：读取模板文件，主动识别文件编码跟配置的编码核对，

如果大文件上传下载速度会很慢，希望支持文件压缩，解压功能，不限于远程sftp文件压缩，解压等功能

如果模版文件的head和body中存在相同的key在ColumnRegEx缓存层面会被错误的复用,可能会导致文件操作失败