Comments (4)
Seeumt
commented on September 25, 2024
请问datax 支持hive的orc事务表读取吗？
from datax.
qxundream
commented on September 25, 2024
请问datax 支持hive的orc事务表读取吗？
orc是支持的，202309版本说支持了parquet，实际上又没支持，感觉有点奇怪
from datax.
Seeumt
commented on September 25, 2024
请问datax 支持hive的orc事务表读取吗？
orc是支持的，202309版本说支持了parquet，实际上又没支持，感觉有点奇怪
https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md
HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。
HdfsReader需要Jdk1.7及以上版本的支持。
里面好像没说有parquet
from datax.
qxundream
commented on September 25, 2024
请问datax 支持hive的orc事务表读取吗？
orc是支持的，202309版本说支持了parquet，实际上又没支持，感觉有点奇怪
https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md
HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。
HdfsReader需要Jdk1.7及以上版本的支持。
里面好像没说有parquet
你去看v202309的版本说明吧 ，最后一条：HdfsReader/HdfsWriter 支持parquet读写能力
from datax.
Related Issues (20)
- Transformer name not found
- 反序列化漏洞
- Hadoop YARN REST API 未授权访问导致远程代码执行漏洞
- dataxweb从A库迁数据到B库报rpc error
- 在ClickHouse本机从一张表迁移数据到另一张表，频繁报错Unexpected content at the end of chunk是什么原因？
- sql server 做删除任务的时候，报没有返回的结果集
- 单独编译clickhouse 需要datax-example下的包吗，拿不到依赖的包
- clickhouseWriter 的 writeMode 只能 insert，不能 update / replace?
- 写入pgsql,任务执行就卡死,不写入 HOT 1
- datax connect oracle failed(socket read timed out ) HOT 1
- 怎么调整输出日志的level HOT 1
- datax3.0 连接mysql5.7连不上，连接8.0没问题，URL和账户密码都没问题 HOT 3
- Can't find bundle for base name com.alibaba.datax.plugin.reader.clickhousereader.LocalStrings, locale zh_CN
- datax集成弹性资源组件
- datax支持图片、视频的数据迁移吗
- 执行merge操作时，如何将过程中执行了多少次insert操作和update操作输出在日志中
- 快速开始的文档缺失 HOT 1
- datax osswriter 没有文件后缀
- XXX
- MongoDBReader关于Job中split的切分问题
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from datax.