Comments (7)
“我在目标库,testshinan.test-shinan 加了数据A. 算是我理解的首次全量同步。”
这个描述是啥意思?
你是说源库写入数据,目标库没有同步?
from mongoshake.
“我在目标库,testshinan.test-shinan 加了数据A. 算是我理解的首次全量同步。”
这个描述是啥意思?
你是说源库写入数据,目标库没有同步?
不是的。mongoshake 不是 只同步增量数据 么?我就是先在目标库把数据A给写入。 然后 再起的 mongoshake进程。 希望把数据B 以及 以后 源库的 testshinan.test-shinan 数据都同步到 目标库的 testshinan.test-shinan
其实就是按照 FAQ里的步骤走的
Does MongoShake support full backup?
log里的记录
[2019/01/26 10:17:35 CST] [WARN] [collector.(*OplogSyncer).checkpoint:64] CheckpointOperation updated is not suitable. lowest [0]. current [6596901777600160832]. reason : no candidates ack values found
[2019/01/26 10:17:40 CST] [INFO] [common.(*ReplicationMetric).startup.func1:137] [name=rs0, filter=4013850, get=4013850, consume=0, apply=0, failed_times=0, success=0, tps=0, ckpt_times=0, retransimit_times=0, tunnel_traffic=0B, lsn_ckpt={0,1970-01-01 08:00:00}, lsn_ack={0,1970-01-01 08:00:00}]
from mongoshake.
这个时间戳是oplog产生的时间戳,你看看你的数据时间是不是对的上,机器时间确定25号吗?另外,这个时间好像是utc时区的
from mongoshake.
另外,虽然加了白名单,但是所有的表都会拉,只是同步的时候过滤了。所以如果别的表过大,可能会导致你指定的表拉取延迟
from mongoshake.
这个时间戳是oplog产生的时间戳,你看看你的数据时间是不是对的上,机器时间确定25号吗?另外,这个时间好像是utc时区的
机器时间确定是 25 号的。
context.start_position 的时间知道是 utc。
但是 context.start_position 我设定的时间不是 oplog里 某条记录的时间。这个需要么?我以为时间只要稍早一些就可以。或者说 我设为 2019-01-01T00:00:01Z 可以么
另外我有一个疑问,shake拉oplog 是直接从 > context.start_position 的时间拉起的。还是全oplog拉取,过滤 < context.start_position 的时间
from mongoshake.
但是 context.start_position 我设定的时间不是 oplog里 某条记录的时间。这个需要么?我以为时间只要稍早一些就可以。或者说 我设为 2019-01-01T00:00:01Z 可以么
这个不需要知道具体时间,早些就可以
另外我有一个疑问,shake拉oplog 是直接从 > context.start_position 的时间拉起的。还是全oplog拉取,过滤 < context.start_position 的时间
前者
from mongoshake.
非常感谢解答~
from mongoshake.
Related Issues (20)
- mongodb 3.2.10使用mongo-shake 2.6.6往kafka同步,启动任务报#topic@ip:port] create writer error[address format error]
- 单实例之间同步no oplog HOT 1
- Add MongoShake Prometheus Exporter to Monitoring HOT 1
- mongoshake-stat 执行报错
- Database sharding support for incremental sync
- 源端是单实例 HOT 1
- 源端压测时,单表同步写入性能瓶颈求助
- 源端单实例像目标端分片同步数据报错
- mongoshake 同步状态某个集合卡住不动了
- 全量+增量同步,差不多全量同步完异常退出 HOT 1
- run replication failed: select sync mode failed: get all timestamp failed: (Unauthorized) command find requires authentication
- mongo 到kafka ,开启全字段同步后,会导致mongos 挂掉,如果是关掉就没有问题
- Does it support mongodb-6.0?
- 如何进行mongo的冷数据备份?哪位有成熟的方案?
- mongodb 3.2 单节点,开启 oplog, 同步到4.4,全量加增量模式,已关闭ddl操作,但是因为ddl同步抱错
- 数据冷热备份方案
- 同步集群后发现缺少sensitive_event集合,但不清楚什么原因造成的
- Mongoshake的集群到集群单向同步是否支持反转同步方向
- 生产环境中使用,如何关闭用于查看内部go堆栈profiling端口
- Mongoshake同步时写入失败
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from mongoshake.