Comments (4)
- 使用最新版本,优化了内存占用
- key 丢失不应该,可以翻翻日志看看为什么
- 速度慢是预期内的,想要速度快,可以多起几个 shake,每个db 一个 shake 这样不会慢
from redisshake.
对比.pdf
1.这边使用的是最新的Redisshake4.0.5版本redis-shake-linux-amd64.tar.gz,但是可以很明显地观察到迁移相同的数据到相同规格的集群,内存消耗远大于2版本;
2.日志就是上面列举的,在小数据量的情况下,src-1、src0和src-2三个分片都会显示同步进度类似size=[123 MiB/1.3 GiB]",最后同步都能顺利完成;大数据量的情况下src-1,会一直卡在hand shaking阶段,可能就是因为这个导致丢数据,请问有解决方法吗
3.源目Redis只用了db0这一个库
Keyspace
db0:keys=27020349,expires=0,avg_ttl=0
from redisshake.
@tentosleep 一种缓解方法是,如果源端有 3 个分片,那么启动 3 个 redis-shake。其中 reader 分别配置为三个源端,writer 配置为目的端集群。可以解决同步慢的问题,内存膨胀问题难解决,现在应该不会很严重,你可以给些数据看看,比如源端内存使用量,shake内存使用量,是否用大 hash、set、list 等结构。
from redisshake.
@suxb201 好的多谢,内存慢的问题我试一下尝试开三个进程,但这样和老版本想比更为繁琐;
但是缺数据的情况是因为数据量过大的问题吗,当前源端总内存是48个G左右,每对主从16G,集群都是string类型的散key,最大的key就几kb左右,SHAKE的内存使用量上面截图中有,4.0.5Redisshake进行同步会消耗大概10G左右的内存;
现在比较在意的是用2版本进行数据同步没有这个缺数据的情况,而且内存消耗也远小于4版本,性能上是否2版本略胜一筹
以下是key的总体扫描情况
-------- summary -------
Sampled 27010993 keys in the keyspace!
Total key length in bytes is 297120990 (avg len 11.00)
Biggest string found '"188683"' has 1219 bytes
27010993 strings with 12782063401 bytes (100.00% of keys, avg size 473.22)
from redisshake.
Related Issues (20)
- redis6同步支持 HOT 1
- 4.05版本使用sync_reader模式连接阿里云Redis集群版直连地址报错 HOT 15
- RedisShake 4.x 初次单机迁移到集群Key丢失以及scan数量与keyspace数量差异问题 HOT 6
- 最新的4.10版本,设置了scan = false不起作用 HOT 3
- ERR NOAUTH Authentication required [redis_writer] sentinel=true HOT 3
- ERR The ID specified in XADD is equal or smaller than the target stream top item HOT 8
- sync_rdb设为false之后依然拉取全量rdb文件发给slave HOT 4
- 使用codis->的时候少key HOT 1
- scan_reader模式下,如何降低对源端的压力 HOT 3
- scan_reader模式下,无法同步被删除的key HOT 1
- SCAN_READER模式下,设置prefer_replica = true报错
- 同步过程中经常遇到 “ERR write tcp xxxx>xxxx : write:broken pipe” HOT 1
- 最新的4.10有没有过滤功能? HOT 2
- 在主从架构中,如果使用了prefer replica会产生bug
- 请问如何配置ssh方式连接redis HOT 2
- 关于RedisShake运行中的日志含义 HOT 2
- 数据迁移异常场景处理 HOT 4
- 从 Aws ElastiCache 迁移到自建redis,源端redis-benchmark 写数据时,redis-shake 会报错 HOT 2
- scan模式开启ksn的性能问题 HOT 1
- 在关闭目的端回复后,存在切换db时卡住问题 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from redisshake.