想问下分布式下的tensorflow about tensorflow-demo HOT 3 CLOSED

你可以自己对数据进行切分，但是简单来说你可以只是在feed data之间把全部data shuffle一下就好。
同步是说模型更新的时候同步吗？ tensorflow支持同步更新和异步更新，如果是说同步更新的话需要用到特殊的optimizer

from tensorflow-demo.

我看那个word2vector是每个worker都要读取同样的data(text8.zip)。 最后算的时候是只需要用一份data么？
同步（这里可能描述的不太准确）我是指更新parameter server(ps)上的参数(weight,机器学习中的model,)（在上wordtovector中是指 nce_weights, nce_biases这些参数）。
在更新参数的时候是不是tensorflow自己帮你更新的（我知道单机的情况下是自动更新的），比如我算一个梯度，我可能要把多个worker上的在当前轮迭代的梯度加起来，然后除以一个值用于更新parameter上的参数。
不过我跑完那个word2vector发现好像在异步模型下不用切分数据也可以。

from tensorflow-demo.

同步更新的话只能用SyncReplicasOptimizer，他会收集不同worker计算出来的梯度来更新参数。

from tensorflow-demo.