Import des données en MongoDB about bigdata-paristech-project-2014 HOT 2 CLOSED

Quel est le goulot d'etranglement dans votre archi lors de l'import (CPU, disk read, disk write, RAM, reseau)?
La reponse a cette question va vous donner des pistes pour optimisation.

Probablement vous allez gagner du temps en lancant plusieurs mongoimport en parallele sur des noeuds differentes qui vont charger des chunks differents du fichier (en fonction de nombre des coeurs de vos noeuds vous pouvez lancer plusieurs mongoimport sur chaque noeud).

Est-ce que vous creez des index avant l'import? Est-ce que l'ordre d'insertion des donnees est la meme que l'ordre dans laquel les donnees seront stocquees sur le disque par MongoDB (fonction de votre modelisation) ?

Il y a beaucoup de ressources sur le sujet, par exemple : https://groups.google.com/forum/#!topic/mongodb-user/8dapPBGZdZE

from bigdata-paristech-project-2014.

Aucune idée sur le goulot d'étranglement. On a pris je pense des serveurs assez puissants (d'ailleurs l'import ne prend d'ailleurs pas toute la CPU, loin de là), avec pas mal de RAM. Sur mon PC, ça tournait 10 fois plus vite ! Donc je dirais, peut-être un souci de réseau, ou alors la répartition sur les shard.
Je n'ai pas créé d'index pour l'instant, je pensais le faire après, et l'insertion des données se fait simplement à partir du fichier de 100 Go, sans ruse particulière (je ne saurais quoi faire du reste).

from bigdata-paristech-project-2014.