Integración de hadoop en el sistema about 101crawlersweb HOT 6 CLOSED

Estoy teniendo bastantes problemas, he probado varias cosas por internet, y cada vez que arreglo una cosa de la configuración me daba otro error, y ahora tengo sobretodo el problema de que todo lo que he encontrado con hadoop es poniendo localmente un servidor hadoop, el problema es conectarse con el debido a que se está en una imagen docker y no en localhost realmente, y la verdad que estoy "perdiendo" bastante tiempo intentando poner una base de datos donde almacenar además de en dump los resultados. Voy a seguir un par de horas más mínimo a ver si consigo resolver el problema, si no lo consigo, algún consejo?

from 101crawlersweb.

Cambia el titulo de la issue para que sea más claro. Si no lo consigues déjalo para que lo discutamos el lunes e intenta hacer #3 #4 #9 ... (es decir, issues asignadas a este milestone)

from 101crawlersweb.

Nada, 3 horas probando aún más cosas y nada, tengo que hablar sobre esto contigo, voy a parar en esta tarea.

Si que he conseguido algo pero, el problema ademas de lo anterior, es que, como ahora he conseguido que me deje ejecutarlo sin problemas, he tenido que ir probando diferentes versiones de hadoop y nutch porque había problemas, y en esta que me funcionaba por ejemplo, pues la documentación y ejemplos esta muy dispersa en muchas páginas que he ido mirando. Un ejemplo es que justo la versión de hadoop que me ha funcionado con esto, todos los ejemplos que encuentro no coinciden con la versión/estructura de nutch con la que me ha funcionado todo.

Dejo la imagen que me ha semifuncionado por fin en un borrador guardada, pero me pongo con las tareas que me has dicho de aquí al domingo.
#3 #4 #9 #13

from 101crawlersweb.

Y no te olvides de dar un nombre descriptivo a la issue.

from 101crawlersweb.

PAra que no se me olvide comento por aquí un par de problemillas que querría cometarte cuando tengamos la reunión.

El problema de que como la idea es tener muchas instancias/contenedores de docker funcionando, la idea de Solr es dar acceso a la info recopilada por una url y un puerto, localmente. El problema viene que esto no puede hacerse a aquí porque no sabrías que puertos dar a los diferentes contenedores, además de que se acabarían los puertos, creo que para la extracción de información en el caso de docker, lo mejor es extraer el dump de cada contendor cuando se quiera al servidor donde se aloje el sistema y ya hacerlo que quieras con el.

Con hadoop, lo que yo he visto hasta ahora que ha hecho la gente es montarlo en la imagen de docker cosa que no serviría aquí pues si la idea es tener varios contenedores de docker, no tiene sentido tener un hadoop por cada contenedor, en todo caso tendría sentido montar hadoop en el servidor donde se aloje el sistema y configurar las imágenes de docker para que se conectasen con este. Pero yo esto lo haría más adelante y me centraría en avanzar en otras cosas ahora.

from 101crawlersweb.

Crea una issue con el tema del uso se Sorl para tener por separado el tema que has indicado.

from 101crawlersweb.