יצירת webscraper על האתר http://quotes.toscrape.com/ ואיחסון באמצעות microservices.

microservices:

• downloader

• spiders

• pipelines

• rabbitmq

• mongodb

1. הservice ישלח בקשות HTTP ע"י הוספת הrequest לqueue בשם Requests rabbitmq.
2. הservice יאזין לqueue בשם Responses בrabbitmq, יעבד את הresponse ובמידת הצורך ישלח בקשות נוספות כמפורט בסעיף 1

1. יאזין לqueue בשם Requests בrabbitmq ישלח את הבקשה לאינטרנט
2. כשתיתקבל תשובה לבקשה הוא יוסיף אותו לqueue בשם Responses

1. שרת שמקבל בקשות POST דרך endpoint: items.

POST /items/<collection: str>/<document_id: str>

body:

אובייקט JSON של הפרטים לגבי המוצר

• type: object

כל הודעה היא string של JSON מהפורמט הבא:

{
  method: str
  url: str
  body?: any
}

כל הודעה היא string של JSON מהפורמט הבא:

{
  request: Request // לפי הפורמט שמפורט בפרטוקול של `Requests` Queue
  body: any
}