Comments (8)
Скорее всего дело не в скрипте, а в Авито. Возможно он банит по IP или другим признакам, потому как селекторы у него не менялись. В следующей версии постараюсь сделать упор на обход данных блокировок
from parser_avito.
Спасибо
from parser_avito.
Здравствуйте, появилась ошибка с обращением к странице.
An error has been caught in function '__paginator', process 'MainProcess' (250780), thread 'MainThread' (140391046656000):
Traceback (most recent call last):
File "/root/parser/parser_avito-master/parser_cls.py", line 208, in
).parse()
File "/root/parser/parser_avito-master/parser_cls.py", line 160, in parse
self.__paginator()
-> <main.AvitoParse object at 0x7faf54df6fe0>
File "/root/parser/parser_avito-master/parser_cls.py", line 74, in __paginator
self.__parse_page()
-> <main.AvitoParse object at 0x7faf54df6fe0>
File "/root/parser/parser_avito-master/parser_cls.py", line 97, in __parse_page
titles = self.driver.find_elements(*LocatorAvito.TITLES)
| | | | -> ('css selector', "[data-marker='item']")
| | | -> <class 'locator.LocatorAvito'>
| | -> <function WebDriver.find_elements at 0x7faf5560a710>
| -> <undetected_chromedriver.Chrome (session="c481b457004252340f1a928edffba412")>
-> <main.AvitoParse object at 0x7faf54df6fe0>
File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 861, in find_elements
return self.execute(Command.FIND_ELEMENTS, {"using": by, "value": value})["value"] or []
| | | | | -> "[data-marker='item']"
| | | | -> 'css selector'
| | | -> 'findElements'
| | -> <class 'selenium.webdriver.remote.command.Command'>
| -> <function WebDriver.execute at 0x7faf55609480>
-> <undetected_chromedriver.Chrome (session="c481b457004252340f1a928edffba412")>
File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 440, in execute
self.error_handler.check_response(response)
| | | -> {'status': 500, 'value': '{"value":{"error":"unknown error","message":"unknown error: session deleted because of page crash\...
| | -> <function ErrorHandler.check_response at 0x7faf557ec820>
| -> <selenium.webdriver.remote.errorhandler.ErrorHandler object at 0x7faf54c2eb90>
-> <undetected_chromedriver.Chrome (session="c481b457004252340f1a928edffba412")>
File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/errorhandler.py", line 245, in check_response
raise exception_class(message, screen, stacktrace)
| | | -> ['#0 0x55a69a6d4133 ', '#1 0x55a69a4087f0 ', '#2 0x55a69a3f20c2 ', '#3 0x55a69a3f0b18 ', ...
| | -> None
| -> 'unknown error: session deleted because of page crash\nfrom unknown error: cannot determine loading status\nfrom tab crashed...
-> <class 'selenium.common.exceptions.WebDriverException'>
selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
from unknown error: cannot determine loading status
from tab crashed
(Session info: chrome=113.0.5672.92)
Stacktrace:
#0 0x55a69a6d4133
#1 0x55a69a4087f0
#2 0x55a69a3f20c2
#3 0x55a69a3f0b18
#4 0x55a69a3f12c2
#5 0x55a69a3fee8f
#6 0x55a69a3fff32
#7 0x55a69a412a31
#8 0x55a69a47d348
#9 0x55a69a4649a3
#10 0x55a69a43946a
#11 0x55a69a43a55e
#12 0x55a69a693cae
#13 0x55a69a6978fe
#14 0x55a69a6a0f20
#15 0x55a69a698923
#16 0x55a69a66bc0e
#17 0x55a69a6bbb08
#18 0x55a69a6bbc97
#19 0x55a69a6cc113
#20 0x7f4033626b43
from parser_avito.
Это всё тоже самое. Меня интересует дальнейшая работа скрипта, после данной ошибки он продолжил свою работу (сразу же или на след. итерации)?
from parser_avito.
Да, продолжил, в таком случае можно убрать логи для того, чтобы не выводились ошибки?
from parser_avito.
Можете закомментировать или удалить в файле parser_cls.py строку 221:
logger.error(error)
from parser_avito.
Спасибо большое за помощь
from parser_avito.
Баг в версии 1.05 исправлен
from parser_avito.
Related Issues (20)
- Ограничение городов HOT 4
- Что означает сообщение Доступ ограничен: проблема с IP? HOT 5
- При запуске появляется командная строка с ошибкой в ней Неверно задано имя папки. Отказано в доступе. HOT 13
- Есть ли возможность запустить это на Win 7 x64? HOT 3
- Два чат юзер айди, рассылка двум и более пользователям HOT 1
- Отсутствует вставка из буфера обмена HOT 2
- Возможность сортировки объявления по зарезервированным/уже в доставке товарам HOT 2
- Ошибка перед сменой страницы HOT 3
- Добавьте пожалуйста функционал HOT 3
- Добавить телефон HOT 1
- Кодировка текста в csv HOT 2
- Не работает на маке HOT 6
- при запуске на armbian не работает HOT 1
- В процессе считывания возникла ... как я понимаю ошибка HOT 3
- Переодическая ошибка HOT 2
- Настройка сообщение в ТГ
- Ошибка Element {title} was not present after 7 seconds!
- ошибка с получение тестового сообщения в тг бота HOT 4
- Не работает из-за того, что авито блокирует IP HOT 7
- Слишком длинное сообщение для лога
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from parser_avito.