Connecting to DB.
Getting page: 1
Getting page: 2
Getting page: 3
Getting page: 4
Getting page: 5
Getting page: 6
Getting page: 7
Getting page: 8
Getting page: 9
Getting page: 10
Getting page: 11
Getting page: 12
Getting page: 13
Getting page: 14
Getting page: 15
Done

TypeError: Cannot read property 'data' of undefined
at null. (/Users/tema/WebstormProjects/node1/callbacks.js:39:67)
at exports.each (/Users/tema/WebstormProjects/node1/node_modules/cheerio/lib/api/traversing.js:237:24)
at Request._callback (/Users/tema/WebstormProjects/node1/callbacks.js:33:19)
at Request.self.callback (/Users/tema/WebstormProjects/node1/node_modules/request/request.js:121:22)
at Request.EventEmitter.emit (events.js:98:17)
at Request. (/Users/tema/WebstormProjects/node1/node_modules/request/request.js:978:14)
at Request.EventEmitter.emit (events.js:117:20)
at IncomingMessage. (/Users/tema/WebstormProjects/node1/node_modules/request/request.js:929:12)
at IncomingMessage.EventEmitter.emit (events.js:117:20)
at _stream_readable.js:920:16

На 10 работает. На 13 падает.

Проверить почему данных больше просит.
30 байт против 141 это дохрена.

$.getJSON("http://localhost:1337/myjson?callback=?", function(data) {
$('#output').text(data.result);
});

HEAD / 200 115ms - 747b

GET http://www.google.com/ 200 36ms - 747b

1. Что такое HEAD.
2. Как вообще такой GET запрос можно было у себя в логах увидеть?

В живом запросе ищем только по базе ВАКАНСИЙ и возвращаем если количество больше 0.

При клике на нужную вакансию уже выдача контента. Без спутник айди и прочей сервисной информации.

сабж

Там всё по индексам прям обращения. Никаких вызовов. Может $ вообще не нужен и можно обойтись getElementsByClassName.

Лишняя инфа не помешает. Да и регу проще делать.

Это пиздец.
http://jsperf.com/jquery-append-vs-document-createelement/2
http://jsperf.com/jquery-vs-createelement
Если быстро написать "ба", то ответ с сервера приходит правильно.
Зато ДОМ не обновляется.

Брать с главной дату выпуска газеты. Если у нас в базе та же дата то и не парсить.

Короче все новые строки нужно отработать. Бывает что точку не ставят и делают перенос. Бывает по два. Короче все варианты нужно подумать и заменять это. В базу сохраняю с переносами. В лоб не пошло. Вариантов много.

Например от 8 рублей в час итд. Короче структуру зп проверить.

http://vse35.ru/job/element.php?eid=791207&print=y
Так можно сократить траффик значительно. Минус — в логах палево. Мало кто из живых людей скорее всего этой фичей пользуется. Тем более даже кнопки на сайте нет.

не работает.

Тут мануалец:
Automattic/mongoose@0ddaeff

Не ясно когда отключаться и всё такое.

1. Скрипт не отпускает пока к базе прицеплен.
2. Как понять что все операции отработали не ясно. Знаем кол-во всего вакансий, т.е. если 850 было и 850 добавлений сделано то пора отключаться.

НО как отследить. И что делать если половина добавится и фейл произойдет. Таймауты?

Как только вакансию проверяем у себя в базе или добавляем, смотрим есть ли по этому айди в базе расширенная инфа об авторе. Если нет то подтягиваем и добавляем. И раз в неделю проходить по всем айди фирм которые нам нужны и проверять обновили чего или нет они.

Проработать сценарии когда бот не может попасть на сайт:

1. сайт лежит
2. инета нет
3. структура изменилась и он распарсить не может.

Круто на 404 скидку давать или про акк халявный или типа того. По кукисам. Поднимет настроение и посещаемость. Вирус.

Если набрать часть текста и тыкнуть в стоку поиска то исчезает результат выдачи.

Если набрать «a», затем «as» то остаются результаты от «a». Хотя второй GET запрос, который «as» возвращает [].

Все емейлы спарсить с всё35. Они там в открытом доступе лежат. Это огромный траффик на наш сайт. Все работодатели не обломаются и у нас разместить. Ну и остальным тоже как рекламку запульнуть. Т.к. в базе будет инфо об емейл, то можно и на вф8 рекламу запустить. И продавать рекламу по этой базе. Череповецкая база предпринимателей. Отлично.

Причем реально через раз.
500 ERROR (это работает лол)
404 (тут гиту не нравится. и не ясно по какой причине)

пока руками git pull по ssh можно делать. НО НЕ ЗАТЯГИВАТЬ. ПЕРЕПИСАТЬ НА express роут который сможет запускать чо-нибудь типа shell скрипта и перезапускать процесс ноды после git pull.

Можно будет узнать что люди не находят и руками им найти и подсунуть.
Или троллинг ответы сделать если «хуй собачий» постоянно ищут.

Может хеш какой-нибудь. Например взять текст до числа вакансий с главной + концовку предложения + имя класса итд. Все важные параметры от которых зависит парсинг взять и посчитать с него хеш. При каждом новом обращении брать хеш который у нас уже посчитан и с тем что пришло. Если структура не меняется то и хеш ок. Если что-то поплыло или удалилось — беда. Не парсим, а жалуемся в лог/емейл. Так реально не зафейлить базу и быстро пофиксить бота если поменяют сайт спутника или поставят какойнибудь защитер.

http://vse35.ru/job/element.php?eid=809276
Я все переносы позаменял на пробелы при добавлении в базу. Нам поидее переносы вообще бы не нужны. Чего делать?

Не всегда удобно только вводить. Иногда проще тыкнуть «айтишники» кнопку и получить выдачу всех программистов и админов. учитывая что их 20 штук будет всего это ок.

Когда меню выпадает остаётся рамка от поисковой строки и под ним ещё одна рамка с выдачей. Вот они должны один пискель по высоте на двоих как-то осилить, а не два занимать :)

В некоторых местах отрезаются ссылки, чтобы взять id. если номер будет больше чем 999999 — жди беды.

http://stackoverflow.com/questions/3862813/how-can-i-use-an-http-proxy-with-node-js-http-client
Скорее всего банить будут. Лучше заранее прописать юзерагентов и ходить через тор. Меньше вероятность конфликта будет.

http://vse35.ru/afisha/list.php?sid=8218
Вот надо поискать такие ещё лазеечки, может кнопки нет а функционал есть. Возможно весь список вакансий одной страницей тягонуть можно. Было бы замечательно. У них в коде много фич оставлено которые не выведены в интерфейс вообще, или просто ссылки убраны. Битрикс похоже.

Список резюме разобрать у них. Вынуть оттуда емейлы и рассылать наш сайт как только в продакшн выйдет.

Если вдруг база отвалилась. Или не смог в БД добавить, или если инет отпал на полпути. Сейчас он сразу падает на пол и плачет. Но надо проверить во всех ли случаях так.

сабж.

сабж

Нечего ей там быть.

Сейчас там 5 марта 2015 года. Нужно Date.

Короче написать функцию которая треш текст к нормальному виду приводит. Читать невозможно. С точками и пробелами та же проблема. В конце объявлений поставить точки если нет, и начать предложения с больших букв.

/home/tema/work/node_modules/mongoose/node_modules/mongodb/lib/mongodb/db.js:286
throw err;
^
SyntaxError: Invalid regular expression: //: \ at end of pattern
at new RegExp ()
at NativeConnection.callback (/home/tema/work/routes/api.js:20:29)
at NativeConnection.g (events.js:180:16)
at NativeConnection.EventEmitter.emit (events.js:92:17)
at open (/home/tema/work/node_modules/mongoose/lib/connection.js:453:10)
at NativeConnection.Connection.onOpen (/home/tema/work/node_modules/mongoose/lib/connection.js:461:5)
at /home/tema/work/node_modules/mongoose/lib/connection.js:421:10
at /home/tema/work/node_modules/mongoose/lib/drivers/node-mongodb-native/connection.js:59:5
at /home/tema/work/node_modules/mongoose/node_modules/mongodb/lib/mongodb/db.js:283:11
at process._tickCallback (node.js:415:13)
29 Mar 16:13:53 - [nodemon] app crashed - waiting for file changes before starting...

Ярик посмотри код всё35 бота и найти чудовищно глупые решения с $ и селекторами.

А то руками переключать влом же каждый раз.

Только с полноценных страниц можно брать раздел. B2B например, или автотранспорт.