Giter Club home page Giter Club logo

scrapetasks's Introduction

scrapetasks

UPDATE: Задачи перенесены в репозиторий Хаба открытых данных - https://github.com/infoculture/hubofdata/issues Задачи сообщества по сбору и извлечению данных из официальных источников / Community tasks to collect open data from official sources

Главное отличие этих задач от других которые мы собираем:

  • они однократные, их не нужно повторять
  • они про создание общественного блага
  • они не про создание пользовательских интерфейсов и продуктов

Если у Вас есть задача по сбору данных которая не упомянута в общем списке https://github.com/infoculture/scrapetasks/issues - пишите на [email protected] и она там появится или зарегистрируйтесь на github и добавьте её самостоятельно.

Если у Вас есть свободное время или желание поучиться сбору данных с сайтов - то берите на себя любую задачу и пишите если есть вопросы.

Как писать скрипты/программы для сбора данных ?

В каталоге Awesome Web scraping https://github.com/lorien/awesome-web-scraping собраны инструменты для всех наиболее популярных языков программирования и приведены примеры того как пишутся программы для сбора данных с сайтов (web scraping).

Где ещё найти интересные задачи?

В репозитории datatasks собраны задачи https://github.com/infoculture/datatasks/issues для участников конкурсов, спринтов и хакатонов

scrapetasks's People

Contributors

ivbeg avatar

Stargazers

avatar avatar avatar avatar avatar avatar

Watchers

avatar avatar avatar

Forkers

sts0mrg0

scrapetasks's Issues

Собирать наборы данных и писать задачи для ScrapeTasks

Это постоянно продолжающаяся задача которая не должна закрываться.

Необходимо собирать все возможные идеи с данными которые могут пригодится для хакатонов и вносить их как микрозадачи в общий реестр
https://github.com/infoculture/scrapetasks/issues

Собрать данные по авариям и статистике аварий с сайта ГИБДД (stat.gibdd.ru)

Цель

На портале stat.gibdd.ru размещены общедоступные данные со статистикой аварийности
Необходимо собрать данные по статистике и по отдельным авариям из этой базы и выложить их как открытые данные.

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • написать парсер для сайта stat.gibdd.ru
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 2 дней

Примечание

У сайта предусмотрено основанное на ajax'е API и есть функции экспорта в CSV и Excel. Возможно использование этих возможностей сильно упростит создание парсера.

Вспомогательные материалы:

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Преобразовать таблицы из государственных докладов «О состоянии и использовании водных ресурсов Российской Федерации» в открытые данные

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/regulatory/list.php?part=1253 в которых приведены цифры и таблицы с состоянием водных ресурсов по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • проанализировать структуру докладов и описать её
  • написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1253
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Собрать данные портала "База данных рассекреченных дел и документов федеральных государственных архивов" (unsecret.rusarchives.ru)

Цель

На портале unsecret.rusarchives.ru размещена общедоступная база рассекреченных документов. Необходимо собрать данные из этой базы и выложить их как открытые данные.

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • написать парсер для сайта unsecret.rusarchives.ru
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 1 дня

Вспомогательные материалы:

  • База данных рассекреченных дел и документов федеральных государственных архивов http://unsecret.rusarchives.ru

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Собрать данные по компаниям в строительстве и превратить их в открытые данные из реестра НОСТРОЙ

Цель

На портале reestr.nostroy.ru размещены общедоступные данные реестра СРО в строительстве и реестра строительных компаний участников СРО
Необходимо собрать данные по СРО и по участникам СРО и опубликовать их как открытые данные

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • написать парсер для сайта reestr.nostroy.ru
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 4 чсов

Примечание

Необходимые данные из реестра СРО:

  • Рег. номер
  • Полное наименование
  • Сокращенное наименование
  • Адрес местонахождения
  • Федеральный округ
  • ИНН
  • ОГРН
  • E-mail
  • Адрес сайта
  • Телефон
  • Руководитель коллегиального органа СРО
  • Руководитель исполнительного органа СРО
  • Статус

Необходимые данные из реестра участников СРО:

  • СРО
  • Тип члена СРО
  • Полное наименование
  • Сокращенное наименование
  • Статус члена
  • Регистрационный номер члена в реестре СРО
  • Дата регистрации в реестре СРО
  • Дата прекращения членства
  • Основание прекращения членства
  • ОГРН
  • ИНН
  • Дата государственной регистрации
  • Номер контактного телефона
  • Адрес местонахождения юридического лица
  • ФИО, осуществляющего функции единоличного исполнительного органа юридического лица и (или) руководителя коллегиального исполнительного органа юридического лица
  • Сведения о соответствии члена СРО условиям членства в СРО, предусмотренным - законодательством РФ и (или) внутренними документами СРО
  • Размер взноса в компенсационный фонд СРО
  • Обновлено

А также по аналогичной логике для всех участников СРО необходимо собрать данные из вкладок "Свидетельства о допуске", "Страхование", "Проверки".

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Извлечь данные с сайта Московской патриархии о персоналиях, организациях, богослужебных указаниях и храмах,

Цель

Собрать базу открытых данных с сайта Московской патриархии о персоналиях, организациях, богослужебных указаниях и храмах, структурировать их и загрузить в хаб открытых данных

Задача

  • проинвентаризировать данные на сайте Московской патриархии
  • написать парсеры и выгрузить данные в форматах CSV и JSON
  • загрузить данные в хаб открытых данных http://hubofdata.ru в удобном виде.

Требования

  • открытый исходный код в Github под свободной лицензией
  • межплатформенный код (возможность запуска на Linux/Windows)
  • предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
  • переносить все данные в CKAN или на отдельный хостинг (например, в Github)

Данные

Пожелания

  • реализация в виде программы командной строки или веб-приложения
  • возможность запуска на MacOSX
  • использовать скриптовые языки такие как Python, Perl, R и другие.

Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

Преобразовать таблицы из государственных докладов «О состоянии и использовании минерально-сырьевых ресурсов Российской Федерации» в открытые данные

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/regulatory/list.php?part=1257 в которых приведены цифры и таблицы с состоянием минирально-сырьевых ресурсов по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • проанализировать структуру докладов и описать её
  • написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1257
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Преобразовать таблицы из государственных докладов «О состоянии и об охране окружающей среды Российской Федерации» в открытые данные

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/regulatory/list.php?part=1101 в которых приведены цифры и таблицы с состоянием окружающей среды по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

  • выбрать язык программирования Python / R или иной, на выбор
  • проанализировать структуру докладов и описать её
  • написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1101
  • выгрузить все данные в формате CSV или JSON или XML
  • загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

  • открытый исходный код в Github под свободной лицензией
  • открытые данные под лицензией Creative Commons

Пожелания

  • сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Извлечь данные с сайта Правительства РФ и превратить их в несколько наборов данных

Цель

Собрать базу открытых данных с сайта правительства, government,ru

Задача

  • проинвентаризировать данные на сайте правительства
  • написать парсеры и выгрузить данные в форматах CSV и JSON
  • загрузить данные в хаб открытых данных http://hubofdata.ru в удобном виде.

Требования

  • открытый исходный код в Github под свободной лицензией
  • межплатформенный код (возможность запуска на Linux/Windows)
  • предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
  • переносить все данные в CKAN или на отдельный хостинг (например, в Github)

Данные

Пожелания

  • реализация в виде программы командной строки или веб-приложения
  • возможность запуска на MacOSX
  • использовать скриптовые языки такие как Python, Perl, R и другие.

Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.