infoculture / hubofdata Goto Github PK

Написать код сбора и импорта данных из http://data.gov.spb.ru/ в хаб открытых данных

Цель: архивация открытых данных Санкт-Петербурга

Необходимо:

• импортировать всё что там есть на хаб, полностью копируя данные и добавляя ссылку на оригинальный набор данных
• предусмотреть возможность регулярного (еженедельного) обновления датасетов
• создать профиль каждой организации поставщика на хабе и привязывать данные к профилям организаций
• реализовать всё в виде утилиты командной строки.

В хабе много наборов данных из системы ЕСИМО (http://portal.esimo.ru/)
У всех у них префикс esimo_ru_ и тег "есимо"
Пример : https://hubofdata.ru/dataset/esimo_ru_typhoon_43

Нужно перевести все эти наборы под организацию ВНИИМГИ-МЦД https://hubofdata.ru/organization/rihmi

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/docs/gosudarstvennye_doklady/o_sostoyanii_i_ispolzovanii_vodnykh_resursov_rossiyskoy_federatsii/ в которых приведены цифры и таблицы с состоянием водных ресурсов по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

• выбрать язык программирования Python / R или иной, на выбор
• проанализировать структуру докладов и описать её
• написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1253
• выгрузить все данные в формате CSV или JSON или XML
• загрузить набор данных на хаб открытых данных hubofdata.ru

Требования

• открытый исходный код в Github под свободной лицензией
• открытые данные под лицензией Creative Commons

Пожелания

• сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

• Каталог государственных докладов http://www.mnr.gov.ru/docs/gosudarstvennye_doklady/o_sostoyanii_i_ispolzovanii_vodnykh_resursov_rossiyskoy_federatsii/

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

На хабе много данных с префиксом "fomru_", пример: https://hubofdata.ru/dataset/fomru_10495

Необходимо:

• перевести их все на организацию "Фонд общественное мнение" https://hubofdata.ru/organization/fom

Поменяв только логотип и цвета

Есть наборы данных с префиксом "minjust_". Все они сейчас - это статистика Минюста.

Пример:

• https://hubofdata.ru/dataset/minjust_0bd10561

Необходимо:

• перевести их под организацию "Минюст России" https://hubofdata.ru/organization/minjust

Цель

Собрать базу открытых данных с сайта Московской патриархии о персоналиях, организациях, богослужебных указаниях и храмах, структурировать их и загрузить в хаб открытых данных

Задача

• проинвентаризировать данные на сайте Московской патриархии
• написать парсеры и выгрузить данные в форматах CSV и JSON
• загрузить данные в хаб открытых данных http://hubofdata.ru в удобном виде.

Требования

• открытый исходный код в Github под свободной лицензией
• межплатформенный код (возможность запуска на Linux/Windows)
• предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
• переносить все данные в CKAN или на отдельный хостинг (например, в Github)

Данные

• Персоналии - http://www.patriarchia.ru/db/persons/
• Организации - http://www.patriarchia.ru/db/organizations/
• Богослужебные указания - http://www.patriarchia.ru/bu/
• Храмы - http://map.patriarhia.ru/

Пожелания

• реализация в виде программы командной строки или веб-приложения
• возможность запуска на MacOSX
• использовать скриптовые языки такие как Python, Perl, R и другие.

Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

• документация API CKAN - http://docs.ckan.org/en/latest/api/index.html
• сайт Патриархии http://www.patriarchia.ru

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/regulatory/list.php?part=1257 в которых приведены цифры и таблицы с состоянием минирально-сырьевых ресурсов по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

• выбрать язык программирования Python / R или иной, на выбор
• проанализировать структуру докладов и описать её
• написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1257
• выгрузить все данные в формате CSV или JSON или XML
• загрузить набор данных на github и на хаб открытых данных hubofdata.ru

Требования

• открытый исходный код в Github под свободной лицензией
• открытые данные под лицензией Creative Commons
• загрузить данные на Хаб открытых данных https://hubofdata.ru

Пожелания

• сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

• Каталог государственных докладов http://www.mnr.gov.ru/regulatory/list.php?part=1257

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Релиз вот тут
https://github.com/ckan/ckan/releases/tag/ckan-2.8.0

Необходимо архивировать данные с госпорталов открытых данных на хаб. Для этой цели необходимо:

• [ составить список порталов и приложить к задаче]
• [ подготовить ТЗ]
• [найти и зарезервировать средства на эту работу]

Сделать сервис мониторинга данных хаба. Для примера можно взять метрики с data.gov.uk

Цель

На портале unsecret.rusarchives.ru размещена общедоступная база рассекреченных документов. Необходимо собрать данные из этой базы и выложить их как открытые данные.

Задача

• выбрать язык программирования Python / R или иной, на выбор
• написать парсер для сайта unsecret.rusarchives.ru
• выгрузить все данные в формате CSV или JSON или XML
• загрузить набор данных на хаб открытых данных hubofdata.ru

Требования

• открытый исходный код в Github под свободной лицензией
• открытые данные под лицензией Creative Commons

Пожелания

• сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 1 дня

Вспомогательные материалы:

• База данных рассекреченных дел и документов федеральных государственных архивов http://unsecret.rusarchives.ru

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Цель

Собрать базу открытых данных с сайта правительства, government,ru

Задача

• проинвентаризировать данные на сайте правительства
• написать парсеры и выгрузить данные в форматах CSV и JSON
• загрузить данные в хаб открытых данных http://hubofdata.ru в удобном виде.

Требования

• открытый исходный код в Github под свободной лицензией
• межплатформенный код (возможность запуска на Linux/Windows)
• предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
• переносить все данные в CKAN или на отдельный хостинг (например, в Github)

Данные

• Персональный состав - http://government.ru/gov/ и http://government.ru/office/
• Перечень ведомств - http://government.ru/ministries/
• Комиссии - http://government.ru/agencies/
• Поручения - http://government.ru/orders/
• Телеграммы - http://government.ru/telegrams/
• Анонсы - http://government.ru/announcements/
• Новости - http://government.ru/news/
• Законопроектная деятельность - http://government.ru/sitemap/

Пожелания

• реализация в виде программы командной строки или веб-приложения
• возможность запуска на MacOSX
• использовать скриптовые языки такие как Python, Perl, R и другие.

Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

• документация API CKAN - http://docs.ckan.org/en/latest/api/index.html
• сайт правительства http://government.ru

Цель

На сайте управления Росстата http://obdx.gks.ru/ публикуются результаты обследования домохозяйств с 2003 по 2012 годы, в форматах NESSTAR (http://www.nesstar.com/), Excel и описанием структур данных в DOC файлах.

Собрать данные из базы данных сайта управление статистики уровня жизни и обследований домашних хозяйств Федеральной службы государственной статистики (Росстат) и перенести на хаб открытых данных

Задача

• написать парсеры и выгрузить данные структуры данных в форматах CSV и JSON
• выгрузить данные в формате NESSTAR и Excel
• загрузить данные в хаб открытых данных

Требования

• открытый исходный код в Github под свободной лицензией
• межплатформенный код (возможность запуска на Linux/Windows)
• предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
• переносить все данные в CKAN или на отдельный хостинг (например, в Github)

Пожелания

• реализация в виде программы командной строки или веб-приложения
• возможность запуска на MacOSX
• использовать скриптовые языки такие как Python, Ruby, R или другие.
• преобразовать данные из формата NESSTAR в форматы удобные для работы, такие как CSV и загрузить их в github и/или хаб открытых данных

Оценки трудоёмкости

Ожидаемое время на задачу не более 1-3 дня (8-24 часа).

Вспомогательные материалы:

• Хаб открытых данных - http://hubofdata.ru
• документация API CKAN - http://docs.ckan.org/en/latest/api/index.html
• сайт управления Росстата - http://obdx.gks.ru/
• библиотеки разбора HTML кода. LXML - http://lxml.de/ и BeautifulSoup - http://www.crummy.com/software/BeautifulSoup/

В хабе много наборов данных из системы ЕМИСС - https://fedstat.ru не привязанных к Росстату
Эти наборы данных имеют префикс "emiss_" и тэг "емисс".

Необходимо:

• добавить их в группу "Статистика" https://hubofdata.ru/group/stats
• добавить их в группу "Статистика с портала ЕМИСС" https://hubofdata.ru/group/emiss
• назначить им организацию "Федеральная служба статистики" https://hubofdata.ru/organization/gks

Есть наборы данных являющиеся архивами сайтов. Они собраны в группе "Архивы сайтов" https://hubofdata.ru/group/webarchive

Необходимо:

• указать им организацию "Национальный цифровой архив России" https://hubofdata.ru/organization/ncar

Внести задачи по сбору следующих данных:

• Обзор состояния и загрязнения окружающей среды в Российской Федерации http://www.meteorf.ru/product/infomaterials/90/
• Доклады об аварийном, экстремально высоком и высоком загрязнении окружающей среды на территории России http://www.meteorf.ru/product/infomaterials/99/
• Государственный доклад о состоянии окружающей среды за 2013 и 2014 годы http://ecogosdoklad.ru/
• Ежегодники о загрязнении окружающей среды (по компонентам) http://www.meteorf.ru/product/infomaterials/ezhegodniki/
• Государственный доклад о состоянии энергосбережения и повышении энергетической эффективности в Российской Федерации http://minenergo.gov.ru/node/5197
• Ежемесячные отчёты о ситуации в электроэнергетике http://minenergo.gov.ru/node/4858
• Государственные доклады "Защита прав потребителей в Российской Федерации" - http://rospotrebnadzor.ru/documents/documents.php?&clear_cache=Y&arrFilter_ff%5BNAME%5D=&arrFilter_pf%5BVID_DOC%5D=97&arrFilter_pf%5BNUM_DOC%5D=&arrFilter_pf%5BGOD%5D%5BLEFT%5D=&arrFilter_pf%5BGOD%5D%5BRIGHT%5D=&set_filter=%CD%E0%E9%F2%E8&set_filter=Y
• Государственные доклады "О состоянии санитарно-эпидемиологического благополучия населения в Российской Федерации" - http://rospotrebnadzor.ru/documents/documents.php?&clear_cache=Y&arrFilter_ff%5BNAME%5D=&arrFilter_pf%5BVID_DOC%5D=97&arrFilter_pf%5BNUM_DOC%5D=&arrFilter_pf%5BGOD%5D%5BLEFT%5D=&arrFilter_pf%5BGOD%5D%5BRIGHT%5D=&set_filter=%CD%E0%E9%F2%E8&set_filter=Y
• Государственный (национальный) доклад о состоянии и использовании земель в Российской Федерации https://rosreestr.ru/site/activity/sostoyanie-zemel-rossii/gosudarstvennyy-natsionalnyy-doklad-o-sostoyanii-i-ispolzovanii-zemel-v-rossiyskoy-federatsii/

В хабе есть некоторое количество наборов данных загруженных с префиксами "7710168360-", пример: https://hubofdata.ru/dataset/7710168360-budgetdebt

Необходимо:

• привязать все эти датасеты к организации "Министерство финансов РФ" https://hubofdata.ru/organization/minfinrf
• добавить в группу "Государственные финансы" https://hubofdata.ru/group/finances

Обновление статистики для rev20170910

• Исключены ссылки на rackcdn.com
• Добавлена статистика по файлам csv
• Добавлена статистика по наборам, где встречаются файлы csv и xls одновременно (это почти все наборы, содержащие файлы xls - 42 из 54)

Новые данные здесь

С hubofdata.ru удалить кучу мелких неактуальных наборов данных с префиксом "gkz_" - их много и они бесполезны.

Неполный список, задачу необходимо обновлять.

Федеральные порталы открытых данных

• Портал открытых данных России
• Открытые данные Министерства Финансов
• Открытые данные Федерального Казначейства
• Открытые данные Министерства Культуры
• Открытые данные Министерства внутренних дел
• Открытые данные Министерства Здравоохранения
• Открытые данные Министерства Образования и науки
• Открытые данные Министерства Спорта
• Открытые данные Министерства транспорти
• Открытые данные Министерства энергетики
• Открытые данные Центральной избирательной комиссии
• Портал Безопасные дороги
• Портал Безопасные дороги
• Портал Работа в России
• Портал ГИС ЖКХ
• Портал Вся.Культура.РФ

Региональные порталы открытых данных

• Портал открытых данных Москвы
• Портал открытых данных Санкт-Петербурга
• Портал открытых данных Вологодской области
• Портал открытых данных Республики Коми
• Портал открытых данных Московской области
• Портал открытых данных Ярославской области
• Портал открытых данных Республики Тыва
• Портал открытых данных Ульяновской области
• Портал открытых данных Чувашской республики
• Портал открытых данных Правительства Тульской области
• Портал открытых данных Пермского края
• Портал открытых данных Тюменской области

Муниципальные порталы открытых данных

• Портал открытых данных г.Казани

Данные курсов валют хранились на сайте Rackspace. Необходимо их переуказать с Rackspace на cdn.ruarxive.org
https://hubofdata.ru/dataset?tags=%D0%BA%D1%83%D1%80%D1%81%D1%8B+%D0%B2%D0%B0%D0%BB%D1%8E%D1%82

Вместо ссылок с префиком
http://d2f6aadeaff96aaafda4-614b9ac7aa1f2556da9aa7df0eee2346.r98.cf2.rackcdn.com/
https://cdn.ruarxive.org/public/OGDHub/

Создать карточки организаций таких как:

• Минфин РФ
• ЦБ РФ
• Минпросвещения РФ
  и других и перенести в их профили их данные хаба

В хабе много наборов данных отчётов политических партий с префиксом "cikrf", пример: https://hubofdata.ru/dataset/cikrf7f6f7f6a

Необходимо:

• перенести наборы данных в организацию "Центральная избирательная комиссия РФ" https://hubofdata.ru/organization/cikrf

На базе Seeweedfs и организовать загрузку файлов туда

Текущий код является смешением кода на C# по выгрузке индикаторов и на Python по загрузке в хаб

Код доступен тут: https://github.com/infoculture/hubofdata/tree/master/scripts/catalogs/cbr_opendata

Необходимо:

1. Переписать весь код на Python, актуализировать его
2. Выгрузить данные с сайта ЦБ и
3. Предусмотреть возможность обновления данных
4. Наборы данных должны быть привязаны к организации "Центральный банк Российской Федерации" https://hubofdata.ru/organization/cbrf , к группе "Данные ЦБ РФ" https://hubofdata.ru/group/cbrfdata В доп свойствах необходимо указать атрибуты: govbody как "ЦБ РФ", а атрибуты ind_id, ind_name, table_id, table_name взять из данных ЦБ и тоже указать.

Пример ранее загруженных наборов данных: https://hubofdata.ru/dataset/cbrf_ind_91

Цель

На портале Минприроды опубликованы государственные доклады http://www.mnr.gov.ru/regulatory/list.php?part=1101 в которых приведены цифры и таблицы с состоянием окружающей среды по территориям, городам и индикаторам

Необходимо проанализировать эти отчёты, спроектировать структуры данных и извлечь данные из докладов и выложить их как открытые данные.

Задача

• выбрать язык программирования Python / R или иной, на выбор
• проанализировать структуру докладов и описать её
• написать парсер для докладов http://www.mnr.gov.ru/regulatory/list.php?part=1101
• выгрузить все данные в формате CSV или JSON или XML
• загрузить набор данных на хаб открытых данных hubofdata.ru

Требования

• открытый исходный код в Github под свободной лицензией
• открытые данные под лицензией Creative Commons

Пожелания

• сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 3 недель

Вспомогательные материалы:

• Каталог государственных докладов http://www.mnr.gov.ru/regulatory/list.php?part=1101

Вопросы

Вопросы можно писать на [email protected] или в комментариях к этой задаче

Есть наборы данных с префиксом "cbrf_ind_", пример: https://hubofdata.ru/dataset/cbrf_ind_91

Необходимо:

• перевести их на организацию "Центральный банк Российской Федерации" https://hubofdata.ru/organization/cbrf