xdrivendevelopment / precommit1c Goto Github PK

Подскажите пожалуйста, как сделать так, чтобы папка srс была на два уровня выше, то есть там, где все прочие файлы проекта?
Задаю в файле pre-commit путь к src и абсолютный и относительный (....\src) - файлы не создаются.
Сценарий, когда папка src находится внутри папки .git не понятен, ведь папка git по идее не должна содержать исходников.

При первом коммите внешней обработки возникает ошибка:
fatal: ambiguous argument 'HEAD': unknown revision or patch not in the working tree.

В каталоге src нужно чистить устаревшие каталоги, у которых нет соответствия реальным epf-файлам

Зависает на первой же команде git diff-index --name-status --cached HEAD или git status --porcelain
Проблема в реализации метода ПолучитьВыводПроцесса
Так гарантированно работает

Функция ПолучитьВыводПроцесса(Знач КоманднаяСтрока, КодВозврата)

    ЛогФайл = ВременныеФайлы.НовоеИмяФайла();
    СтрокаЗапуска = "cmd /C """ + КоманднаяСтрока + " > """ + ЛогФайл + """ 2>&1""";
    Лог.Отладка(СтрокаЗапуска);
    ЗапуститьПриложение(СтрокаЗапуска,, Истина, КодВозврата);
    Лог.Отладка("Код возврата: " + КодВозврата);
    ЧтениеТекста = Новый ЧтениеТекста(ЛогФайл, "utf-8");
    Вывод = ЧтениеТекста.Прочитать();
    ЧтениеТекста.Закрыть();

    Возврат Вывод;

КонецФункции

а так часто не работает, на локальной машине (Вин7) работает
на нескольких машинх (Server 2012) просто зависает и все :(

Функция ПолучитьВыводПроцесса(Знач КоманднаяСтрока, КодВозврата)

    // Это для dev версии 1.0.11
    Процесс = СоздатьПроцесс(КоманднаяСтрока, , Истина,, КодировкаТекста.UTF8);
    Процесс.Запустить();
    Вывод = "";

    Процесс.ОжидатьЗавершения();

    Вывод = Вывод + Процесс.ПотокВывода.Прочитать();
    Вывод = Вывод + Процесс.ПотокОшибок.Прочитать();

    КодВозврата = Процесс.КодВозврата;

    Возврат Вывод;

КонецФункции

@EvilBeaver Можешь что-нибудь подсказать?

Сейчас и версия на питоне и версия на oscript умеет собирать обработки только из одного указанного в параметре каталога.
Предлагаю в команду --compile добавить параметр-флаг --recursive, который будет рекурсивно обходить каталоги. Для каталогов, в которых он найдёт файл renames.txt, будет запускаться сборка файлов с раскладыванием полученных бинарных файлов в той же иерархии, что и каталоги исходников.
Тут сразу есть проблема - по содержанию каталога я не могу автоматически понять, отчет передо мной или обработка. Возможно ли эту информацию получить из какого-то служебного файла?
В силу знаний, свою реализацию могу предоставить только на oscript.

Предлагаю добавить опцию/ключ запуска, чтобы макеты (mxl) сохранялись как текстовые файлы в формате YAML
Поможет удобно работать с представлениями макетов в git, например, для тестовых данных (fixtures).
В итогу к самому mxl файлу добавиться ещё yaml-файл, который не будет участвовать при сборке из исходников, но будет использоваться для диффа в гит-репозитариях.

Продолжение задачи #26

В renames.txt вставляются абсолютные пути файлов
xDrivenDevelopment/xUnitFor1C@58953d9#commitcomment-7495587

Выполнял все действия согласно описанию в файле README.md.
На шаге из описания:

После установки достаточно для проверки сделать commit для любого файла epf/erf, и в вашем репозитории автоматически должна создаться папка src, полностью повторяющая структуру проекта, изменённые или добавленные файлы распакуются в папки с аналогичными наименованиями..<

получаю ошибку,
<ОШИБКА - {Модуль [ПутьКМоемуРепозитарию]\.git\hooks\v8files-extractor.os / Ошибка в строке: 107 / Метод объекта не обнаружен (ДобавитьПараметрФлагКоманды)}

Пример приводящий к зацикливанию:

oscript "..\utils\precommit1c\v8files-extractor.os" --compile "..\src\tests" "..\tests" --recursive

Несколько моих отчетов после разбора на исходники обратно собираются в невалидную erf (ошибка формата потока).
Пример отчета (ссылка на личный g-drive): https://drive.google.com/file/d/0BzrHpvxfLxBiUzJyUU9wbWs2djQ/view?usp=sharing

Разбирается в исходники:
https://drive.google.com/file/d/0BzrHpvxfLxBiczRmWDQzeXBhZUU/view?usp=sharing

Собираемый файл (битый):
https://drive.google.com/file/d/0BzrHpvxfLxBiZGhOZkQzX1dxWTQ/view?usp=sharing

Разбор проводится командной:
oscript -encoding=utf-8 libs/precommit1c/v8files-extractor.os --git-precommit "source"

Сборка:
oscript -encoding=utf-8 libs/precommit1c/v8files-extractor.os --compile "source/processings" "processings" --recursive

Используется последняя develop-версия precommit1c - 89a06ae

@artbear, @awa15, можете что-нибудь подсказать?

Платформа 8.3.7.1759. Вечером могу попробовать собрать на 8.3.6

P.S. Тесты в девелоп опять падают

Имею

Последнюю версию 1С:Предприятие 8.3 и новую версию vanessa-behavoir

Делаю

Открываю в 1С:Предприятие обработку vanessa-behavoir и в ней

1. Загружаю feature-файл
2. Генерирую с помощью обработки файл AdditionTest.epf
3. Жму кнопку "Перезагрузить" и получаю ошибку

Получаю

Строка распаковки: python C:\Users\AlehinSasha\Documents\vanessa-behavoir\vendor\precommit1c\pyv8unpack.py "C:\Users\AlehinSasha\Desktop\1\step_definitions\AdditionTest.epf" "C:\Users\AlehinSasha\Desktop\1\step_definitions\Src"

При разборе в renames.txt все равно остаются абсолютные имена файлов

В текущем официальном инсталляторе OneScript отсутствует библиотека tempfiles, из-за чего v8files-extractor.os падает с ошибкой.
Решается ручным обновлением библиотек.

При втором коммите выскакивает сообщение что каталог в котором хранятся исходные коды уже существует и запрос - создать новый каталог в нем?. При положительном ответе формируется подкаталог с таким же именем.
Прикладываю скриншоты - понятнее будет.

Останов при разборе управляемой формы, в которой нет обработчика ПриСозданииНаСервере
Аналогично ошибке v8Diff

Нужно добавить вывод логов в лог-файл.
Иначе при коммите непонятно, что происходит.

Например, у меня по какой-то причине на билд-агенте стал зависать коммит репозитария, в котором есть и исходники конфигурации 1С, и исходники внешних файлов, и precommit1c подключен в качестве хука к этому репозитарию. Коммит выполняется через наш библиотечный скрипт gitsync

По диспетчеру задач я вижу, что висит именно запущенный v8files-extractor.os, но на каком этапе произошла ошибка, непонятно :(

Для анализа проблемы нужен хотя бы лог.

Зависание на разборе штатной обработки обмена через xml
ВыгрузкаЗагрузкаДанныхXML83.epf

Утилита не самодостаточна, нужна связь с v8unpack (через переменную среды Path)

Нужно

• или документировать нахождение v8unpack в Path
• или лучше положить утилиту как бинарник в проект
• или добавить submodule v8unpack от dmpas

@pumbaEO @allustin @EvilBeaver @nixel2007 Что выберем?

Сейчас, когда происходит выгрузка данных макеты mxl просто остаются бинарями.
Предлагаю добавить опцию, ключ запуска, чтобы макеты сохранялись как текстовые файлы.
Тогда мы по-быстрому решим проблему того, что git не показывает нормально изменения в макетах, которые создают тестовые данные (fixtures).
Т.е. к самому mxl файлу добавиться ещё txt файл, который не будет участвовать потом при сборке из исходников. Но поможет гиту показывать что в макете изменилось.

Дополнительно необходима настройка git для возможности использования кирилических наименований внешних обработок git config --local core.quotepath false

Автоматически проверять правильную настройку репозитария Гит.
В случае несовпадения настройки выдавать ошибку пользователю

Уменьшить размер сервисной базы
Сейчас используется 19 Мб, а можно использовать базу в 600 Кб

Надо добавить в инструкцию пункт про установку подмодулей и про библиотеки, про copy-to-hook.

/cc @artbear

Не описаны параметры командной строки запуска в разных режимах.
@pumbaEO Напиши примеры (здесь или в личку), я обновлю readme

Есть новость, что 1С будет использовать расширение файлов НЕ txt. В качестве проактивной меры - не стоит ли нам перейти на разбор модулей в новом расширении

При использовании стабильной версии OneScript при первом коммите выдает ошибку:
Start hooks before commit for v8unpack erf and epf
ОШИБКА - {Модуль D:\proj\dmitrov\ex-xml.git\hooks\v8files-extractor.os / Ошибка в строке: 107 / Метод объекта не обнаружен (ДобавитьПараметрФлагКоманды)}

При использовании develop версии не коммитит с сообщением:
Start hooks before commit for v8unpack erf and epf
ОТЛАДКА - Добавляю позиционный параметр ПутьВходящихДанных
ОТЛАДКА - Добавляю позиционный параметр ВыходнойКаталог
ОТЛАДКА - Добавляю позиционный параметр ВыходнойКаталог
ОТЛАДКА - Добавляю параметр-флаг --remove-orig-bin-files
ОТЛАДКА - Добавляю позиционный параметр ПутьВходящихДанных
ОТЛАДКА - Добавляю позиционный параметр ВыходнойКаталог
ОТЛАДКА - Добавляю параметр-флаг --recursive
ОТЛАДКА - Разбор команды: --git-precommit
ОТЛАДКА - Попадаю в РазобратьАргументы
ОТЛАДКА - Сбрасываю параметр-флаг: --remove-orig-bin-files
ОТЛАДКА - Выбран токен: src
ОТЛАДКА - Ищу именованный параметр src
ОТЛАДКА - Ищу параметр-флаг src
ОТЛАДКА - Установлено значение позиционного параметра <ВыходнойКаталог = src>
ОТЛАДКА - Выбран токен:
ОТЛАДКА - Закончились токены
ОТЛАДКА - Трассировка РезультатРазбора:
ОТЛАДКА - --remove-orig-bin-files:Нет
ОТЛАДКА - ВыходнойКаталог:src
ОТЛАДКА - Трассировка РезультатКоманды.ЗначенияПараметров:
ОТЛАДКА - --remove-orig-bin-files:Нет
ОТЛАДКА - ВыходнойКаталог:src
ОТЛАДКА - ТипЗнч(Аргументы)= Структура
ОТЛАДКА - Передана команда: --git-precommit
ОТЛАДКА - --remove-orig-bin-files = Нет
ОТЛАДКА - ВыходнойКаталог = src
ОТЛАДКА - Текущий каталог D:\proj\dmitrov\ex-xml
ОТЛАДКА - Каталог выгрузки src
ОТЛАДКА - Выполняю команду git config --local core.quotepath
ОТЛАДКА - cmd /C "git config --local core.quotepath > "C:\Users\Leo\AppData\Local\Temp\2w1x3cf3.t1t.tmp" 2>&1"
ОТЛАДКА - Код возврата: 0
ОТЛАДКА - Код возврата 0
ОТЛАДКА - Вывод команды
ОТЛАДКА - Запускаю git diff-index --name-status --cached HEAD
ОТЛАДКА - cmd /C "git diff-index --name-status --cached HEAD > "C:\Users\Leo\AppData\Local\Temp\1hss2f0p.npg.tmp" 2>&1"
ОТЛАДКА - Код возврата: 128
ОТЛАДКА - Вывод команды гит: fatal: ambiguous argument 'HEAD': unknown revision or path not in the working tree.
Use '--' to separate paths from revisions, like this:
'git [...] -- [...]'

ОТЛАДКА - Запускаю git status --porcelain
ОТЛАДКА - cmd /C "git status --porcelain > "C:\Users\Leo\AppData\Local\Temp\41mwsavl.0iy.tmp" 2>&1"
ОТЛАДКА - Код возврата: 0
ОТЛАДКА - Вывод команды гит: A ВыгрузкаДиалог.epf

ОТЛАДКА - ЖурналИзмененийГит:
ОТЛАДКА - <A ВыгрузкаДиалог.epf>
ОТЛАДКА - В журнале git найдено имя файла <ВыгрузкаДиалог.epf>
ОТЛАДКА - <>
ОТЛАДКА - Изучаю файл из журнала git ВыгрузкаДиалог.epf
ОТЛАДКА - Получен из журнала git файл ВыгрузкаДиалог.epf
ИНФОРМАЦИЯ - Проверка необходимости выгрузки файла D:\proj\dmitrov\ex-xml\ВыгрузкаДиалог.epf в каталог D:\proj\dmitrov\ex-xml\src, корень D:\proj\dmitrov\ex-xml
ОТЛАДКА - ОтносительныйПутьКаталогаФайла <ВыгрузкаДиалог>
ОТЛАДКА - ПутьКаталогаИсходников <D:\proj\dmitrov\ex-xml\src\ВыгрузкаДиалог>
ОТЛАДКА - Создаем новый каталог D:\proj\dmitrov\ex-xml\src\ВыгрузкаДиалог
ОТЛАДКА - Запускаем распаковку файла
ОТЛАДКА - КлючСоединенияСБазой /F"C:\Users\Leo\AppData\Local\Temp\c13nln0f.jqn.tmp\v8r_TempDB"
ОТЛАДКА - ИмяПользователя <>
ОТЛАДКА - Путь к V8Reader: D:\proj\dmitrov\ex-xml.git\hooks\v8Reader\V8Reader.epf
ОШИБКА - {Модуль C:\Program Files (x86)\OneScript\lib\asserts\src\bdd-asserts.os / Ошибка в строке: 276 / [Failed] Ожидали, что проверяемое значение (Ложь) является ИСТИНОЙ.}

В строке 1159 модуля обработки проекта v83unpack добавлен лишний знак "+"
Комментарий Артура:
фишка в чем, что мы счас юзаем абсолютный путь к файлу хранилища типа
\REPO_\project\1cv8ddb.1CD
в этом случае работает тулза Tool_1Cd, а блок с ошибкой (с лишним +) не работает

Когда охота посмотреть изменения внешней обработки по отношению к какой либо ветки, необходимо сначало сделать commit и только потом появляются разобранные файлы, для возможности предварительного просмотра исходников
В py8unpack добавить разбор параметров коммандной строки, с возможностью указания пути к каталогу и дальнейшему разбору всех файлов рексривно.

Связано с xDrivenDevelopment/v8Reader#6

Использую последнюю версию v8Reader 1.9 и precomit1c из ветки девелоп.

Сегодня исправил в модуле обработки xddTestRunner версию с "2.7.0.2" на "2.7.0.3", также сдела одну правку в модуле формы.

v8Reader показывает, что есть изменения только в форме, а про изменения в модуле ничего не говорит (модуля просто не видно в списке изменений).

Включаю режим "Показывать все объекты", и сравниваю модули. в окне сравнения видно, что изменился метод Версия.

При выгрузке на тексты в precommit1c мои изменения в форме выгрузились, а вот моя правка версии из модуля обработки не выгрузилась в текст.

Нужно исправлять, т.к. в Гит не выгружаются правильные тексты :(

Сейчас для того чтобы иметь возможность инициализировать сабмодули необходимо выкачивать прекоммит именно как гит-репозиторий. Скачивание zip-архива не позволит воспользоваться прекоммитом вообще.

Предлагаю вместе с релизом публиковать zip-архив, в котором будет включён сам прекоммит и нужная не-гит версия v8reader.
Это существенно ускорит время установки прекоммита в нужный репо - скачали zip, распаковали в hooks - работает (максимум ещё задали core.quotepath).

Сейчас при компиляции (режим --compile) отчетов и обработок из исходников необходимо явно указывать тип собираемого файла - epf/erf.
Такое требование делает невозможным сценарий хранения в одной папке и отчетов и обработок и сбора их единой командной с флагом --recursive.

По словам @EvilBeaver, по содержанию каталога исходных кодов можно понять отчет перед нами или обработка.
Необходимо реализовать это определение при сборе файлов и отказаться от использования параметра --type вообще.

Пока заметил, что в строке 10 у файлов-описаний отчетов параметров-гуидов больше, чем в этой же строке у обработок. Вероятно это гуиды форм отчетов/настроек/вариантов, тогда как у обработки есть только форма самой обработки.

Всем привет.
Разбор файлов идет через вызов из корневого каталога репозитория

oscript libs/precommit1c/v8files-extractor.os --git-precommit "source/processings/source"

У себя пытаюсь реализовать задачу хранения в репозитории только исходников обработок, без бинарных epf и ert.

Для этого я добавил данное изменение (полное сравнение репозиториев), которое после разбора обработок на исходники удаляет оригинальный бинарный файл из индекса git.

На поведение по умолчанию такой подход не тянет, поэтому на мой взгляд стоит добавить некий флаг в вызов. Если поддерживаете идею, то можно обсудить имя и позицию этого флага, и я могу сделать MR с этими изменениями + добавление описания параметра + README (либо просто перенесите мой код в основной репо).

• Добавить версия продукта.
• Показывать версию продукта в начале его

Имена файлов-макетов получаются слишком длинные
В связи с этим возникают серьезные баги
например, xDrivenDevelopment/xUnitFor1C#205 (comment)

Например, генерится файл "C:\Projects\GitHub\xUnitFor1C\src\Тесты\ТестыГенератораДанных1CUnit\Макеты\ИмяМакета\ИмяМакета.mxl"

Видно, что имя макета дублируется дважды - один раз в имени каталога, второй раз в имени mxl-файла

Предложения:

• для макетов генерить файлы сразу в папке Макеты, без создания доп.вложенного каталога
• если оставляем вложенный каталог, тогда имя файла делать коротким, например, 1.mxl, т.к. все равно имя макета задано в имени каталога.

Нужен инструмент установки/развертывания в нужный репозитарий
copy-to-hook.cmd недостаточно, он рассчитан только на xDD.

Пример запуска install2repo.cmd C:\Projects\MyRepo
где C:\Projects\MyRepo - каталог исходных данных, в котором есть каталог .git

Прошу обновить V8Reader.epf на файл из репо: https://github.com/xDrivenDevelopment/v8Diff
На текущей версии разбор моей обработки подвисает. Обработка разбора из проекта v8Diff ведет себя нормально на этом же файле

Использую precommit как сабмодуль в своем проекте. для корректного помещения исходников обработок в мой репо требуется дополнительно в папку сабмодуля класть ini файл, что помечает сабмодуль как durty.

Вроде можно обойти через удаление файла из индекса гита, но, думаю, будет полезным добавление возможности пробрасывать этот флаг прямо в скрипт. тем более что inputPath уже есть.

Можно оставить возможность настраивать source через ini, но дать возможность переопределять это значение через параметр скрипта.

Команда git config --local core.quotepath должна возвращать false

Если возвращается иное значение, нужно выдавать исключение и выдавать подсказку

Необходима настройка git для возможности использования кириллических наименований внешних обработок git config --local core.quotepath false

Последняя версия на 12.06.2013 не выполняет выгрузку на тексты.
Тест.сценарий - создаем пустой репозитарий Гит, разворачиваем сабж в каталог hooks, в репозитарий добавляем какой-нибудь epf-файл, далее выполняем коммит.
Коммит проходит, но никаких каталогов src или других не создается :(
Питон 3.3
Когда именно поломалось, не знаю. Старая версия (без ини-файла), которая стоит на работе, работает.
768ae45

Думаю все читали, что начиная с 8.3.8 в платформе появится возможность выгрузку внешних печатных форм и отчетов в XML. Т.е. формально проект станет не нужен? Хотелось бы услышать мнение основных разработчиков проекта.
И вопрос номер 2, как следствие из этого (пока не стал выделять в отдельный issue). В случае, если проект планируется развивать после 8.3.8, то почему бы совсем не отказаться от зависимости в виде v8Reader и технологической платформы. По факту от v8Reader используется малая часть и переписать ее на тот же 1Script, который тут так любят не проблема.
Со своей стороны я хотел реализовать чистый Python форк, без каких-либо зависимостей, но по обозначенной выше причине пока это дело отложил.

Вопрос больной, но надо решить.

Текущие результаты голосования:
artbear - Apache
EvilBeaver - Apache (возможна MPL)
pumbaEO - Apache
allustin - Apache (возможна BSD)
nixel2007 - Apache (возможна MIT)
Cujoko - воздержался
Infactum - Apache (возможны BSD и MIT)
karnilaev - Apache

precommit1c использую как сабмодуль. На данный момент разбор обработок делаю через запуск .bat, лежащего в корне репозитория.
Код в батнике тривиальный:

cd libs/precommit1c/
python.exe pyv8unpack.py --index "../../source/processings/bin/" "../../source/processings/source"
cd ../..

Все эти игры с путями из-за своебразного отношения питона к месту откуда его запустили и как (при прямом запуске через pyCharm, например, нет нужды делать два cd в папку и обратно), но суть не в этом.
Очень смутила вот эта строчка в исходнике:
https://github.com/xDrivenDevelopment/precommit1c/blob/develop/pyv8unpack.py#L373

В моем случае в len(root_dir) лежит 37 (что логично, там лежит полный путь), и по 38 элементу в массив dirName ничего не лежит (там вообще только 1 элемент). Таким образом процедура main() файл обнаруживает корректно, а в decompile() передает неправильный путь (вообще без папок). В итоге decompile пытается найти обработку в корне папки precommit, ничего не находит и завершает работу скрипта.
Проблему решила замена этой строки на absdir = dirName

Собственно, есть подозрение, что определение absdir при использовании inputPath идет некорректно. При необходимости могу прислать архив с готовой структурой файлов, которую я использую. Вывод tree от корня репозитория вот такой:

.
├───libs
│   └───precommit1c
│       ├───ibService
│       │   └───1Cv8Log
│       ├───src
│       │   └───tests
│       │       └───Fixture
│       │           ├───Form
│       │           │   ├───Форма
│       │           │   └───Форма1
│       │           ├───und
│       │           └───Макеты
│       │               └───СхемаКомпоновкиДанных
│       ├───tests
│       └───v8Reader
│           └───src
│               └───V8Reader
│                   ├───Form
│                   │   ├───ВиртуальнаяФорма
│                   │   ├───НавигаторПоФайлам
│                   │   ├───РазборФормы
│                   │   ├───Форма
│                   │   ├───ФормаHTML
│                   │   ├───ФормаДвоичныхДанных
│                   │   ├───ФормаДляРолей
│                   │   ├───ФормаКартинки
│                   │   ├───ФормаНастройки
│                   │   ├───ФормаСвойств
│                   │   └───ФормаСтруктурногоСравненияМодуля
│                   ├───und
│                   │   └───30e6f641-d550-403b-baa0-858779e00175.0
│                   └───Макеты
└───source
    └───processings
        ├───bin
        └───source

• Добавить проверку git config --local core.autocrlfна возврат false
• Добавить в readme описание правильной проверки переноса строк с ремаркой про local и global (рекомендовать!) ?
• Или сразу добавить установку git config --local core.autocrlf false при запуске precommit1c

Аналогично сделанной работе по git config --local core.quotepath

Сделать настройку для отдельных подкаталогов src для каждого корневого каталога репозитария

Например, есть репозитарий конфигурации 1С и внешних файлов.
Каталоги

• src - разобранная конфигурация
• tests и externals - внешние файлы, epf, erf и т.п.
  Сейчас при использовании precommit1c все исходники складываются в один каталог src. В итоге там и куча подкаталогов конфигурации и те же каталоги tests и externals.

Предлагаю другой вариант (реализовать отдельной настройкой и/или ключом командной строки)

• src
• tests\src
• externals\src

Также удобно юзать для единого управления бинарниками и исходниками. Например, удалять исходники при удалении бинарника.

@allustin @pumbaEO Что скажете?

Раскладывать конфигурацию (cf-файл) на текстовые файлы
Возможно, с использованием v83unpack