2주차 정리 내용

• 인자로 입력받은 server list 를 어떻게 구별해내는가? < 필수 >
• server list 라는 명령어를 처리하는 파일은 무엇인가? <필수 >
• openstackcli 는 어떻게 nova api 주소를 알아내나요?
• nova 의 어떤 API를 호출하여 결과를 받아오나요? ( 어떤 URI 를 호출하나요? ) < 필수 >
• 결과를 이쁘게 table 형식으로 출력해주는 함수는 무엇일까요?

3주차 미션

• 미션 1: openstack server list 의 기본 결과 필드에 "Project ID" 를 추가하기

• 미션2: openstack server list 의 기본 결과 필드에 "Created At"를 추가하기

• 2021.08.14 Sprint Day in Open Up

  • Install LTS & Latest version of OpenStack.

  • Do trouble shooting and connect network in the deployed environment; Cafe 24 VM

Error Explanation : openstack configuration show --mask does not masking password & token in the console
Devstack, Test Codes, and debug settings mask these things without any errors, but global & environmental configurations not

Solution

• See the image below.

• I have changed several codes in configuration.py.

• It does not make erros in Zuul CI & any test codes.

• I am waiting code merge from the project owner.

• You can check the specific error description in Story Board

Error Logs (Setup : Cafe 24 Cloud)

Error Explanation : “Error: Cannot uninstall ‘simplejson’.
It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

Solution

• If you are trying to install the latest version of devStack in Ubuntu 20.04(the latest version of ubuntu), you will see a confilct of python package.
• you will not see this bug if you are using the stable version of devStack (Wallaby) in Ubuntu 18.04

> sudo dpkg -l | grep simplejson # find the package which has a string 'simplejson'

> sudo apt remove python3-simplejson # remove this in the python packages.

• 2021.08.28 2nd Sprint Day in Open Up

  • 3rd Week Team Assignment

  • This is the last week of Master Challenge period.

  • The main stage will begin at September.

Error Explanation : “Error: Cannot uninstall ‘pyasn1-modules’.
It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

Solution

• If you are trying to install the latest version of devStack in Ubuntu 20.04(the latest version of ubuntu), you will see a confilct of python package.
• you will not see this bug if you are using the stable version of devStack (Wallaby) in Ubuntu 18.04

> sudo dpkg -l | grep pyasn1-modules # find the package which has a string 'simplejson'

> sudo apt remove python3-pyasn1-modules # remove this in the python packages.

Open Compute Project(OCP)

Open Source Storage Project (Ceph)

Open Infra Asia

인프라를 구축하는 전반의 모든 과정을 소프트웨어로 오픈소스화 시키는 프로젝트 링크 2개에 대한 내용이고 오픈 인프라 아시아에서 진행한 밋업 내용을 함께 추가했다.

팀 최종 Tasks 정리

• 10월 말까지 팀 활동 내용 정리해서 Gitbook 제작하기
• 10월 20일 PTG (Project Team Gathering) 참여 (해외 커뮤니티에 활동 내용 발표)
• 10월 30일 오픈소스 컨트리뷰션 최종 발표 (내가 최종 발표 작업 수행)
• 12월 한국 오픈 인프라 커뮤니티 발표 (나 포함)
• 11월 20 ~ 21일 대구 지역 스프린트 경북대 학생 오픈스택 기여 멘토링 활동

• 2021.09.04 4th Sprint Day in Online

  • Set up Gerrit & Storyboard

  • Practice Code Review with git-review module

  • 2nd Team PR to OpenStack being pushed.

Error Explanation : document isn't included in any toctree
There were several conflicts when I executed tox to commit the whole sphinx docs.

Solution

• See the image below.

• I have setup :orphan: the child node before commit.
• It enables the index.rst file to include the file with :orphan: code and recognize the whole documentation when CI works.

Error Explanation : Exceed the maximum resource of openstack when you make an instance.

Solution

• See the image below.

• when you see this error even though all the resources of openstack has enough space, the main reason of this error will be VCPU capacity in hypervisor menu.

• you should delete all volume & instances you don't use and re-create instance.

아 ~~~~ 코딩 너무 재밌다 ~~~~

벌써 3번째 오픈스택 통합 커맨드를 개발했다.

이번엔 네트워크 컴포넌트와 밀접하게 관련있는 neutron 컴포넌트의 통합 커맨드들 중에 네트워크에 붙은 태그를 변경할 수 있는 neutron tag-replace --tag 커맨드를 openstack network replace --tag 이렇게 통합 커맨드 규칙에 따라 개발하는 것을 성공했다.

컨트리뷰션 끝나고 나니까 더 재밌네 ㅋㅋ

오픈 스택 구조가 눈에 들어오니까 개발 속도에 엄청나게 진전이 붙는다.

이번엔 2시간도 안걸린 것 같은데??

내일 아침에 CI 테스트 결과 확인해봐야겠지만, 일단 파이참 Tox 테스트에서는 별도의 에러 없이 정상적으로 잘 수행된 것을 확인했다.

이제는 단순히 스펙 쌓기용이 아니라, 진짜 진심으로 오픈 스택 개발이 재밌어서 더 코드를 만지게 되는 것 같다.

openstack network replace <network name> --tag <replace할 태그 이름> --tag <기존 태그>

위의 명령어를 수행하고 난 후, openstack show <network name>을 입력했을 때의 결과가 위의 이미지이고, 테스트 코드도 문제 없이 작동한다.

커밋 링크 : https://review.opendev.org/c/openstack/python-openstackclient/+/817208

Error Explanation : There is the internet disconnection error after OpenStack installed in Ubuntu20.04.

• My team has set up OpenStack with the whole same process of Wallaby, but we cannot use the network after we create a new instance in it.

Solution

• We are still searching the solution why it occurs (we assume we can search iptables with trouble shooting)

• 2021.08.24 2nd Team Meeting

  • We have deployed our team website.
  • Team Blog Site

1. 진행 상황

기능 코드 수정 이후, 버그 재현 및 해당 해결 코드에 대한 테스트 코드를 추가해달라는 요청을 받음

이에 따라 기존 테스트 코드(test_configuration.py)에 있던 테스트 코드를 2개의 함수로 분할함

    @mock.patch("keystoneauth1.loading.base.get_plugin_options",
                return_value=opts)
    def test_show_mask_with_cloud_config(self, m_get_plugin_opts):
        arglist = ['--mask']
        verifylist = [('mask', True)]
        self.app.client_manager.configuration_type = "cloud_config"
        cmd = configuration.ShowConfiguration(self.app, None)

        parsed_args = self.check_parser(cmd, arglist, verifylist)

        columns, data = cmd.take_action(parsed_args)

        self.assertEqual(self.columns, columns)
        self.assertEqual(self.datalist, data)

    @mock.patch("keystoneauth1.loading.base.get_plugin_options",
                return_value=opts)
    def test_show_mask_with_global_env(self, m_get_plugin_opts):
        arglist = ['--mask']
        verifylist = [('mask', True)]
        self.app.client_manager.configuration_type = "global_env"
        column_list = (
            'identity_api_version',
            'password',
            'region',
            'token',
            'username'
        )
        datalist = (
            fakes.VERSION,
            configuration.REDACTED,
            fakes.REGION_NAME,
            configuration.REDACTED,
            fakes.USERNAME,
        )

        cmd = configuration.ShowConfiguration(self.app, None)

        parsed_args = self.check_parser(cmd, arglist, verifylist)

        columns, data = cmd.take_action(parsed_args)

        self.assertEqual(column_list, columns)
        self.assertEqual(datalist, data)

--mask 옵션은 기본적으로 cloud_config 옵션을 기본으로 적용하는 상황이 테스트 코드에 구현되어 있었고 (devstack CI 테스트 케이스 등에서 확인), global_env 상황에 대한 테스트 코드가 없는 상황이었음 (실행되는 기능도 해당 코드만 빠져 있었음)

따라서 테스트 코드를 구현하고, 테스트 코드에 적용되는 fake auth 인증 값들을 위의 구조에 따라 변경 작업을 진행

    def __init__(self):
        self.compute = None
        self.identity = None
        self.image = None
        self.object_store = None
        self.volume = None
        self.network = None
        self.session = None
        self.auth_ref = None
        self.auth_plugin_name = None
        self.network_endpoint_enabled = True
        self.compute_endpoint_enabled = True
        self.volume_endpoint_enabled = True
        self.configuration_type = "cloud_config" # 내가 추가한 코드

    def get_configuration(self): # 기존 함수 변경 -> config 딕셔너리를 cloud_config or global_env에 따라 입력변수 변경

        config = {
            'region': REGION_NAME,
            'identity_api_version': VERSION,
        }

        if self.configuration_type == "cloud_config":
            config["auth"] = {
                'username': USERNAME,
                'password': PASSWORD,
                'token': AUTH_TOKEN,
            }
        elif self.configuration_type == "global_env":
            config["username"] = USERNAME
            config["password"] = PASSWORD
            config["token"] = AUTH_TOKEN

        return config

테스트 코드를 실행할 땐 목업 데이터를 사용하기 때문에 이와 같은 fakes.py를 적절하게 변경해주는 것이 중요하고 도저히 configuration.py에서 테스트 파일로 변경 값을 전달해줄 수 있는 방법이 떠오르지 않아서 위와 같은 코드 구조를 적용했음

2. 결과

다행히도 Zuul CI에서 에러 발생 없이 커밋이 되었음

이제 maintainer의 새 테스트 코드에 대한 답변을 대기 중임

오늘 문득 오픈스택 커맨드 팀원들과 개발했던 내용들을 한 번 쭉 돌아보면서, 문득 빠르게 구현할 수 있을 것 같이 보였던 Nova 컴포넌트의 하이퍼 바이저 관련 모듈이 눈에 들어와서, 아무 생각 없이 구현을 시작했다.

(컨트리뷰션은 이미 종료되었다)

구현을 자정부터 시작해서 현재 시각 새벽 2시 13분, 코드를 2시간도 안되서 테스트 코드까지 모두 작성하고 커밋까지 했다.

미친건가? 첫번째 openstack task list #18 이거 구현할 때 3주 걸렸는데, 이제 코드 구조가 눈에 익어서 그런지 2시간만에 구현했다.

100줄도 안되는 코드이기는 하지만, 어디를 보고 구현해야하는지 명확하게 이해하고 있던 점, 그리고 테스트 코드로 무엇을 테스트할지 명확하게 이해하고 있던 점 등이 빠른 코드 구현을 가능하게 했다.

이것으로 오픈스택 커맨드를 2번째 개발하게 되었고, 내 생각인데 지금 아직 구현 안되어 있는 커맨드들 중에 SDK에 관련 API만 연동 잘 되어 있으면 조금 더 커맨드 개발을 해 볼 수 있을 것 같다.

https://review.opendev.org/c/openstack/python-openstackclient/+/816864

이쯤되니 개발하는 게 신난다.

Openstack-client에서 glance task-list가 명령어로 구현이 안되어 있음에 따라 커맨드라인을 개발하기 시작

작업 필요 사항

1. cmd 명칭 규정 (openstack task list라고 규정)
2. setup.cfg에 명령어 등록
3. 테스트 코드 구현

위의 3가지 사항으로 개발 작업 착수 중

cmd 개발 규칙은 아래의 glance task-list 옵션에 따라 개발을 진행 중

현재 작업중인 사항 -> cmd 필터링 옵션

# python-openstackclient/openstackclient/image/v2/image.py

class TaskImage(command.Lister):
    _description = _("List available task images")

    def get_parser(self, prog_name):
        parser = super(TaskImage, self).get_parser(prog_name)

        parser.add_argument(
            '--sort',
            metavar="<key>[:<direction>]",
            default='name:asc',
            help=_("Sort output by selected keys and directions(asc or desc) "
                   "(default: name:asc), multiple keys and directions can be "
                   "specified separated by comma"),
        )

        parser.add_argument(
            "--page-size",
            metavar="<size>",
            help=argparse.SUPPRESS,
        )

        parser.add_argument(
            '--type',
            metavar='<type>',
            choices=[
                'evacuation', 'live-migration', 'cold-migration', 'resize', # image 값에 맞게 변경 필요
            ],
            help=_('Filter tasks by type'),
        )

        parser.add_argument(
            '--status',
            metavar='<status>',
            default=None,
            help=_("Filter tasks based on status.")
        )

참고 문서

• glance docs
• glance client repo

• 2021.09.23 ~ 2021.09.25 6th Sprint Day

  • My first bug report with Gerrit

  • Fix worng letters in python-openstackclient (Second bug report)

문서에 누락된 2개의 커맨드

cinder quota-usage --> openstack quota list $project-id --volume

instance action --> openstack server event show

지역스프린트 멘티 중 테스트 코드 우선 구현자에게 제공 진행

• 2021.08.17 Team Meeting on Google Meet

  • Second Week Team Assignment

• 2021.09.07 ~ 2021.09.18 5th Team Meeting in Online & 5th Sprint Day

  • Gerrit & Storyboard Practice

  • Find bug mentees want to commit

  • Check commit history and edit test codes in Openstack

• 2021.08.07 Team Meeting on Google Meet

  • First Week Team Assignment

  • Mentors will explain the structure of OpenStack and let us know how to install OpenStack with devStak for two hours.

• 2021.08.21 Sprint Day in Open Up : No Schedule