이슈

• CB-Tumblebug은 현재 REST API를 통한 인터페이스만 제공하고 있으나, 향후 gRPC를 통한 제어도 지원하고자 합니다.

해결 방법

• REST API 처리를 위한 API 리소스 함수에서 기능 함수 분리 및 재정의
• REST API에 해당하는 gRPC를 위한 함수 생성

gRPC 컨트리뷰션 작업 소스코드 가이드라인

• gRPC 서비스를 제공하기 위한 컨트리뷰션 가이드라인은 다음과 같습니다.
  • 일반적인 함수(리소스 오브젝트에 대한 CRUD)인 경우 #173 의 방식(네임스페이스에 대한 처리 완료)을 준용하여 REST 리소스 함수에서 기능 함수 분리
    • REST 리소스 함수 내용 정리 (기능에 관련된 코드 제거)
    • 기능에 관련된 코드를 신규 기능 함수로 생성
    • 일관성 유지를 위한 기능 함수의 명칭 수정 등 수행
  • 일반적인 함수가 아니고 REST 리소스 함수의 내용이 복잡하여, 기능 함수명을 특정하기 어려운 경우, 신규 기능 함수명에 임의의 prefix(core)를 추가 (예: func RestPostMcis 의 경우, 신규 생성 함수의 명칭은 func CorePostMcis 으로 지정
    • 해당 함수들의 명칭은 향후 업스트림에 머지 시 전체적으로 수정될 예정
  • 추가되는 함수 및 함수의 명칭 수정은 기존 .go 파일에서 작업 진행 (예: src/common/namespace.go 에 있는 func RestGetNs 를 정리하여 func GetNs를 신규 생성하는 경우 동일한 namespace.go 에 생성
  • 작업 대상 소스 (및 작업 순서)
    • Namespace (1차 진행이 완료되었으나, 정리 및 일관성 유지 필요시 작업)
      • namespace.go
    • MCIR
      • securitygroup.go
      • sshkey.go
      • vnet.go
      • image.go (1차 진행이 완료되었으나, 정리 및 일관성 유지 필요시 작업)
      • spec.go (1차 진행이 완료되었으나, 정리 및 일관성 유지 필요시 작업)
    • MCIS
      • control.go

gRPC 컨트리뷰션 워크플로우 가이드라인

• 충돌을 최소화하기 위한 소규모 작업을 수행하고 master 브랜치에 PR 생성 & 리뷰
  • 빌드 및 기본적인 기능 동작 시험 필요
• Cloud-Barista Git 컨트리뷰션 워크플로우 참고
• PR의 제목 및 Commit의 명칭은 영문을 기본으로 하며, 내부의 내용은 한글 사용이 가능

• 현재: Tumblebug 에서 Spec 을 등록하면 UUID 가 생성되어 UUID 로 관리되며, connectionName 필드도 있음
• TODO: UUID 삭제, [connectionName 남겨놓거나, 또는 region 필드 추가], cspSpecID / cspSpecName 을 Identifier 로 사용
• 고려해야 하는 사항: AWS 는 Region/AZ 별로 사용 가능한 flavor 가 다를 수 있음

• 현재: RegisterSpecWithInfo API 제공, RegisterSpecWithID API (unstable) 제공
• TODO: RegisterSpecWithID API 안정화, GetSpecInfo API 제공 (아니면, 이 기능을 Webtool 에서 제공하는 방안도 있음)

• TODO: vCPU, RAM 등을 제시하면 조건을 만족하는 Spec 제시 (예: normalized weighted distance 기반)

[개요]
TB 오브젝트 ID 생성 방식 변경 (UUID->사용자지정ID)

[현황]
TB는 오브젝트의 ID (예: MCIS ID)를 시스템이 생성한 UUID로 사용하고 있음.
오브젝트의 Name은 사용자가 지정하는 부가 정보로 사용함.
이 방식에는 장단점이 있으며, 선택의 문제임. 다만 아래의 단점을 고려하기로 함.

• 주요 연동 프레임워크인 CB-Spider와 처리 방식에 일관성이 다소 떨어짐.
• UUID는 사람이 인지하기 어려운 ID의 형태이며, 이에 의해 Test 등이 다소 까다로운 측면이 있음.

[수정방향] TB 오브젝트 ID 생성 방식을 변경 (UUID->사용자지정ID)

• 기존 API 및 처리 방식은 유지하되, API Call시 사용자가 지정한 오브젝트의 Name을 기반으로 ID를 생성.
• 오브젝트의 ID와 Name은 동일한 값을 가지게 됨. (예: Spec의 Name="goodSpec", ID="goodSpec")
• 사용자는 오브젝트의 Name을 Namespace 내에서 유일한 값으로 사용해야 함. (예: SpecNameList:["spec1", "spec2", "spec3"]인 경우, Spec의 Name으로 "spec2"를 사용하면, 중복 오류를 리턴)

[수정방식]
GenUuid() 함수 코드 수정.

• ID 중복 확인 로직 추가 (가능한 별도의 함수로 구성)
• UUID 스트링 생성 주석 처리
• Name을 ID로 리턴

• 현재: Tumblebug 에서 Image 를 등록하면 UUID 가 생성되어 UUID 로 관리되며, connectionName 필드도 있음
• TODO: UUID 삭제, [connectionName 남겨놓거나, 또는 region 필드 추가], cspImageID / cspImageName 을 Identifier 로 사용
• 고려해야 하는 사항: AWS 는 Region 별로 cspImageID (ami-xxxxxxxxx) 가 다름

• 현재: RegisterImageWithInfo API 제공, RegisterImageWithID API (unstable) 제공
• TODO: RegisterImageWithID API 안정화, GetImageInfo API 제공 (아니면, 이 기능을 Webtool 에서 제공하는 방안도 있음)

[JSON Array -> JSON Object]
cloud-barista/cb-spider#136

[관련 Spider REST API]

• CloudOS

  • {"GET", "/cloudos", listCloudOS},

• CIM (Cloud Info Mgmt)

  • {"GET", "/driver", listCloudDriver},
  • {"GET", "/credential", listCredential},
  • {"GET", "/region", listRegion},
  • {"GET", "/connectionconfig", listConnectionConfig},

• VM Resources

  • {"GET", "/vmimage", listImage},
  • {"GET", "/vmspec/:RegionName", listVMSpec},
  • {"GET", "/vmorgspec/:RegionName", listOrgVMSpec},
  • {"GET", "/vnetwork", listVNetwork},
  • {"GET", "/securitygroup", listSecurity},
  • {"GET", "/keypair", listKey},
  • {"GET", "/vnic", listVNic},
  • {"GET", "/publicip", listPublicIP},

• VM

  • {"GET", "/vm", listVM},
  • {"GET", "/vmstatus", listVMStatus},

[Added /spider/ prefix for REST APIs]
cloud-barista/cb-spider#139

@seokho-son

Current valid JSON body of "Create MCIS" request: (from test/official/6.mcis/create-mcis.sh)

...
"vm": [ {
                        "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'-01",
                        "config_name": "'${CONN_CONFIG[$INDEX,$REGION]}'",
                        "image_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "ssh_key_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "spec_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "security_group_ids": [
                                "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'"
                        ],
                        "vnet_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "subnet_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "description": "description",
                        "vm_access_id": "cb-user",
                        "vm_access_passwd": ""
                },
...

Suggestion: (Other field name candidates are also welcome.)

FYI: CB-Spider, and CB-Tumblebug MCIR REST API uses camelCase for JSON field names.

• cb-tumblebug/test/official/1.vNet/create-vNet.sh

{
                "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                "connectionName": "'${CONN_CONFIG[$INDEX,$REGION]}'",
                "cidrBlock": "192.168.0.0/16",
                "subnetInfoList": [ {
                        "Name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "IPv4_CIDR": "192.168.1.0/24"
                } ]
        }

• cb-tumblebug/test/official/2.securityGroup/create-securityGroup.sh

{
                "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                "connectionName": "'${CONN_CONFIG[$INDEX,$REGION]}'",
                "vNetId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                "description": "test description",
                    "firewallRules": [
                            {
                                    "FromPort": "1",
                                    "ToPort": "65535",
                                    "IPProtocol": "tcp",
                                    "Direction": "inbound"
                            },
                                {
                                    "FromPort": "-1",
                                    "ToPort": "-1",
                                    "IPProtocol": "icmp",
                                    "Direction": "inbound"
                            }
                    ]
            }

Let's enhance source code tree and names.

I suggest as follows,
cb-tumblebug/
----------------/README.md
----------------config/
------------------------setup.env
------------------------log_conf.yaml
------------------------store_conf.yaml
----------------doc/
----------------source/
------------------------apiserver.go (mcism_server.go)
------------------------common/
-----------------------------------utility.go (some common utilities in mcism_server.go)
-----------------------------------namespace.go (mcism_namespace.go)
------------------------mcir/
-------------------------------image.go (mcir_image.go)
-------------------------------spec.go (mcir_spec.go)
....
-------------------------------vnic.go (mcir_vnic.go)
------------------------mcism/
--------------------------------control.go (mcism_mcis.go)
--------------------------------(will be extende)

Need HTTP Basic Auth

#25 에서 이슈가 제기되었고
#28 PR을 통해
'삭제하려는 NS에 적어도 하나의 MCIS, Image, Network, SecurityGroup, Spec, SshKey, Subnet이 있으면 NS 삭제 실패를 리턴하는 로직' 을
delNs() 함수에 추가하였습니다.

이렇게 하니, 사용자가 '삭제하려는 NS에 적어도 하나의 MCIS, Image, Network, SecurityGroup, Spec, SshKey, Subnet이 있더라도 NS를 강제로 삭제' 할 수는 없는 상태입니다.

또한, delMcis() 함수는 #28 의 delNs() 함수와 다르게, 삭제하려는 MCIS 아래에 VM이 있으면 이를 Terminate & Delete 하고, 최종적으로 MCIS를 삭제하는 로직으로 작성되어 있습니다.

[Emptiness check 로직을 어디에 둘 것인가]

• 1안: delNs() 함수와 같이 del**() 함수 안에 둔다
  • Webtool 등에서 restDelNs() / delNs() 함수만 호출해도 Emptiness check이 수행됨
  • 강제 삭제 함수는 없는 상태임 (필요 시 구현 가능)
  • 1안으로 결정되면, delMcis() 함수를 업데이트 해야 합니다.
• 2안: del**() 함수 안에 두지 않는다
  • Webtool 등에서 restGetAllMcis, restGetAllImage, ... 등을 호출하여 Emptiness check을 수행하고, 통과되면 restDelNs() / delNs() 를 호출하여 실제로 삭제 (SEO 의견: 이렇게 하면 API call이 너무 많음)
  • del**() 함수 자체가 강제 삭제 함수의 역할을 함
  • 2안으로 결정되면 delNs() 함수를 업데이트 해야 합니다.

@seokho-son @powerkimhub

일단은: Spider & TB 테스트 스크립트들에서, 리소스 이름을 소문자로만 사용하도록 변경되었습니다.

• 리소스 이름에 underscore 를 넣으면 안 되는 CSP 도 있습니다.

향후:

1. 사용자에게, 리소스 이름에 대문자를 넣지 말고 소문자로만 쓰라고 명시한다.
2. 사용자가 제시한 리소스 이름에 대문자가 있는지 체크하는 로직을 웹도구에 넣는다.
   (문제점: 웹도구를 쓰지 않고 Spider & TB 에 직접 API call 을 날리는 경우가 있을 수도 있음)
3. 사용자가 제시한 리소스 이름에 대문자가 있는지 체크하는 로직을 Spider & TB 에 넣는다.
4. ...

1. Forbid deleting NS when there is at least one MCIS or one of resources.

2. Forbid deleting MCIS when there is at least one VM.

Currently, when user deletes one image with providing id,
the REST API server returns the message "The image has been deleted",
even if there is no key-value pair with the provided id.

(Related PR: cloud-barista/poc-mcism#15 )

Enhance MCIS lifecycle status handling logic

As-is:
in cb-tumblebug/src

❯ tree -h
├── [4.0K]  api/
├── [4.0K]  cli/
├── [4.0K]  common/
├── [ 156]  Makefile
├── [4.0K]  mcir/
├── [4.0K]  mcis/
├── [3.2K]  mcism.go
├── [4.0K]  resource/
│   └── [5.5K]  cloudlocation.csv
└── [4.0K]  webadmin/

To-be:

❯ tree -h
├── [4.0K]  api/
├── [4.0K]  cli/
├── [4.0K]  core/
│   └── [4.0K]  common/
│   └── [4.0K]  mcir/
│   └── [4.0K]  mcis/
├── [ 156]  Makefile
├── [3.2K]  mcism.go
├── [4.0K]  resource/
│   └── [5.5K]  cloudlocation.csv
└── [4.0K]  webadmin/

For reference:
in cb-tumblebug/src/api/rest

❯ tree -h
└── [4.0K]  server
    ├── [4.0K]  common
    │   ├── [3.9K]  namespace.go
    │   └── [1.4K]  utility.go
    ├── [4.0K]  mcir
    │   ├── [6.7K]  common.go
    │   ├── [3.6K]  image.go
    │   ├── [3.7K]  securitygroup.go
    │   ├── [6.5K]  spec.go
    │   ├── [3.7K]  sshkey.go
    │   └── [3.4K]  vnet.go
    ├── [4.0K]  mcis
    │   ├── [ 24K]  control.go
    │   └── [1.2K]  utility.go
    └── [ 10K]  server.go

@jmleefree
gRPC 작업하실 때, 아래 사항도 함께 작업해 주시면 감사하겠습니다.

in cb-tumblebug/src/api/grpc/server

As-is:

❯ tree -h
├── [4.2K]  image.go
├── [3.5K]  namespace.go
├── [ 978]  server.go
└── [4.2K]  spec.go

To-be:

❯ tree -h
├── [4.0K]  common
│   ├── [3.9K]  namespace.go
│   └── [1.4K]  utility.go
├── [4.0K]  mcir
│   ├── [6.7K]  common.go
│   ├── [3.6K]  image.go
│   ├── [3.7K]  securitygroup.go
│   ├── [6.5K]  spec.go
│   ├── [3.7K]  sshkey.go
│   └── [3.4K]  vnet.go
├── [4.0K]  mcis
│   ├── [ 24K]  control.go
│   └── [1.2K]  utility.go
└── [ 10K]  server.go

For reference:
in cb-tumblebug/src/api/rest/server

❯ tree -h
├── [4.0K]  common
│   ├── [3.9K]  namespace.go
│   └── [1.4K]  utility.go
├── [4.0K]  mcir
│   ├── [6.7K]  common.go
│   ├── [3.6K]  image.go
│   ├── [3.7K]  securitygroup.go
│   ├── [6.5K]  spec.go
│   ├── [3.7K]  sshkey.go
│   └── [3.4K]  vnet.go
├── [4.0K]  mcis
│   ├── [ 24K]  control.go
│   └── [1.2K]  utility.go
└── [ 10K]  server.go

Ref: cloud-barista/cb-store#15

Bug in MCIS creation

Need to investigate returned ID for MCIS.

@seokho-son
현재, Spec 에 대해서는 MySQL 도입이 확정되었습니다.
검색 등의 기능을 고려하면 Image 도 같은 상황 같습니다.

위의 사항을 고려할 때

• 1안: MySQL + K-V store 동시 저장
  consistency (정합성) 이슈, 불일치 시 롤백 이슈.. 등이 있을 수 있습니다.
  각 이슈/상황에 대한 로직을 넣어 해결할 수 있겠습니다.
• 2안: K-V store 사용하지 않고 MySQL 만 사용
  이럴 경우, 다른 MCIR, MCIS, NS 등이 K-V store 를 사용하는 것과 배치/상충됩니다.
• 3안: 모든 MCIR, MCIS, NS 에 대해 K-V store 대신 MySQL 사용하는 것으로 전환
  (이 안으로 선택될 확률은 낮을 것 같습니다.)

1안과 2안, 또는 다른 새로운 안에 대해 고민이 필요할 것 같습니다.

Ref: cloud-barista/cb-spider#140 (comment)

Files to modify:

• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/common.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/image.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/network.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/publicip.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/securitygroup.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/spec.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/sshkey.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/subnet.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcir/vnic.go
• https://github.com/cloud-barista/cb-tumblebug/blob/master/src/mcis/control.go

Need functions for individual VM lifecycle control

[2020-04-22 (수) 이메일]

• 연결설정(ConnectionConfig) 등록: 기존 방법과 동일
• 변경 인터페이스 및 Full 기능 시험 도구: 아래 내용 참조

<인터페이스/통합시험도구>

• 위치: cb-spider/api-runtime/rest-runtime/test/full-test/*

• 1.aws-test.sh: 통합 시험 완료 --> TB AWS로 통합 시작

  • 1.aws-test.sh 내부: 연결설정이름과 이미지이름 설정
  • 실행: 특별한 에러 메시지가 출력 없으면, AWS 기반 현재 CB-Spider full 기능 성공
  • CB-Spider REST API 및 예시: ./full_test.sh 내용 참조

• 2.azure-test.sh: 현재 디버깅 중

  • 연결설정 및 이미지 설정 외에 AWS와 동일

<이슈/계획>

• Azure 통합 디버깅
• New Driver 통합 시험: OpenStack --> GCP --> Alibaba
• IID Meta 정보와 CSP 자원 불일치시 지원 방법(도구)
• cblog 및 오류 메시지 refine
• ROLLBACK 처리 보완 및 시험
• 그외 주요 리모델링 추진

[2020-04-24 (금) 이메일]

<드라이버 리모델링(IID, VPC/Subnet 등) 추진 현황>

1. Azure(이노): 통합시험 완료 (일부 수정 요청)
2. AWS(메가): 통합시험 완료
3. GCP(메가): 지연중 --> 차주 통합 예정(VMHandler 마감 처리 중)
4. OpenStack(이노): 통합시험 완료 (일부 수정 요청)
5. Alibaba(메가): 차주 통합 예정
6. Cloudit(이노): 차주 통합 예정

@seokho-son

MCIR 코드에서
예를 들어 image.go 를 보면

type SpiderImageReqInfo struct { // Spider
	ConnectionName string
	ReqInfo        ImageReqInfo
}

이것은 TB 가 Spider 에 API call 날릴 때 JSON body 를 만들기 위해 넣은 struct 입니다.
위 struct 를 Marshal 하여 JSON body 를 만듭니다.
=> 현재는 SpiderImageReqInfoWrapper 로 이름을 바꿨습니다.

type ImageReqInfo struct { // Spider
	//IId   IID 	// {NameId, SystemId}
	Name string
	// @todo
}

type ImageInfo struct { // Spider
	//IId     IID    // {NameId, SystemId}
	Name    string
	GuestOS string // Windows7, Ubuntu etc.
	Status  string // available, unavailable

	KeyValueList []common.KeyValue
}

ImageReqInfo 는 위의 SpiderImageReqInfo 에서 필요로 하고,
ImageInfo 는 Spider 의 응답을 Unmarshal 하기 위해 넣은 것입니다.
=> 현재는 SpiderImageReqInfo 는 사용하지 않고 있고,
ImageInfo -> SpiderImageInfo 로 이름을 바꿔서
Req unmarshal & Response unmarshal 에 공통으로 활용하고 있습니다.

type imageReq struct {
	//Id             string `json:"id"`
	Name           string `json:"name"`
	ConnectionName string `json:"connectionName"`
	CspImageId     string `json:"cspImageId"`
	CspImageName   string `json:"cspImageName"`
	//CreationDate   string `json:"creationDate"`
	Description string `json:"description"`
}

type imageInfo struct {
	Id             string            `json:"id"`
	Name           string            `json:"name"`
	ConnectionName string            `json:"connectionName"`
	CspImageId     string            `json:"cspImageId"`
	CspImageName   string            `json:"cspImageName"`
	CreationDate   string            `json:"creationDate"`
	Description    string            `json:"description"`
	GuestOS        string            `json:"guestOS"` // Windows7, Ubuntu etc.
	Status         string            `json:"status"`  // available, unavailable
	KeyValueList   []common.KeyValue `json:"keyValueList"`
}

imageReq 는 사용자가 TB 에 날리는 JSON body 를 Unmarshal 할 때에도 쓰이고,
func createSshKey(nsId string, u *sshKeyReq) (sshKeyInfo, int, []byte, error) { 등에도 쓰입니다.

imageInfo 는 TB Object 생성 결과를 API 로 내어 주기 위해 JSON 으로 Marshal 할 때에도 쓰이고,
func createSshKey(nsId string, u *sshKeyReq) (sshKeyInfo, int, []byte, error) { 등에도 쓰입니다.

=> 각각 TbImageReq, TbImageInfo 로 이름을 바꿨습니다.

위와 같이,
대문자로 시작하는 struct 는 Spider 와 통신하기 위해 넣은 것이며
소문자로 시작하는 struct 는 TB 에서 사용하기 위해 넣은 것입니다.

MCIS 코드에서도 비슷하게 되어 있는 것 같은데
좀 더 정리가 되었으면 좋겠고..
(예: 제가 올릴 예정인 PR 에서 vmCspViewInfo struct 를 주석처리 했습니다.)

struct 내 항목들, JSON 으로 나가는 항목들이
MCIR 코드에는 camelCase 로 되어 있고
MCIS 코드에는 snake_case 로 되어 있는 것도 있습니다.
통일감을 주는 방안도 있고, 그대로 두는 방안도 있겠습니다.
=> Resolved by Change snakeCase to camelCase in MCIS #490

Change synced MCIS creation to asynced

GET {{tb_ip}}:{{tb_port}}/tumblebug/ns/{{ns_id}}/resources/vNet/{{cbNetworkId}}

[Response]

{
    "id": "VPC-01",
    "name": "VPC-01",
    "connectionName": "aws-us-east-1-config",
    "cspVNetId": "",
    "cspVNetName": "",
    "cidrBlock": "192.168.0.0/16",
    "subnetInfoList": [
        {
            "Name": "",
            "IPv4_CIDR": "192.168.1.0/24",
            "KeyValueList": [
                {
                    "Key": "VpcId",
                    "Value": "vpc-0c8f9e245d3720fd4"
                },
                {
                    "Key": "MapPublicIpOnLaunch",
                    "Value": "false"
                },
                {
                    "Key": "AvailableIpAddressCount",
                    "Value": "251"
                },
                {
                    "Key": "AvailabilityZone",
                    "Value": "us-east-1d"
                },
                {
                    "Key": "Status",
                    "Value": "pending"
                }
            ]
        }
    ],
    "description": "",
    "status": "",
    "keyValueList": null
}

DELETE {{tb_ip}}:{{tb_port}}/tumblebug/ns/{{ns_id}}/resources/vNet/{{cbNetworkId}}

[Response]

{
    "message": "Not Found"
}

As-Is:

• /ns
• /ns/{ns_id}/mcis
• ...

To-Be:

• /tumblebug/ns
• /tumblebug/ns/{ns_id}/mcis
• ...

[사유]

• API-GW 에서 지금은 각 API (/ns, /ns/{ns_id}/mcis, ...) 별로 rule 을 적고 있습니다.
• 향후 http://api-gw:8000/tumblebug/* 로 오는 모든 요청을 http://cb-tumblebug:1323/* 로 보내고 싶습니다.
• 예를 들어 API-GW 테스트 시 Tumblebug 에 API 요청할 때 1) Tumblebug 로 직접 보내기, 2) API-GW 로 보내기 를 계속 왔다갔다 해야 하는데, 이 때 Tumblebug API 도 /tumblebug/ (또는 /cb-tumblebug/) 로 시작하도록 통일되어 있으면, 테스트도 편리하고, 향후에도 편리할 것으로 예상됩니다.

• 영향: Tumblebug API 를 이용하는 Dragonfly, Webtool 등도 Tumblebug API 변경에 대한 대응이 필요합니다.
• 기타: Spider, Dragonfly, Webtool 등도 모두 이런 스타일로 갔으면 좋겠습니다.

As-is:
GET /ns/1/mcis/2?action=terminate
GET /ns/1/mcis/2?action=monitor

To-be:
PUT /ns/1/mcis/2?action=terminate

As-is:
There are some missing functions in:

• mcism_namespace.go
• mcism_mcis.go
• mcism_resource_manage_image.go
• mcism_resource_manage_network.go
• mcism_resource_manage_securityGroup.go
• mcism_resource_manage_spec.go
• mcism_resource_manage_sshKey.go
• mcism_resource_manage_subnet.go

e.g. mcism_resource_manage_image.go

Since there is no delAllImage() or getImage() function,
a user cannot delete all images or get image info using gRPC.

To-be:
e.g. mcism_resource_manage_image.go

E.g.

As-is:

type NsReq struct {
	//Id          string `json:"id"`
	Name        string `json:"name"`
	Description string `json:"description"`
}

type NsInfo struct {
	Id          string `json:"id"`
	Name        string `json:"name"`
	Description string `json:"description"`
}

To-be:

type NsInfo struct {
	Id          string `json:"id"`
	Name        string `json:"name"`
	Description string `json:"description"`
}

Related: cloud-barista/cb-spider@38e5537

File with issue: https://github.com/cloud-barista/cb-tumblebug/blob/master/conf/store_conf.yaml#L9

Currently:

  dbpath: "/home/son/go/src/github.com/cloud-barista/cb-tumblebug/meta_db/dat"

It was:
https://github.com/cloud-barista/cb-tumblebug/blame/edb245563594fbc2a080b82125247b2eaf584eb0/conf/store_conf.yaml#L9

  dbpath: "/root/go/src/github.com/cloud-barista/cb-tumblebug/meta_db/dat"

FYI:

  dbpath: "~/go/src/github.com/cloud-barista/cb-spider/meta_db/dat"

is not a good solution.

As-is:

[mcism_master.go]

• struct definitions
  • vmReq
  • mcisReq
  • mcisInfo
  • vmInfo
  • vmStatusInfo
• func apiServer()
• func main()
• func nsValidation()
• func rest*Mcis()
• func addVmToMcis
• func updateVmInfo
• func getMcisList
• func getVmList
• func delMcis
• func createMcis
• func createVm
• func terminateMcis
• func terminateVm
• func genUuid()
• func insertAgent
• func getVmIp
• func monitorVm

[mcism_resource_manage_image.go]

• struct definitions
  • nsReq
  • nsInfo
  • imageReq
  • imageInfo
• func rest*Ns()
• func createNs
• func getNsList
• func delNs
• func checkNs
• func rest*Image()
• func createImage
• func registerImage
• func getImageList
• func delImage

To-be:

[mcism_main.go]

• func apiServer()
• func main()
• func genUuid()

[mcism_namespace.go]

• struct definitions
  • nsReq
  • nsInfo
• func nsValidation()
• func rest*Ns()
• func createNs
• func getNsList
• func delNs
• func checkNs

[mcism_mcis.go]

• struct definitions
  • mcisReq
  • mcisInfo
  • vmReq
  • vmInfo
  • vmStatusInfo
• func rest*Mcis()
• func addVmToMcis
• func updateVmInfo
• func getMcisList
• func getVmList
• func delMcis
• func createMcis
• func createVm
• func terminateMcis
• func terminateVm
• func insertAgent
• func getVmIp
• func monitorVm

[mcism_resource_manage_image.go]

• struct definitions
  • imageReq
  • imageInfo
• func rest*Image()
• func createImage
• func registerImage
• func getImageList
• func delImage

Need functions for searching tentative MCIS and VM configuration

Bug: changed IP after VM restarts is not updated

MCIS 리시트 조회시 실제 vm의 상태가 running 이외의 상태임에도 Running 으로 나오는 현상
http://3.34.100.130:1323/tumblebug/ns/NS-02/mcis

특정 MCIS 조회했을 떄의 VM 상태는 제대로 return
http://3.34.100.130:1323/tumblebug/ns/NS-02/mcis/MCIS-aws-developer

Ref: @dev4unet @jazmandorf (cb-webtool might need some updates)

As-is:

[Request]

...
"vm": [ {
                        "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'-01",
                        "config_name": "'${CONN_CONFIG[$INDEX,$REGION]}'",
                        "image_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "ssh_key_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "spec_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "security_group_ids": [
                                "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'"
                        ],
                        "vnet_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "subnet_id": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "description": "description",
                        "vm_access_id": "cb-user",
                        "vm_access_passwd": ""
                },
...

[Response]

To-be:

cb-tumblebug/test/official/6.mcis/create-mcis.sh aws 1 jhseo

[Request]

{
                "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                "description": "Tumblebug Demo",
                "vm": [ {
                        "name": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'-01",
                        "imageId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "vmUserAccount": "cb-user",
                        "connectionName": "'${CONN_CONFIG[$INDEX,$REGION]}'",
                        "sshKeyId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "specId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "securityGroupIds": [
                                "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'"
                        ],
                        "vNetId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "subnetId": "'${CONN_CONFIG[$INDEX,$REGION]}'-'${POSTFIX}'",
                        "description": "description",
                        "vmUserPassword": ""
                }
            ]
        }

[Response]

{
   "vm" : [
      {
         "vmBootDisk" : "/dev/sda1",
         "vmUserPassword" : "",
         "vmUserId" : "",
         "specId" : "aws-us-east-1-jhseo",
         "privateDNS" : "ip-192-168-1-33.ec2.internal",
         "publicIP" : "3.84.238.186",
         "region" : {
            "Region" : "us-east-1",
            "Zone" : "us-east-1e"
         },
         "connectionName" : "aws-us-east-1",
         "targetAction" : "None",
         "securityGroupIds" : [
            "aws-us-east-1-jhseo"
         ],
         "vmBlockDisk" : "/dev/sda1",
         "imageId" : "aws-us-east-1-jhseo",
         "vmUserAccount" : "",
         "sshKeyId" : "aws-us-east-1-jhseo",
         "publicDNS" : "",
         "cspViewVmDetail" : {
            "Name" : "",
            "VPCName" : "",
            "SecurityGroupIIds" : [
               {
                  "SystemId" : "sg-0d455f6e1e2327732",
                  "NameId" : "aws-us-east-1-jhseo"
               }
            ],
            "NetworkInterface" : "eni-attach-0c401cb286c87c54b",
            "ImageIId" : {
               "SystemId" : "ami-085925f297f89fce1",
               "NameId" : "ami-085925f297f89fce1"
            },
            "PrivateDNS" : "ip-192-168-1-33.ec2.internal",
            "ImageName" : "",
            "StartTime" : "2020-07-01T02:00:08Z",
            "PublicDNS" : "",
            "KeyValueList" : [
               {
                  "Value" : "running",
                  "Key" : "State"
               },
               {
                  "Value" : "x86_64",
                  "Key" : "Architecture"
               },
               {
                  "Value" : "vpc-0b3f0f47cffb47f40",
                  "Key" : "VpcId"
               },
               {
                  "Value" : "subnet-092a30316dfb67011",
                  "Key" : "SubnetId"
               },
               {
                  "Value" : "aws-us-east-1-jhseo",
                  "Key" : "KeyName"
               }
            ],
            "SecurityGroupNames" : null,
            "SubnetName" : "",
            "IId" : {
               "NameId" : "aws-us-east-1-jhseo-01",
               "SystemId" : "i-0007a4a800ead78a1"
            },
            "VMUserId" : "",
            "KeyPairIId" : {
               "SystemId" : "aws-us-east-1-jhseo",
               "NameId" : "aws-us-east-1-jhseo"
            },
            "SubnetIID" : {
               "SystemId" : "subnet-092a30316dfb67011",
               "NameId" : "aws-us-east-1-jhseo"
            },
            "VMBlockDisk" : "/dev/sda1",
            "VMSpecName" : "t2.micro",
            "KeyPairName" : "",
            "VMBootDisk" : "/dev/sda1",
            "PrivateIP" : "192.168.1.33",
            "VMUserPasswd" : "",
            "PublicIP" : "3.84.238.186",
            "Region" : {
               "Zone" : "us-east-1e",
               "Region" : "us-east-1"
            },
            "VpcIID" : {
               "SystemId" : "vpc-0b3f0f47cffb47f40",
               "NameId" : "aws-us-east-1-jhseo"
            }
         },
         "privateIP" : "192.168.1.33",
         "subnetId" : "aws-us-east-1-jhseo",
         "vmUserPasswd" : "",
         "vNetId" : "aws-us-east-1-jhseo",
         "description" : "description",
         "targetStatus" : "None",
         "name" : "aws-us-east-1-jhseo-01",
         "id" : "aws-us-east-1-jhseo-01",
         "status" : "Running",
         "location" : {
            "briefAddr" : "Virginia",
            "cloudType" : "aws",
            "latitude" : "38.1300",
            "longitude" : "-78.4500",
            "nativeRegion" : "us-east-1"
         }
      }
   ],
   "description" : "Tumblebug Demo",
   "name" : "aws-us-east-1-jhseo",
   "targetStatus" : "Running",
   "id" : "aws-us-east-1-jhseo",
   "targetAction" : "Create",
   "status" : "Running-(3/3)",
   "placement_algo" : ""
}

Related: cloud-barista/cb-spider#121

[Internal processes of Create, Update, and Delete operations]

• MySQL
• K-V store
• Request to CB-Spider
• etc.

No namespace functionality

Need to apply goroutine for MCIS creation

VM creations for MCIS creation are sequential. This reduces the speed of MCIS creation.
Need to make VM creations parallel.

Ref: #180

[VM Create Request flow]

• RestPostMcisVm() in api/rest/server/mcis/control.go

• CreateVm() in mcis/control.go

환경

• Ubuntu 18.04
• Golang 을 apt 로 설치 (apt install golang)

원인 1

• Golang 을 apt 로 설치한다고 해서, $GOPATH 환경변수가 설정되는 것은 아님 ($GOROOT 도 마찬가지)

원인 2

• conf/setup.env 에는

export CBSTORE_ROOT=$GOPATH/src/github.com/cloud-barista/cb-tumblebug
export CBLOG_ROOT=$GOPATH/src/github.com/cloud-barista/cb-tumblebug
export SPIDER_URL=http://localhost:1024

이렇게 되어 있음

재현 방법

$GOPATH 환경변수가 설정되어 있지 않은 상태에서

CB-Tumblebug 을 실행하기 위해
cd conf
source setup.env
cd ../src
make (= go build -o cb-tumblebug)
make run (= ./cb-tumblebug)
실행하면

error: open /src/github.com/cloud-barista/cb-tumblebug/conf/log_conf.yaml: no such file or directory

라고 나옴

우리는 다음 중 어떤 가정을 택할 것인가

1. 사용자 컴퓨터에 $GOPATH 환경변수가 설정되어 있어야 CB-Tumblebug 실행 가능
   => 현재 코드를 수정하지 않아도 됨
   (=> CB-Tumblebug README.md 에 $GOPATH 설정하는 내용을 추가했음:
   https://github.com/golang/go/wiki/SettingGOPATH 에 기재되어 있는 대로
   .bashrc 에 export GOPATH=$HOME/go 추가 후 shell 재시작)

2. 사용자 컴퓨터에 $GOPATH 환경변수가 설정되어 있지 않아도 CB-Tumblebug 실행 가능
   => 수정 필요

수정 (안)

• $HOME 환경변수는 설정되어 있을테니, $GOPATH 대신 $HOME/go 라고 기재
  • 문제점: $GOPATH 를 $HOME/go 이 아닌 다른 곳으로 사용하고 있는 사용자가 있을 수도 있음
• ...

@seokho-son

발단:

func createMcis(nsId string, req *mcisReq) string { 에

check, _ := checkMcis(nsId, req.Name)

if check {
	//temp := mcisInfo{}
	//err := fmt.Errorf("The mcis " + req.Name + " already exists.")
	return ""
}

부분을 넣었더니
TB 가 오동작 합니다.
(API 호출 시 "Internal Server Error" 반환)

"" (빈 string) 을 리턴해서 그런 것으로 보입니다.

그런데 현재 함수의 리턴값이 string 하나만 있어서
에러 발생 시 에러가 발생했음을 모함수에 알려 줄 방법을 모르겠습니다.

• 다음 함수들이
  sthReq 를 param 으로 받고
  sthInfo 를 return 하도록 하면
  직관적이지 않을까 합니다.
  • func createMcis(nsId string, req *mcisReq) string {
  • func createVm(nsId string, mcisId string, vmInfoData *vmInfo) error {

Call chain 이 다음과 같은데
에러 처리 로직이 필요합니다.
위의 사항들을 적용하면서 에러 처리 로직을 넣을 수도 있겠습니다.

1. func RestPostMcis(c echo.Context) error {
2. func createMcis(nsId string, req *mcisReq) string {
3. func addVmToMcis(wg *sync.WaitGroup, nsId string, mcisId string, vmInfoData *vmInfo) error {
4. func createVm(nsId string, mcisId string, vmInfoData *vmInfo) error {

KIM: Spider 에게 API call 보낼 때, NameID 를 unique 하게 정해서 명령하는 방안
(e.g.

1. UUID 중 일부를
2. NS 이름 중 일부, MCIS 이름 중 일부 등을

NameID 에 postfix 로 붙여서 Spider API call 한다거나..)

Replace internal VM creation function with cb-spider function.

Will be initiated, once the functions (APIs) of cb-spider available.

Fix an error when get MCIS list with some problematic VMs.
(Internal server error, if Spider returns error)

We don't have a guideline for Localization and Globalization of CB-Tumblebug.

I would like to suggest the following guideline.

Localization and Globalization of CB-Tumblebug.

As an opensource project initiated by Korean members, we would like to promote participation of Korean contributors during initial stage of this project. So, CB-Tumblebug Repo will accept use of Korean language in its early stages.

On the other hand, we hope this project flourishes regardless of contributor's country eventually.
So, the maintainers recommend using English at least for the title of Issues, Pull Requests, and Commits, while CB-Tumblebug Repo accommodates local languages in the contents of them.

CB-Tumblebug의 현지화 및 세계화

한국인이 시작한 오픈 소스 프로젝트로서이 프로젝트의 초기 단계에 한국 기여자들의 참여를 촉진하고자합니다. 따라서 초기 단계의 CB-Tumblebug 저장소는 한국어 사용을 받아 들일 것입니다.

다른 한편으로, 우리는이 프로젝트가 기여자의 국가에 관계없이 번성하기를 희망합니다.
따라서 최소한 이슈, 풀 요청, 커밋에 대해서는 제목을 영어로 사용하는 것을 추천하며, 내용에는 현지 언어 사용을 수용할 것입니다.

[근시일]

• 파일 새로 만들기
  • mcism_resource_manage_publicIp.go
  • mcism_resource_manage_vNic.go
• "csp": "aws" 로 되어 있는 부분을 "connectionName": "aws-connect01" 으로 변경
• CSP 와 통신하는 부분이 farmoni 코드로 되어 있는데, 이를 Spider 에서 제공할 REST API 로 변경. HTTP client 는 "net/http" 사용. cb-spider/cloud-control-manager/cloud-driver/drivers/cloudit/client 참고. HTTP client 코드는 많이 쓰일 것이므로 모듈화를 잘 해놓는 것이 좋을 것임. Published Postman doc 에서 Go 코드를 얻을 수도 있음. Echo 를 client 로 사용할 수도 있음.

[추후]

• (Spider 에서 interfaces_v2 가 완성되면) cb-spider/cloud-control-manager/cloud-driver/interfaces/new-resources 에 적혀 있는 struct 를 Tumblebug 에도 도입
• Tumblebug 에서, Create-Delete 는 메타정보 추가/삭제 + CSP에 명령 이고, Register-Unregister 는 메타정보 추가/삭제만 하는 것임. Register-Unregister 는 Spider 에서는 처리하지 않을 것이고, Tumblebug 에서 처리해야 함
• Spider 에서 CSP 에 있는 VM / 자원 전체를 긁어오지는 않을 것임. (CB 를 통하지 않고 만들어진 것도 있을 수 있어서.) Tumblebug 에서 메타정보를 보고 loop 을 돌려 긁어와야 할 것임.

[2019-10-17 추가]
TODO:
Support for

• All files - KeyValueList []KeyValue
• SecurityHandler.go
  • SecurityRules *[]SecurityRuleInfo
• VMHandler.go
  • SecurityGroupIds []string
  • Region RegionInfo
• VNicHandler.go
  • SecurityGroupIds []string

[2019-10-23 추가]
TODO:

• mcism_mcis.go - type vmInfo struct - StartTime time.Time
  CB-Spider <=> CB-Tumblebug <=> CB-Store
  Marshal / Unmarshal 시 Format 신경써야 함
  Ref: https://stackoverflow.com/questions/25845172/parsing-date-string-in-go

Need interfaces for individual VM creation request

As-is:
RestXxx functions are in

• src/common/namespace.go
• src/common/utility.go
• src/mcir/common.go
• src/mcir/image.go
• src/mcir/securitygroup.go
• src/mcir/spec.go
• src/mcir/sshkey.go
• src/mcir/vnet.go
• src/mcis/control.go
• src/mcis/utility.go

To-be:
RestXxx functions are in

• src/api/rest/xxx.go

https://github.com/cloud-barista/cb-tumblebug/blob/master/README.md
여기에 mcism 이라고 기술되어 있는데,
처음 보는 사람은 이것이 무엇을 가리키는 것인지 알기 어려울 수 있고, 직관성이 떨어집니다.

Related:
https://github.com/cloud-barista/cb-tumblebug/blob/master/src/Makefile
여기에도, build 결과물로 생성되는 바이너리의 파일명이 mcism 으로 되어 있습니다.

FYI:
https://github.com/cloud-barista/cb-tumblebug/blob/master/Dockerfile
여기에서는,

• 임시로 생성되는 컨테이너 안의, 바이너리의 파일명
• docker build 의 결과물인 컨테이너 이미지 안의, 바이너리의 파일명

을 cb-tumblebug 이라고 하였습니다.

Need MCIS performance evaluation functionalities