nov-98 / blogs Goto Github PK

1. 把跑通的CodeCraft-2021.cpp替换SDK/SDK_C++/C CodeCraft-2021/ CodeCraft-2021.cpp
2. 把traindata这个文件夹放到外面去，合适的位置，只要不在SDK_C++/C CodeCraft-2021/ 就行，具体要不要和你们代码里的对齐，或者改代码里的位置，你们自己看，我不知道这个编译的时候需不需要在linux上跑通
3. 退到目录SDK/SDK_C++/，退出本层目录的命令是..
4. 进入目录“SDK/SDK_C++/”，在终端输入，./build.sh进行编译
5. 编译后SDK_C++下面有个新增的bin目录（最终可执行文件存入目录）和build目录（编译中间过程目录）。
6. 进入“SDK/SDK_C++/bin/CodeCraft-2021”路径，在终端输入./CodeCraft-2021回车运行
7. 在“SDK/SDK_C++/”执行./CodeCraft_zip.sh对源码进行编译的同时会生成打包文件“CodeCraft-2021.zip”
8. 将“SDK/SDK_C++/CodeCraft-2021.zip”在2021华为软件精英挑战赛官方网站上进行代码提交。

参考：
数据集tutorial：
参考2：

不使用亚马逊云windows 下载数据集：
-下载aws cli
-aws s3 ls s3://sevir/ --no-sign-request

使用python boto3 moduel
连接到s3 bucket

import boto3
from botocore.handlers import disable_signing
resource = boto3.resource('s3')
resource.meta.client.meta.events.register('choose-signer.s3.*', disable_signing)
bucket=resource.Bucket('sevir')

得到文件列表

objs=bucket.objects.filter(Prefix='')
print([o.key for o in objs])

获取指定文件

bucket.download_file('CATALOG.csv','/home/data/SEVIR/CATALOG.csv')
bucket.download_file('data/vil/2017/SEVIR_VIL_STORMEVENTS_2017_0701_1231.h5','/home/data/SEVIR/data/vil/2017/SEVIR_VIL_STORMEVENTS_2017_0701_1231.h5')

数据集信息：
id：每个event有一个单独的id，每个id最多对应catlog 5行数据（对应5个探测器）每个event都是一个4小时数据块，且同一个事件的空间信息是重合的；
filename：包含图像数据的h5文件；
file_index: 图像数据在各自h5文件中的索引；
llcrnrlat llcrnrlon urcrnrlat urcrnrlon： 左下角维度 左下角经度 右上角纬度 右上角经度
size_x size_y ：图像为x*y像素 height_m * width_m 平方米
pot_missing：所有帧丢失数据的百分比

数据处理
数据筛选：在76004条记录中**有115个index为0的图像（除去lght）
文件结构：图像类型/年份/h5文件
sevir中除了lght的每个类别都是4Dtensor （N x L x W x T）, N 文件中的event数

数据解析：

• 按照catlog下载同时有5种类型的事件id
• 按照id下载h5file并按照数据结构转换为npy格式（每个event可以单独保存成一个文件，以file_index作为后缀）