参数解释:

--gpus all：指定容器可以使用所有可用的GPU资源。

-itd：以交互模式并在后台运行容器。

--shm-size=16g：为容器设置共享内存大小为16GB。

--ulimit memlock=-1：设置容器可以锁定任意数量的内存。

--ulimit core=0：禁用容器内的核心转储文件生成。

--ulimit stack=67108864：设置容器的堆栈大小为64MB。

--privileged：赋予容器所有的特权。

--cap-add=IPC_LOCK：允许容器锁定共享内存。

--name "gpt_test"：指定容器的名称为"gpt_test"。

--ipc host：共享宿主机的IPC命名空间。

--net host：使用宿主机的网络命名空间。

-v "$HOME":"$HOME"：将宿主机的$HOME目录挂载到容器的$HOME目录中，以便容器可以访问宿主机上的文件。

"ngc/pytorch-21.07:ssh-ib5.4-config-py38"：指定要使用的Docker镜像的名称和标签。

bash -c "sed -i 's/Port 62620/Port 10098/g' /root/.ssh/config && /usr/sbin/sshd -p 10098 && bash"：在容器启动时执行的命令。此命令将更改容器内的SSH配置文件中的端口号，并启动SSH服务器。最后，它将启动一个新的bash shell供用户使用。

参数详解：

mpirun：这是使用 MPI 启动并行程序的命令。
-np 64：这指定启动的进程数，本例中为 64。

-H 051:8,052:8,053:8,054:8,055:8,056:8,057:8,058:8：该选项指定要在哪些节点上启动进程，以及每个节点要启动的进程数。在本例中，每个节点 051、052、053、054、055、056、057 和 058 上启动了 8 个进程。

--allow-run-as-root：此选项允许以 root 用户身份运行程序。

-bind-to none：此选项指定进程不应绑定到特定的处理单元。

-map-by slot：此选项按插槽分配进程到处理单元，每个插槽代表一个处理单元。

-x NCCL_IB_DISABLE=0：此选项将环境变量 `NCCL_IB_DISABLE设置为 0，启用 InfiniBand 通信。

-x NCCL_IB_GID_INDEX=3：此选项将环境变量 NCCL_IB_GID_INDEX 设置为 3，指定 InfiniBand 通信使用的 GID（全局唯一标识符）索引。

-x NCCL_GDR_LEVEL=2：此选项将环境变量 NCCL_GDR_LEVEL 设置为 2，启用 GPU Direct RDMA（远程直接内存访问）用于 GPU 之间的通信。

-x NCCL_DEBUG=INFO：此选项将环境变量 NCCL_DEBUG 设置为 INFO，启用 NCCL（NVIDIA Collective Communications Library）操作的调试信息。

-x NCCL_IB_QPS_PER_CONNECTION=4：此选项将环境变量 NCCL_IB_QPS_PER_CONNECTION 设置为 4，指定每个 IB（InfiniBand）连接使用的 QP（队列对）数。

-x NCCL_IB_TC=160：此选项将环境变量 NCCL_IB_TC 设置为 160，指定 InfiniBand 通信使用的流量类。

-x LD_LIBRARY_PATH：此选项导出当前的 LD_LIBRARY_PATH 值，该环境变量指定要搜索共享库的目录。

-x PATH：此选项导出当前的 PATH 值，该环境变量指定要搜索可执行文件的目录。

-mca pml ob1：此选项指定要使用的 PML（点对点消息传递层）模块，默认为 Open MPI 的 ob1 模块。

-mca btl_tcp_if_include bond0：此选项指定要用于 TCP 通信的 BTL（字节传输层）模块，并指定要使用的网络接口为 bond0。

-mca btl ^openib：此选项指定要禁用 InfiniBand 通信的 Open MPI BTL 模块。

$HOME/nccl-tests/build/all_reduce_perf：此项指定要在 MPI 环境中运行的可执行文件路径。

-b 2G：开始的 size 大小

-e 4G：结束的 size 大小

-f 2：size 之间的乘数因子

-n 100：重复迭代次数

-g 1：此选项指定每个 GPU 上的进程数，本例中为 1。

| tee $HOME/nccl-tests/nccl_log/nccl_increace_16n8g.log：此项将程序的标准输出传输到 tee 命令，该命令将输出写入指定的文件

#                                                              out-of-place                       in-place          
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)       
2147483648     536870912     float     sum      -1    25040   85.76  168.84      0    24828   86.49  170.28      0
4294967296    1073741824     float     sum      -1    52185   82.30  162.03      0    50414   85.19  167.73      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 167.221

set -ex
# 解析输入参数，使用逗号分割多个主机名
hosts=$(echo $1 | tr "," "\n")
master_addr=$2
# 获取主机数量
global_batch_size=$(($num_hosts * 16))
num_hosts=$(echo $hosts | wc -w)

# 使用ansible在每个主机上执行命令
for (( i=0; i<$num_hosts; i++ )); do
  host=$(echo $hosts | cut -d " " -f $((i+1)))

  ansible $host -m shell -a "docker exec gpt_test bash -c 'cd $/libai && bash tools/args_train.sh configs/gpt2_pretrain.py $num_hosts 8 $i $master_addr 1 1 true true true 2 $global_batch_size false 2 220 100 48 144 2304 9216'" & 

done

参数解释如下：

* CONFIG：配置文件路径。
* NNODES：节点数，默认为1。
* GPUS_PER_NODE：每个节点的GPU数量，默认为8。
* NODE_RANK：当前节点在节点组中的排名，默认为0。
* MASTER_ADDR：主节点地址，默认为"127.0.0.1"。
* MASTER_PORT：主节点端口号，默认为12345。
* MP：模型并行分组大小，默认为1。
* DP = (NNODES * GPUS_PER_NODE) / MP / PP   
* PP：pipeline并行分组大小，默认为1。
* GRAPH_ENABLED：是否开启图模式，默认为true。
* USE_FP16：是否使用FP16混合精度训练，默认为true。
* ACTIVATION_CHECKPOINT：是否开启激活函数checkpointing，默认为false。
* MICRO_BATCH_SIZE：每个微小批量的样本数量，默认为4。
* GLOBAL_BATCH_SIZE：全局批量大小，默认为4。
* ZERO_ENABLE：是否开启零纪录优化，默认为false。
* ZERO_STAGE：使用零纪录优化的阶段，默认为2。
* TRAIN_ITERS：训练迭代次数，默认为220。
* LOG_PERIOD：日志输出周期（以迭代为单位），默认为100。
* NUM_LAYER：Transformer层数，默认为12。
* NUM_ATT_HEADS：Self-Attention头数，默认为12。
* HIDDEN_SIZE：隐藏层大小，默认为768。
* INTERMEDIATE_SIZE：Feedforward层中间层大小，默认为3072。
* HEAD_SIZE：Multi-Head Attention中每个头的大小，默认为64。
* SAVE_MODEL：是否保存模型，默认为false。
* UNSET_DROPOUT：是否取消dropout，默认为false
* ACC = GLOBAL_BATCH_SIZE / (DP * MICRO_BATCH_SIZE)

set -ex
# 解析输入参数，使用逗号分割多个主机名
hosts=$(echo $1 | tr "," "\n")
master_addr=$2
# 获取主机数量
global_batch_size=$(($num_hosts * 16))
num_hosts=$(echo $hosts | wc -w)

# 使用ansible在每个主机上执行命令
for (( i=0; i<$num_hosts; i++ )); do
  host=$(echo $hosts | cut -d " " -f $((i+1)))

  ansible $host -m shell -a "docker exec gpt_test bash -c 'cd $/Megatron-LM && bash examples/megatron_args_pretrain_gpt2.sh $num_hosts 8 $i $master_addr 1 1 true true true 2 $global_batch_size false 2 220 100 48 144 2304 9216'" & 

done