请问在多卡运行文件fine_tuning_chatglm6b.py时报错是什么原因呢？ about chatglm-efficient-tuning HOT 10 CLOSED

模型版本过旧，请更新本地模型文件。
https://github.com/hiyouga/ChatGLM-Efficient-Tuning/wiki/常见报错信息汇总

from chatglm-efficient-tuning.

好的，但我是刚刚拉的新工程啊，模型好像是最新的，怎么更新模型文件呢？我是拉的远程的代码AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

from chatglm-efficient-tuning.

好的，但我是刚刚拉的新工程啊，模型好像是最新的，怎么更新模型文件呢？我是拉的远程的代码AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

麻烦截取一下完整的报错信息。

from chatglm-efficient-tuning.

from chatglm-efficient-tuning.

加了ignore_mismatched_sizes=True这个之后

from chatglm-efficient-tuning.

加了ignore_mismatched_sizes=True这个之后

我不太明白 fine_tuning_chatglm6b.py 的逻辑，这属于该项目框架外的内容。

from chatglm-efficient-tuning.

哦这个是另一个问题，我给看错了，不好意思。请问下这里的多GPU分布式环境如何设置可以提供一个例子吗？之前没用过accelerate，我是准备在同一台机器上用多个GPU来跑，谢谢

from chatglm-efficient-tuning.

哦这个是另一个问题，我给看错了，不好意思。请问下这里的多GPU分布式环境如何设置可以提供一个例子吗？之前没用过accelerate，我是准备在同一台机器上用多个GPU来跑，谢谢

增加了一个案例教程：https://github.com/hiyouga/ChatGLM-Efficient-Tuning/blob/main/examples/ads_generation.md

from chatglm-efficient-tuning.

好的谢谢

from chatglm-efficient-tuning.

我也是，模型加载部分后，就报错
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 1 (pid: 59241) of binary: /root/anaconda3/envs/chatglm/bin/python
Traceback (most recent call last):
File "/root/anaconda3/envs/chatglm/bin/accelerate", line 8, in
sys.exit(main())
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/accelerate/commands/accelerate_cli.py", line 45, in main
args.func(args)
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/accelerate/commands/launch.py", line 970, in launch_command
multi_gpu_launcher(args)
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/accelerate/commands/launch.py", line 646, in multi_gpu_launcher
distrib_run.run(args)
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/torch/distributed/run.py", line 785, in run
elastic_launch(
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/torch/distributed/launcher/api.py", line 134, in call
return launch_agent(self._config, self._entrypoint, list(args))
File "/root/anaconda3/envs/chatglm/lib/python3.10/site-packages/torch/distributed/launcher/api.py", line 250, in launch_agent
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:

from chatglm-efficient-tuning.