git-cloner / aliendao Goto Github PK

今天下载模型的时候发现下载速度变得非常慢，几秒1MB，请问大佬能看一下吗

下载后目录显示替身文件源文件指向缓存目录这是什么情况？
怎样解决直接显示实际文件的形式
如下图：

当下载tiiuae/falcon-180B-chat模型时，执行命令后提示需要登录认证，要如何解决？

$ python model_download.py --repo_id tiiuae/falcon-180B-chat --mirror

2023-09-19 18:00:43 tiiuae/falcon-180B-chat mirror :500
2023-09-19 18:00:45 tiiuae/falcon-180B-chat success :401 Client Error. (Request ID: Root=1-6509714d-1ee4c4267f2bc5df0d916723;83665afb-3d62-414b-99cf-75a2865f6ac2)

Cannot access gated repo for url https://huggingface.co/api/models/tiiuae/falcon-180B-chat/revision/main.
Repo model tiiuae/falcon-180B-chat is gated. You must be authenticated to access it.

Hello,

我在使用过程中遇到了一个小问题，并想分享我找到的解决方案，希望能对其他使用者也有所帮助。

问题描述

在使用 _download_file_resumable 函数下载文件时，如果服务器的响应中没有 content-length 头部，脚本会抛出 TypeError。这是因为脚本试图将 None 转换为整数。

出现错误的代码

total_length = int(r.headers.get('content-length'))

建议的解决方案

我建议在尝试转换之前检查 content-length 是否存在。如果不存在，可以将 total_length 设置为 0 或 None。以下是修改后的代码段：

total_length = r.headers.get('content-length')

if total_length is not None:
    total_length = int(total_length)
else:
    # 如果没有content-length头，可以选择跳过进度条或使用其他方法估计文件大小
    total_length = 0  # 或者设置为None，根据您的需求调整

这个修改可以防止在缺少 content-length 头部时脚本崩溃，并允许下载继续进行。

希望这个建议对您有所帮助。再次感谢您的工作！

真垃圾

请求增加模型google/madlad400-3b-mt，Unbabel/TowerInstruct-7B-v0.2，facebook/seamless-m4t-large

使用命令 python model_download.py --repo_id Qwen/Qwen-VL-Chat --mirror 时，报错TypeError: int() argument must be a string, a bytes-like object or a real number, not 'NoneType'

运行 python model_download.py --repo_id stabilityai/stable-video-diffusion-img2vid-xt 时发生以下错误，请教如何解决。谢谢!!

Traceback (most recent call last):
File "/home/ubuntu/aliendao/model_download.py", line 221, in
download_model_from_mirror(
File "/home/ubuntu/aliendao/model_download.py", line 199, in download_model_from_mirror
if _download_model_from_mirror(_repo_id, _repo_type, _token, _e):
File "/home/ubuntu/aliendao/model_download.py", line 193, in _download_model_from_mirror
if not _download_file_resumable(url, file_name, i, len(files)):
File "/home/ubuntu/aliendao/model_download.py", line 135, in _download_file_resumable
total_length = int(r.headers.get('content-length'))
TypeError: int() argument must be a string, a bytes-like object or a real number, not 'NoneType'

python model_download.py --repo_id stabilityai/stable-diffusion-xl-base-1.0 --mirror

报错
requests.exceptions.SSLError: HTTPSConnectionPool(host='e.aliendao.cn', port=443): Max retries exceeded with url: /models/stabilityai/stable-diffusion-xl-base-1.0?json=true (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131)')))

尝试model_download.pyli 151行增加proxy不行
尝试把model_download.pyli 150行替换https为http也不行

命令：

python model_download.py --repo_id SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1  --token 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

之前用的huggingface-cli download --resume-download xx --local-dir xx下载经常出现416错误，只好换这个，但这个报错提示：

(aliendao) G:\[Notes]\aliendao>python model_download.py --repo_id SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1  --token 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
2024-04-06 21:00:17 SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1 mirror :500
2024-04-06 21:00:17 SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1 download :下载资源发生了错误，请使用正确的token

(aliendao) G:\[Notes]\aliendao>

怎么破？

python model_download.py --repo_id Qwen/Qwen-7B-Chat

这个下载不了
加上token一样的报错

load_dataset('HuggingFaceFW/fineweb-edu', name='sample-10BT', split='train')

礼问一下确定实现断点续传了吗？ 如果有的话 默认开启吗

如题（ hf实在连不上了x

因为下载速度原因，想节省点时间，所以希望能增加单独下载文件的功能，当只需要模型中的单个文件时候，可以单独下载，谢谢

请问为什么我下载的镜像文件都是0KB(所有文件都是0KB)

python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat

这是我下载的模型

运行 python model_download.py --repo_id Xenova/nllb-200-distilled-600M，出现这个错误该怎么办

Xenova/nllb-200-distilled-600M download :下载资源发生了错误，请使用正确的token

请求增加bigcode/starcoderdata的镜像