kwangka / simcse_unsup Goto Github PK

View Code? Open in Web Editor NEW

128.0 2.0 30.0 3.27 MB

中文无监督SimCSE Pytorch实现

License: MIT License

Python 100.00%

nlp pytorch chinese sentence-embeddings

simcse_unsup's People

Contributors

Stargazers

Watchers

simcse_unsup's Issues

大佬，我这个差在哪？

请问所用的各个库的版本是多少呀

y_true的计算公式是怎么来的

你好,请教下 y_true = idxs + 1 - idxs % 2 * 2 是怎么来的,这一块构建数据和构建y_true 的时候没看懂

请教一个问题

请问下，train_unsup.py里的compute_loss，构造的是负样本的损失函数吗？

请问您有训练好的模型checkpoint吗

你好推理阶段怎么使用呢？

您好请教一个问题模型训练好后续如何使用呀训练完成后得到的是一个epoch_0-batch_100-loss_3.604767文件是不是要转化成bin文件

评测指标

你好，请问你的代码有在中文的句子相似度数据集上进行过评测吗

好像缺了一部分代码？

from datasets import load_dataset
这里报错，查了一下，没有datasets这个module

SimCSERetrieval.py 中encode_file() 存在不足

你好，看了你的代码受益匪浅，但是在代码SimCSERetrieval.py 中encode_file() 有一些问题如下：

  if len(texts) >= self.batch_size:
      vecs = self.encode_batch(texts)
      vecs = vecs / vecs.norm(dim=1, keepdim=True)
      all_texts.extend(texts)
      all_ids.extend(idxs)
      all_vecs.append(vecs.cpu())
      texts = []
      idxs = []

如果 fname中的样本数N， N%self.batch_size = d，那么会遗漏d个样本。
我在测试中使用样本数为：
N = 559
batch_size = 64
得到all_vecs.shape[0]=512

有监督部分的理解

请教一下，我看了simcse原作者代码，感觉有监督部分就是和sentence bert的multiNegativeRankingLoss基本一致，是这么理解吗

simcse_model = "./model/batch-1400

你好，我想请问一下，test_unsup.py里面 simcse_model = "./model/batch-1400"是从哪来的

怎样实现随机输出

import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import BertTokenizer,BertModel,BertConfig

tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
batch_x = tokenizer(["**人民公安大学年硕士研究生目录及书目","**人民公安大学年硕士研究生目录及书目"], return_tensors="pt", padding=True, truncation=True, max_length=128)

class SimCSE(nn.Module):
    def __init__(self, pretrained="bert-base-chinese", pool_type="pooler", dropout_prob=0.3):
        super().__init__()
        conf = BertConfig.from_pretrained(pretrained)
        conf.attention_probs_dropout_prob = dropout_prob
        conf.hidden_dropout_prob = dropout_prob
        self.encoder = BertModel.from_pretrained(pretrained, config=conf)
        assert pool_type in ["cls", "pooler"], "invalid pool_type: %s" % pool_type
        self.pool_type = pool_type

    def forward(self, input_ids, attention_mask, token_type_ids):
        output = self.encoder(input_ids,
                              attention_mask=attention_mask,
                              token_type_ids=token_type_ids)
        if self.pool_type == "cls":
            output = output[0][:, 0]
        elif self.pool_type == "pooler":
            output = output[1]
        return output

model = SimCSE()
pred = model(input_ids = batch_x["input_ids"],attention_mask=batch_x["attention_mask"],token_type_ids=batch_x["token_type_ids"])

您好，我按照这样的思路输入两次，但是最后输出的pred[0]和pred[1]是完全一样的，所以想请教下您的随机输出是怎么实现的？