QA task

[zhouliang-yu]

请问老哥这份代码有试过gpt2 在 QA task上面的prompt tuning吗

[demo123attack]

老哥 你这run_gpt.sh 跑起来 他报错了 torch.nn.modules.module.ModuleAttributeError: 'GPT2Model' object has no attribute 'post_init'
实际报错的语句是modeling_gpt_prompt.py的214行的self.post_init(),
请问如何解决这个问题呀

[Zeng-WH]

老哥 你这run_gpt.sh 跑起来 他报错了 torch.nn.modules.module.ModuleAttributeError: 'GPT2Model' object has no attribute 'post_init' 实际报错的语句是modeling_gpt_prompt.py的214行的self.post_init(), 请问如何解决这个问题呀

seems to be transformer version problem. you can use transformers==4.12.5, or just delete code in this line

[demo123attack]

老哥 你这run_gpt.sh 跑起来 他报错了 torch.nn.modules.module.ModuleAttributeError: 'GPT2Model' object has no attribute 'post_init' 实际报错的语句是modeling_gpt_prompt.py的214行的self.post_init(), 请问如何解决这个问题呀

seems to be transformer version problem. you can use transformers==4.12.5, or just delete code in this line

谢谢，用了你的代码和dataset目前跑出来结果是这样的
Eval Metric: {'bleu-1': 0.0005652444453334371, 'bleu-2': 5.6113243892857e-311, 'bleu-3': 5.6113243892857e-311, 'bleu-4': 5.6113243892857e-311}
感觉没啥效果 不知道是不是出错了，还是说目前的dataset不行

[Zeng-WH]

prompt tuning is sensitive to learning rate, may be you can try different learning rate

[demo123attack]

提示调整对学习率很敏感，也许你可以尝试不同的学习率

谢谢，你当时用的学习率是多少？ 目前我就是用你脚本里面命令，其学习率 是2e-3