直接运行python run_gen.py，GPU 利用率不到50% #80
Description
基于 CPT 做微调时，直接运行python run_gen.py 确实默认使用所有卡，但是 GPU 利用率很低，尝试更改 batch size 后，报显存不足的错误
有什么好的解决方式吗？
提升 GPU 的利用率
{{ message }}
基于 CPT 做微调时，直接运行python run_gen.py 确实默认使用所有卡，但是 GPU 利用率很低，尝试更改 batch size 后，报显存不足的错误
有什么好的解决方式吗？
提升 GPU 的利用率