你的textcnn实验，只要把学习率调大一个数量级，没有预训练也可以得到一样的结果

[wykdg]

[myeclipse]

真相了。。。

[brightmart]

不会吧。使用大规模的语料预训练，对准确率提升没有帮助吗？

[wykdg]

你这个实验调了一个非常小的学习率，导致没预训练的textcnn训练不起来而已。模型太小了，预训练的意义不大

[henrycCoder]

textcnn如何预训练？我觉得这根本就不可行！
textcnn跟transformer结构不一样，textcnn经过卷积池化之后，所有的文本都表示成了一个向量，根本没法取出对应mask位置的词向量 作词表的映射，又谈何做mask工作？此外，bert_cnn_model.py 也没有预训练textcnn的code. @brightmart @wykdg

[wykdg]

还有人at我。。。这个就是他前年蹭热点乱写的代码而已。。一点意义都没啊