在NVIDIA RTX 4090 显卡上，2小时内完成Encoder-Decoder Transformer模型的完整训练。
- 🚀 高效训练: 1.5小时内完成50个epoch训练
- 💾 显存优化: 混合精度训练 + 梯度检查点
- 📊 轻量模型: 5M参数，适配小数据集
- 📈 稳定收敛: AdamW + 学习率热身 + 梯度裁剪
- 🔍 高级推理: 支持Beam Search解码
- ⚡ 可选优化: 支持Flash Attention（长序列）
pip install -r requirements.txt-
Notifications
You must be signed in to change notification settings - Fork 0
手动实现transformer架构
License
Beliefcoder/model
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
手动实现transformer架构
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published