[IREE] Inference & Benchmark #590
Conversation
Vladislav-Denisov
force-pushed
the
feat/iree
branch
from
85d30e8 to
8cf3fbf
Compare
valentina-kustikova
left a comment
valentina-kustikova
left a comment
There was a problem hiding this comment.
@Vladislav-Denisov, посмотрела код, написала небольшие комментарии. Надо еще отследить, что проверка стиля кодирования везде проходит.
src/inference/inference_iree.py
Outdated
|
|
||
| def load_iree_model(vmfb_buffer): | ||
| try: | ||
| config = ireert.Config('local-task') |
There was a problem hiding this comment.
'local-task' - единственное возможное значение параметра функции? Не понятно, имеет ли смысл выносить в константы или параметры.
There was a problem hiding this comment.
Все доступные варианты помимо local-task описаны в табличке здесь
Я захардкодил, потому что пока что рассматривал только запуск на CPU.
Vladislav-Denisov
force-pushed
the
feat/iree
branch
2 times, most recently
from
4192375 to
40cfd33
Compare
Vladislav-Denisov
force-pushed
the
feat/iree
branch
from
40cfd33 to
15ac8f9
Compare
Vladislav-Denisov
changed the title
valentina-kustikova
left a comment
valentina-kustikova
left a comment
There was a problem hiding this comment.
@Vladislav-Denisov, информацию о поддержке IREE надо добавить в основной README в корне репозитория. Также упали тесты с paddlepaddle, поправьте, пожалуйста, версию библиотеки.
src/inference/iree_auxiliary.py
Outdated
| exp_logits = np.exp(logits - max_logits) | ||
| probabilities = exp_logits / np.sum(exp_logits, axis=-1, keepdims=True) | ||
|
|
||
| return {output_key: probabilities} |
There was a problem hiding this comment.
Думаю, что это должно быть оформлен в отдельном классе, который является наследником IOAdapter или наследником адаптера для задачи классификации.
There was a problem hiding this comment.
Я реализовал prepare_output именно как отдельный вспомогательный метод, применяя подход аналогичный любому другому фреймворку , который требует подготовки выхода перед его передачей в
dl-benchmark/src/inference/io_adapter.py
Line 246 in ec4106e
Например:
- PyTorch
- NCNN
- MXNET
- TensorFlow
- и т.д.
Думаю, что если переделывать это на некоторый класс, который будет как-то связан с IOAdapter, то это стоит делать везде и это займет относительно много времени для аккуратного решения.
Пока что просто упростил prepare_output для IREE, избавился от лишнего.
2 participants
No description provided.