遇到 'memory_efficient_attention' 在非支持硬件上的執行錯誤

[crmado]

問題描述

當我嘗試在 Ubuntu 22.04.4 LTS 系統上運行ScreenAgent模型應用程式時，我使用了 NVIDIA RTX 3060, 3070ti, 和 3080 GPU。然而，我遇到了一個問題，導致了 500 Internal Server Error。錯誤日誌顯示問題出在使用 xformers 庫的 memory_efficient_attention 操作時。這個錯誤表明沒有可用的操作支持我的設定，具體問題包括：

1. 裝置不支持：模型嘗試在 CPU 上運行，但需要 CUDA 環境。
2. 數據類型不支持：使用了 torch.bfloat16，此數據類型需要在 A100 以上的 NVIDIA GPU 上才支持。
3. 使用GPT4V問題:我使用GPT4V的時候他只會使用第一步之後的步驟就不能執行了，Run Actions也無法按會發生錯誤。

需求幫助

我希望了解是否有其他配置或安裝步驟需要調整，以解決這些問題

環境

• 操作系統：Ubuntu 22.04.4 LTS
• Python 版本：3.10
• PyTorch 版本：12.1
• xformers 版本：0.0.25.post1
• 硬件：NVIDIA RTX 3060, 3070ti, 3080