英偉達推RTX聊天機器人 30和40系GPU免費使用

英偉達今天發佈“Chat with RTX”（與 RTX 聊天）應用程序，這是一款適用於 Windows PC 的聊天機器人，由 TensorRT-LLM 提供支持。

“Chat with RTX”聊天機器人被設計為一個本地化系統，用戶無需上網便可使用，所有具有至少 8 GB 顯存的 GeForce RTX 30 和 40 GPU 都支持該應用程序。

Chat with RTX 支持多種文件格式，包括文本、pdf、doc / docx 和 xml。隻需將應用程序指向包含文件的文件夾，它就會在幾秒鐘內將它們加載到庫中。此外，用戶還可以提供 YouTube 播放列表的 URL，該應用程序將加載播放列表中視頻的轉錄，使用戶能夠查詢它們涵蓋的內容。

從官方描述來看，用戶可以通過不同的查詢，與使用 ChatGPT 相同的方式使用 Chat With RTX，但生成的結果將完全基於特定數據集，似乎更適用於生成摘要、快速搜索文檔等操作。

擁有支持 TensorRT-LLM 的 RTX GPU 意味著用戶將在本地使用所有數據和項目，而不是將它們保存在雲中，這將節省時間並提供更精確的結果。

英偉達表示，TensorRT-LLM v0.6.0 將性能提升 5 倍，將於本月晚些時候推出。此外，它還將支持其他 LLM，如 Mistral 7B 和 Nemotron 3 8B。