Nvidia 的新 AI 聊天机器人在您的 PC 上本地运行，并且免费

拥有 GeForce RTX 30 系列 GPU 或更高版本？该演示应用程序可以提供个性化内容，无需互联网连接。

Nvidia 的 GeForce RTX 40 系列 GPU。

Nvidia 发布了新型 AI 聊天机器人的演示版本，该机器人可以在某些配备 GeForce RTX 的 PC 上本地运行。该演示应用程序名为 Chat with RTX，可免费下载，用户可以在自己的 PC 上运行人工智能聊天机器人，并根据其内容进行个性化设置。

该应用程序由 Nvidia TensorRT-LLM 软件提供支持，可以生成内容，并可以根据用户选择的内容进行训练，包括 .txt、.pdf、.doc/.docx 和 .xml 文件，甚至 YouTube 视频的 URL。

选择训练机器人的内容后，用户可以向机器人询问有关他们提供的内容的个性化问题。例如，机器人可以总结 YouTube 操作视频中的分步说明，或者告诉用户他们的购物清单中有哪种类型的电池。

根据用户喜欢的内容训练机器人可以使体验真正个性化，但事实上这一切都发生在本地，从而保证了用户数据的私密性。使用 RTX 聊天可以返回快速响应，同时保证所有用户信息的安全，因为它不依赖基于云的服务，这意味着它也可以在没有互联网连接的情况下运行。

该机器人需要 Nvidia GeForce RTX 30 系列 GPU 或更高版本，以及至少 8 GB 的 VRAM。与 RTX 聊天还需要 Windows 10 或 11 以及最新的 Nvidia GPU 驱动程序。

Nvidia 表示，其 TensorRT-LLM 软件与检索增强生成 (RAG) 和 RTX 加速相结合，允许 Chat with RTX 通过使用本地文件作为数据集并将其连接到 Mistral 和 Llama 2 等开源 LLM 来提供相关答案。