NVIDIA Компания NVIDIA представила локальный чат-бот Chat with RTX, работающий на персональном компьютере пользователя.
Chat with RTX позволяет подключать личные данные с жесткого диска для использования с открытыми языковыми моделями вроде Mistral или Llama 2. На основе этих файлов чат-бот может, например, составить резюме или ответить на вопросы пользователя.
Программа поддерживает разнообразные форматы данных, включая .txt, .pdf, .doc/.docx и .xml. По данным NVIDIA, индексация и загрузка необходимых файлов занимает считанные секунды. Затем контекстная информация из документов интегрируется для выдачи более релевантных ответов.
Также Chat with RTX поддерживает интеграцию с видео и плейлистами YouTube. Пользователь может указать ссылку на ролик, и чат-бот проанализирует его содержание, чтобы опираться на эти знания при поиске ответов.
Chat with RTX работает локально без доступа к интернету, что гарантирует конфиденциальность данных и учет персонального контекста владельца ПК. Это отличает его от облачных чат-ботов, передающих запросы на удалённые серверы.
Пока что это демо-версия продукта, так что разработчики предупредили о наличии ошибок. Для запуска Chat with RTX требуется видеокарта GeForce RTX серии 30 и выше, а также минимум 8ГБ VRAM.
