chat-with-mlx:适合多语言环境下的数据交互和模型集成

快速部署和使用多语言、多模型支持的RAG聊天应用

直达下载
返回上一页
描述
chat-with-mlx,可以处理文本文档、PDF、TXT文件以及YouTube视频链接。
介绍

chat-with-mlx应用支持多种语言和模型,可以处理文本文档、PDF、TXT文件以及YouTube视频链接,非常适合多语言环境下的数据交互和模型集成。

home_open_chat_with_mlx_1

特性介绍

  • 数据交流:支持处理doc(x)pdftxt文件和YouTube视频链接。
  • 支持多语言:包括中文、英语、法语、德语、印地语、意大利语、日语、韩语、西班牙语、土耳其语和越南语。
  • 模型集成简便:可以轻松集成任何兼容HuggingFace和MLX的开源模型。

安装和使用步骤

简易设置

  1. 安装Pip。
  2. 使用命令pip install chat-with-mlx进行安装。
  3. 注意:如果你想在UI中添加自己的模型,这种设置方式相对困难,但它是测试应用的快速方法。

手动Pip安装

    
git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
python -m venv .venv
source .venv/bin/activate
pip install -e .

手动Conda安装

    
git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
conda create -n mlx-chat python=3.11
conda activate mlx-chat
pip install -e .

使用方法

  • 启动应用:输入命令chat-with-mlx

支持的模型

列出了支持的几种模型,如Google Gemma系列、Mistral系列和其他多种模型,适用于不同的语言和任务需求。

添加自定义模型

方案1

  • 只需在chat_with_mlx/models/configs中添加一个简单的.yaml配置文件即可添加自己的模型。
  • 示例配置文件内容如下:
    
original_repo: google/gemma-2b-it
mlx-repo: mlx-community/quantized-gemma-2b-it
quantize: 4bit
default_language: multi
  • 添加配置后,模型将在应用内部自动加载。

方案2

  • 与方案1类似,但如果模型下载较慢,你可以手动下载并添加到chat_with_mlx/models/download

已知问题

  • 需要在加载新模型前卸载旧模型,否则可能需要重启应用。
  • 如果需要切换文件,必须手动停止索引,否则数据库将添加新文档。

为什么选择MLX?

MLX是苹果公司机器学习研究团队推出的一套机器学习框架,具有与NumPy相似的Python API和其他高级特性,如自动微分和向量化操作,支持多设备执行操作,并采用统一内存模型。

RPA
八爪鱼RPA
支持一键抓取公众号/小红书/抖音/淘宝数据
立即查看
流程自动化
付费
AI爆文训练营
图文变现友好赛道,低门槛、高上限,教你从0到1做个赚钱的公众号!
立即查看
躺着赚钱
¥149/年
何老师陪你做副业
这里聚焦AI副业、个人IP、自媒体运营、写作、赚钱案例。不哔哔,只分享有价值的副业项目。
立即查看
AI赚钱案例
限免
DeepSeek进阶教程
带你全面掌握DeepSeek应用技巧。提升工作、学习效率
立即查看
100万人学过
付费
网盘拉新实战教程
每周花费一小时,手把手教你赚网盘平台佣金
立即查看
500人学过
限时优惠
AiPPT
结合最新AI技术,为用户提供一键生成高质量PPT的解决方案。
立即查看
一键生成 PPT
免费
豆包MarsCode
一款免费的AI编程助手,全新支持DeepSeek R1/V3、豆包大模型1.5自由切换,免部署、更准确、更强大!
立即查看
AI编程助手
免费
Monica AI
Monica AI满血复活DeepSeek【免费】,提升您的聊天、搜索、写作和编程体验。
立即查看
一站式 AI 助手
云服务
腾讯云
综合性的云计算服务平台,现已接入DeepSeek,提供多样化的云解决方案
立即查看
高效可靠
云服务
阿里云
全球领先的云计算与数据服务平台,提供云服务器、存储、数据库、安全等多种服务
立即查看
多样化
DeepSeek企业微信码
免费领取DeepSeek资料