应用开发平台
Coze（扣子)
字节跳动旗下产品，新一代 AI 应用开发平台。借助扣子提供的可视化设计与编排工具，可以通过零代码或低代码的方式，快速搭建出基于大模型的各类 AI 项目。
Dify
构建定制化 AI 应用（如智能写作助手、数据分析工具）。需要开发多类型大模型应用、具备研发投入能力。
LangChain
基于大语言模型（LLM）的框架，为各种LLM实现通用的接口，将相关的组件“链”在一起，简化LLM应用的开发。它支持模型集成、提示工程、索引、记忆、链、代理等多种组件功能。 更适合需要复杂对话流程、上下文管理、以及多步骤任务的应用场景，如聊天机器人、任务自动化等。
知识库平台
FastGPT
基于 LLM 大模型的开源 AI 知识库构建平台。提供了开箱即用的数据处理、模型调用、RAG 检索、可视化 AI 工作流编排等能力。
RagFlow
一款开源的 RAG（Retrieval-Augmented Generation）引擎，专注于深度文档理解，能够助力企业及个人构建高效的 RAG 工作流程。借助大语言模型（LLM），它可以精准处理各种复杂格式的数据，为用户提供可靠的问答服务，并附上详实的引用依据。
LlamaIndex
基于向量搜索的索引框架，主要用于提升大型语言模型在长文本或大量数据上的查询效率。它侧重于处理数据的索引和检索，使得模型能够快速定位到最相关的信息。 当应用场景主要涉及大量数据的快速检索和查询时，LlamaIndex更加适用，如知识问答系统、文档搜索引擎等。
大模型本地部署平台
Ollama
Ollama 是一个专注于本地部署大型语言模型的工具，通过提供便捷的模型管理、丰富的预建模型库、跨平台支持以及灵活的自定义选项，使得开发者和研究人员能够在本地环境中高效利用大型语言模型进行各种自然语言处理任务，而无需依赖云服务或复杂的基础设施设置。
LM Studio
一款 开源 的本地 LLM 推理 GUI 工具，支持 GGUF 格式大模型（Llama.cpp 后端），支持 GPU 加速，可用 RTX 4060 / 4070 / 4090 运行大模型，可直接在本地进行离线 AI 对话。 支持的模型：Meta LLaMA2 / LLaMA3、Mistral / Mixtral、Qwen / DeepSeek、Gemma / Phi-2、Hugging Face 上的任意 GGUF 格式模型。
vLLM
vLLM是一个高效的大模型推理与服务引擎，专为大型语言模型（LLM）打造。它通过创新的PagedAttention技术、连续批处理、CUDA核心优化以及分布式推理支持，显著提高了LLM的推理性能。 vLLM支持多种模型格式，包括PyTorch、TensorFlow等，方便用户根据自己的需求选择合适的模型。此外，vLLM还提供了高性能的推理引擎，支持在线推理和批量推理，能够快速响应大量并发请求。
