❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 多设备连接：支持智能手机、智能眼镜等多种设备，简化设备端智能代理的开发。
2. 高效模型集成：集成最先进的商业和开源基础模型，提供强大的智能支持。
3. 复杂任务处理：支持 ReAct、DnC 等复杂算法，拓展代理的功能边界。

正文（附运行示例）

OmAgent 是什么

OmAgent 是 Om AI 与浙江大学滨江研究院联合开源的多模态语言代理框架，旨在简化设备端智能代理的开发。它支持文本、图像、视频和音频等多种输入形式，赋能智能手机、智能可穿戴设备、IP 摄像头等多种硬件设备。

OmAgent 通过抽象不同设备类型，简化了连接到先进多模态模型和算法的过程。它优化了计算流程，提供实时交互体验，具备易连接多样设备、集成前沿多模态模型、支持复杂问题解决算法等关键特点，提供直观的接口构建可扩展的代理，适应各种应用需求。

OmAgent 的主要功能

• 多设备连接：OmAgent 让连接物理设备变得非常简单，比如手机、眼镜等，能构建直接在设备上运行的应用，提供智能手机应用和对应的后端，用户无需担心复杂的设备连接问题，可以专注于代理功能的开发。
• 高效模型集成：集成 SOTA 模型，整合最先进的商业和开源基础模型，为应用开发者提供了最强大的智能支持。
• 算法实现接口：为研究人员和开发者提供易于使用的流程编排接口，方便他们实现最新的代理算法，如 ReAct、DnC 等。让 OmAgent 能够支持更复杂的任务和问题解决，拓展代理的功能边界。

如何运行 OmAgent

1. 安装 OmAgent

首先，确保你的 Python 版本 >= 3.10，然后使用 pip 安装 OmAgent 核心库：

pip install omagent-core

或者从源代码安装最新版本：

pip install -e omagent-core

2. 设置 Conductor 服务器

使用 Docker-Compose 启动 Conductor 服务器、Elasticsearch 和 Redis：

cd docker
docker-compose up -d

3. 配置 LLM 设置

在 configs/llms/gpt.yml 中配置你的 OpenAI API 密钥或兼容的端点：

export custom_openai_key="your_openai_api_key"
export custom_openai_endpoint="your_openai_endpoint"

4. 运行示例

运行简单的 VQA 示例，启动网页 GUI：

cd examples/step1_simpleVQA
python run_webpage.py

打开浏览器访问 http://127.0.0.1:7860，你将看到如下界面：

资源

• GitHub 仓库：https://github.com/om-ai-lab/OmAgent
• arXiv 技术论文：https://arxiv.org/pdf/2406.16620

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦