AI news

65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话

By IoT物联网技术3 viewsSource: IoT物联网技术
65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话

ElatoAI 是一个开源免费的实时AI语音交互系统,采用Arduino 编程,运行在乐鑫 ESP32 主控制器上,通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,通过OpenAI Realtime API等技术实现低成本、长时长、跨设备的自然对话体验,支持多种AI模型,

The full text has not been translated yet. The Chinese original is shown below.

文章配图

ElatoAI 是一个开源免费的实时AI语音交互系统,采用Arduino 编程,运行在乐鑫 ESP32 主控制器上,通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,通过OpenAI Realtime API等技术实现低成本、长时长、跨设备的自然对话体验,支持多种AI模型,包括OpenAI、Gemini、DeepSeek、Qwen、豆包等,降低了AI语音硬件的开发门槛,为智能玩具、AI伴侣等设备提供流畅、个性化的交互能力。

  • 实时语音交互:依托 OpenAI Realtime API 实现端到端的语音到语音交互,支持边说边回,无需等待,能够维持超过 10 分钟的连续自然对话,交互流畅度接近真实聊天。
  • 角色个性化定制:支持用户自定义 AI 角色的性格、语气及声音特征,使设备能够根据设定呈现不同的情绪反馈,具备独特的个性化表现。停舵机并使机器人趴下。如果机器人在做一些“怪异”的事,你可以按这个键让它停下。
  • 跨平台兼容性:支持乐鑫 ESP32-S3开发板,内置 WiFi 管理、OTA 固件升级、音量控制、物理按钮/触摸唤醒、恢复出厂设置,还提供了完整的前端解决方案。frontend-nextjs/目录下的代码实现了响应式设计,确保在各种设备上都能获得一致的用户体验。

🤖ElatoAI 架构设计

文章配图

硬件设计:ElatoAI 项目基于ESP32-S3微控制器构建,展示了如何将麦克风、扬声器和LED等组件与ESP32无缝集成。

文章配图

软件架构:ElatoAI的软件架构分为以下几个主要部分:

  • 固件层:firmware-arduino/目录包含了ESP32上运行的固件代码,负责音频处理、网络连接和设备控制。
  • 服务器层:server-deno/目录下的代码实现了基于Deno的边缘函数,处理AI模型调用和实时通信。
  • 前端层:frontend-nextjs/目录包含了使用Next.js构建的用户界面,提供直观的交互体验。
  • 数据库层:supabase/目录包含了项目使用的数据库迁移和配置文件,确保数据的可靠存储和检索。

文章配图

管理后台,你可以通过Web管理后台轻松创建 AI 角色、选择声音、管理设备、查看实时转录

🌟ElatoAI 核心功能

文章配图

  • 实时语音转语音 (Speech-to-Speech):由 OpenAI 的实时 API 驱动,实现瞬间语音转换。
  • 创建自定义 AI 智能体:可以打造具有不同性格和声音的专属 AI 角色。
  • 可定制的音色:提供多种声音和性格供你选择。
  • 安全的 WebSockets:提供可靠且加密的 WebSocket 通信。
  • 服务端 VAD 语音活动检测:智能处理对话流程,让互动更加丝滑顺畅。
  • Opus 音频压缩:以极低的带宽占用实现高质量的音频流传输。
  • 全球边缘网络性能:低延迟的边缘函数(Edge Functions),确保全球范围内的对话无缝衔接。
  • ESP32 Arduino 框架:经过优化且易于上手的硬件集成方案。
  • 对话历史查看:随时查看你的历史对话记录。
  • 设备管理与身份验证:注册并管理你的硬件设备。
  • 用户身份验证:安全的用户认证与授权机制。
  • 基于 WebRTC 和 WebSockets 的对话:你可以在 NextJS 网页端通过 WebRTC 与 AI 畅聊,而在 ESP32 端则通过 WebSockets 连接。
  • 音量控制:直接在 NextJS 网页端就能调节 ESP32 扬声器的音量。
  • 实时转录文本:对话的实时转录内容会保存在 Supabase 数据库中。
  • OTA 空中升级:支持对 ESP32 固件进行无线远程更新。
  • 通过 Captive Portal 管理 Wi-Fi:可以直接从 ESP32 设备端连接你的 Wi-Fi 网络。
  • 恢复出厂设置:通过 NextJS 网页端即可将 ESP32 设备恢复出厂设置。
  • 按键与触摸支持:可以使用物理按键或者触摸传感器来控制 ESP32 设备。
  • 网页端 OAuth 登录:为你的用户提供 OAuth 登录,方便他们管理自己的 AI 角色和设备。

🛠ElatoAI 项目源码

文章配图

ElatoAI 通过将强大的AI语音能力带到嵌入式设备,为开发者和爱好者提供了一个充满创造力的平台。无论是构建教育工具、智能玩具还是工业解决方案,ElatoAI都为实时语音交互开辟了新的可能性。ElatoAI的应用场景很多:

  • 教育工具:创建互动式学习助手,帮助学生学习新语言或复杂概念。
  • 智能家居:打造个性化的语音控制中心,简化日常生活。
  • 玩具与游戏:开发智能玩具,提供沉浸式游戏体验。
  • 辅助技术:为有特殊需求的人群提供语音辅助工具。
  • 工业应用:在工厂环境中实现语音控制的设备操作。

ElatoAI 开源项目地址:

https://github.com/akdeb/ElatoAI

文章来自于微信公众号 "IoT物联网技术",作者 "IoT物联网技术"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)