侧边栏壁纸
博主头像
MobotStone - 技术宅博主等级

行动起来,活在当下

  • 累计撰写 191 篇文章
  • 累计创建 80 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

深入解析:AI LLM框架中的通信模块-为什么它是核心模块

MobotStone
2023-08-15 / 0 评论 / 0 点赞 / 179 阅读 / 4659 字

本文是AI LLM框架架构序列的第二篇:通信模块

人工智能(AI)框架日益受到欢迎,因为它们简化了智能应用和代理的构建过程。这些框架的一个关键组成部分是通信模块,它允许用户与AI系统之间的互动。

“沟通是人生中最重要的技能。” —— 史蒂芬·R·科维

1、通信模块 —— AI与外界交流的桥梁

试想你正在和一个朋友交谈。你说话,你的朋友仔细听,处理你说的内容,思考回应,然后大声回答。

现在想象用一个人工智能系统来替代你的朋友。AI如何接收你的话并智能地回应你呢?这就是通信模块的作用 —— 它充当AI对外界的桥梁。

通信模块负责无缝地将AI模型与用户接口相连接。就像两个说不同语言的人之间的翻译一样,该模块通过将输入和输出转化为双方都能理解的形式来实现互动。

具体来说,通信模块承担了几个关键角色:

  1. 输入:模块从各种形式如文本、声音、图像等接收输入。它可能使用ASR来处理口语,或使用计算机视觉算法来解读照片。
  2. 理解:接下来,它分析输入并将其转化为AI模型能够理解的标准格式,使用诸如自然语言处理的技术。
  3. 路由:处理过的输入被引导至AI模型的相关部分。
  4. 生成回应:AI模型确定一个合适的回应,并发送回通信模块。
  5. 输出:回应被转化为自然的、人类可读的语言或其他适当的格式。这可能依赖于TTS、会话代理、文本格式化等技术。
  6. 合成:最后,通过适当的通信渠道向用户展示输出,例如通过语音助手大声说出。

通信模块使AI系统能够通过我们首选的沟通媒介与人类进行实时对话。其在输入、输出和集成方面的多方面角色使它成为AI难题中的关键部分。

2、通过实际例子理解通信模块

为了更好地理解通信模块的角色和价值,让我们看一些实际的例子:

AI销售助手

“这是一个工具,它时刻观察潜在的客户,分析他们业务的具体内容,并准备由决策层批准的销售提案。这类AI助手应该寻找关系和联系,以实现首次销售接触。”

管理这样的助手可以通过两个渠道来完成:

  1. 公司的CRM系统:其中一个引导机制将与应用和AI助手集成。员工将通过表格和按钮来处理交互。
  2. 利用公司的即时通讯系统上的讨论:为与AI助手互动而设立的专用渠道。

AI 知乎讨论摘要应用

“一个智能应用,应能够分析知乎上的讨论,总结结论、任务、负责人和下一步的步骤。”

服务台AI助手

“一个AI应用程序,是处理服务台请求时的第一级支持。它可以接收用户的请求,询问附加问题,并根据公司的知识库提供答案。如有必要,它可以将消息转发给员工。”

在这种情况下,通信通常通过一个专用的服务台系统进行,任务在其中被创建。对于通信模块,新增请求或增加评论会通过API生成一个新消息发送给应用程序,而通过API报告的回应会是请求者评论中的回应。

网页实时聊天AI应用

“近期非常受欢迎的解决方案 —— 放置在网站页面上的聊天框。在这种情况下,AI可以自动化首次接触,根据组织的知识库和程序提供答案,如有必要,将消息转发给员工。”

在这种情况下,通信将通过一个外部系统和通过API的集成进行。使用WebSocket或SSE技术将是有价值的。

3、与AI应用的通信

通信是人工智能(AI)系统运作的基石。就像人与人之间的互动,AI应用理解请求并提供有意义的回应的能力完全依赖于所使用的界面。因此,在设计一个AI系统时,选择一个最佳的通信方式是至关重要的。

“我的语言的极限意味着我的世界的极限。” —Ludwig Wittgenstein

常见的沟通界面

AI系统中常用的几种通信界面包括:

  1. 聊天式 — 支持会话式互动,例如聊天机器人。这里会使用NLP技术。
  2. 基于文档 — 使用提供的文档作为输入数据。
  3. 基于图像 — 分析如照片和视频的视觉输入。这里会使用CV技术。
  4. 基于文本 — 允许文本消息交换,例如通过聊天。这是一种简单直观的交互方式。
  5. 基于语音 — 使用语音识别和合成技术与用户进行语音交流。
  6. 用户界面 — 通过按钮、菜单等图形元素进行交互。
  7. API — 允许系统间通信的编程界面。允许与现有系统集成。
  8. 通信协议 — 例如 MQTT、AMQP、HTTP、SMTP、IMAP等。这些是为系统互操作性制定的标准协议。

与现有系统的集成

通信模块可以与组织现有的IT基础设施集成。这使得AI应用能够通过既定的企业渠道进行沟通,如客户门户或内部聊天平台。

4、通信模块的要求

从之前的例子和关于通信流程的要求中,我们可以看出通信模块需要具备一些关键能力:

“简单,是最高的巧妙。” — 莱昂纳多·达·芬奇

易于扩展

该解决方案应使得添加新的通信方式变得简单,只需提供必要的接口即可。这样就能轻易地添加如即时通讯软件或智能客服这样的新通道。

支持多渠道

考虑到现代的多用户在线服务模式,这个模块应能同时连接不同的通信方式,并为每一种方式提供合适的设置和登陆信息。

协议中立

无论是REST APIs、消息队列等,该模块都应能与其无缝配合。重要的是,它与特定的协议之间不应有过于紧密的绑定。

5、开放且适用于大企业

除了满足基础需求外,还要能够针对大公司的特定场景进行定制,如增强的安全性、审计跟踪、数据分析等。

解耦设计

这个通信模块应当能简化各种通信方式的细节,把它们变得像常规的交互方式。系统里的其他部分不需要过多担心通信的各种小问题。跟渠道交流需要的信息和工具应当在接收到的消息里都包含有。

异步和可靠

因为现在的语言模型反应比较慢,通信要能异步进行,不让用户等太久。这个模块应当能快速告知用户消息已收到,并保证消息传送的靠谱性。

可扩展和高性能

虽然一开始的小规模操作很简单,但当越来越多人用的时候,难度就上来了。这个模块要能随时加大规模,不仅能应对小应用,还能处理大公司的大流量需求。

简单说,这个通信模块既要简单易用,又要能扩展功能。同时也得稳定、不过于复杂,并随时准备上线。细致的设计和异步处理消息是实现这个目标的关键。

6、总结

通信模块就像是人和机器之间的翻译员。人与人之间的交流如此重要,同样,这个模块在人和AI之间的交互中也起着关键作用。随着AI越来越普及,好的通信模块可以帮助人们更自然、顺畅地使用这些智能系统。

0