HUSKYLENS 2 小智AI教程
1. 功能介绍
小智AI是HUSKYLENS 2推出的联网智能语音助手。只需为HUSKYLENS 2安装WiFi模块并连接网络,即可通过语音与HUSKYLENS 2的小智智能体进行实时对话。
小智AI的核心亮点在于通过MCP(Model Context Protocol)协议,直接调用HUSKYLENS 2内置的多种AI模型和工具,包括人脸识别、物体识别、物体追踪、颜色识别、手势识别、姿态识别、车牌识别、OCR文字识别、自学习分类模型和用户自行训练部署到HUSKYLENS 2中的任意模型等。用户只需用语音发出指令,小智AI便会自动调用对应的模型进行识别、学习等任务,无需手动切换功能或编写代码。
2. 准备材料
- 硬件
- HUSKYLENS 2 × 1
- HUSKYLENS 2 WiFi模块 × 1
- USB数据线(Type-C接口) × 1
3. 启动并配置小智AI
注意:要使用小智AI功能,请务必将HUSKYLENS 2固件更新到最新版本。固件更新教程请参阅:点击此处查看
3.1 安装WiFi模块并连接网络
使用USB数据线为HUSKYLENS 2供电,等待界面亮起,开机成功。
使用小智AI功能前,需要先为HUSKYLENS 2安装WiFi模块并连接网络。按照教程完成网络配置。
WiFi连接详细教程请参阅:点击此处查看
联网成功后,在HUSKYLENS 2的菜单页面找到"小智AI",点击进入。
3.2 启动小智AI
进入小智AI功能后,点击下方的开关按钮,启动小智AI。
启动成功后,第一次使用小智AI时需要获取激活码,通过激活码完成设备绑定。绑定后,以后通过唤醒词“你好,小哈”,即可唤醒HUSKYLENS 2的小智AI,直接与其对话交流。
通过唤醒词“你好,小哈”,唤醒HUSKYLENS 2 的小智AI,获取激活码。
如下,屏幕上会显示一串激活码,如下图所示。请记下或保留此激活码,后续绑定设备时需要使用。
提示:如果未能成功激活、没有出现激活码,请检查HUSKYLENS 2是否已成功连接WiFi网络,确认后再重新进入小智AI功能。
3.3 登录小智控制平台
接下来需要使用电脑或手机浏览器完成后续操作。请按以下步骤操作:
- 打开电脑或手机的浏览器。
- 在地址栏中输入
xiaozhi.me,进入小智控制平台。
- 点击页面中的"进入控制台"。首次登录需要输入手机号码,获取短信验证码后完成登录。
3.4 绑定设备
首次使用HUSKYLENS 2的小智AI功能时,需要将设备与您的账号进行绑定。请在小智控制台中输入HUSKYLENS 2屏幕上显示的激活码,完成设备绑定。
提示:绑定只需操作一次。后续使用时,直接在HUSKYLENS 2中进入小智AI功能并开启开关,即可自动连接,无需再次绑定。
绑定成功后,控制台的设备列表中将出现您的HUSKYLENS 2设备。此时,就可以直接与HUSKYLENS 2小智AI进行语音对话了!
4. HUSKYLENS 2 小智使用示例
按照上述教程启动小智AI后,HUSKYLENS 2屏幕上会出现以下图标,表示小智AI已在后台运行中。
4.1 唤醒小智AI
使用唤醒词 "你好,小哈" 即可唤醒HUSKYLENS 2的小智助手,进入对话页面。
注意:HUSKYLENS 2小智AI的唤醒词目前仅支持"你好,小哈"。
4.2 基础对话与问答
唤醒后,您就可以与HUSKYLENS 2的小智AI进行语音对话了。小智AI通过知识库与联网搜索能力,可以回答各类问题,例如:
- "今天天气怎么样"
- "告诉我今天的新闻"
4.3 切换视觉识别模型
除了基础的聊天问答,您还可以通过语音让小智AI调用HUSKYLENS 2内置的各种AI视觉模型。小智AI支持切换到HUSKYLENS 2中的任意模型(包括出厂内置模型和用户自行部署的模型)。
例如,对小智AI说:"切换到人脸识别",即可自动切换至人脸识别模型。
4.4 获取视觉识别结果
进入某个视觉识别功能后,小智AI不仅能运行模型完成识别任务,还能进行图片语义理解,用自然语言告诉您当前画面中有什么。
例如,询问:"告诉我你看到了什么",小智AI会描述镜头捕捉到的内容。
4.5 语音学习与命名
您可以通过小智AI学习当前画面中的目标对象,并为其设置自定义名称。整个过程无需手动操作HUSKYLENS 2的按键。
例如,在人脸识别模式下,将摄像头对准某个人脸,说:"学习当前人脸并命名为小智",小智AI会自动完成学习并保存名称。
4.6 查询识别结果
学习完毕后,您可以让小智AI播报当前的识别结果。例如,当画面中同时有一张已学习的人脸和一张未学习的人脸时,询问:"告诉我当前人脸识别的结果",小智AI会准确告知识别到的人脸数量,以及已学习人脸的名称。
4.7 指定多模型并联
除了单独运行某一个模型外,您还可以通过小智AI进入HUSKYLENS 2的多算法模式,同时加载多个模型并分配算力比例。
例如,说:"切换到人脸识别和手势识别,将算力配比为1:1",即可同时运行多个模型。多模型并联相关功能介绍请参考教程:[点击此处,进行查看]
5. HUSKYLENS 2 小智AI MCP 工具总览
除了上述使用示例展示的功能,小智AI中的MCP工具还继承了HUSKYLENS 2中的其他功能,以下表格汇总了小智AI可调用的所有MCP工具,您可以参考对话示例,通过相关对话调用指定工具
说明:日常对话与联网查询(如知识问答、信息查询等)属于小智AI的基础能力,无需切换模型,直接语音提问即可,未列入下表。
5.1 模型管理
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 1 | 查询模型列表 | 获取 HUSKYLENS 2 中可用的内置模型及已安装的自训练模型列表 | 无需提供其他信息。可在不知道模型名称或切换模型前使用 | 查看设备中有哪些可用的模型 |
| 2 | 切换模型 | 切换到指定的内置模型或已安装的自训练模型 | 必须说明要切换到的目标模型。如不确定名称,可先使用“查询模型列表” | 切换到人脸识别 |
| 3 | 查询当前模型 | 查询 HUSKYLENS 2 当前正在运行的模型 | 无需提供其他信息 | 当前正在运行什么模型 |
5.2 多媒体
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 4 | 拍照 | 使用 HUSKYLENS 2 拍摄照片 | 可指定分辨率:1920x1080、1280x720 或 640x480;不指定时默认使用 1280x720 |
拍一张照片 |
| 5 | 截屏 | 截取 HUSKYLENS 2 当前屏幕画面 | 无需提供其他信息 | 截取当前屏幕 |
5.3 识别与学习
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 6 | 获取识别结果 | 获取当前模型的实时识别结果,包括图像数据、目标位置和识别标签 | 当前需要有模型在运行 | 你看到了什么 |
| 7 | 遗忘已学习 ID | 遗忘当前或指定模型已经学习的 ID | 可指定要遗忘已学习 ID 的模型;未指定时,默认遗忘当前运行模型中已学习的 ID | 遗忘已学习的 ID |
| 8 | 学习指定对象 | 让模型学习画面中的目标对象 | 可通过上下、左右等方位描述目标的大致位置 | 学习画面中的人脸。 学习画面中 最左边的人 |
| 9 | 为对象命名 | 为已经学习的对象设置名称 | 必须说明对象 ID 和名称 | 将ID 1的人脸命名为小明 |
5.4 导出与导入模型
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 10 | 导出模型 | 将指定模型的当前配置和已学习内容导出到知识库 | 必须说明模型和目标知识库编号 | 将人脸识别的当前配置保存到知识库 1 |
| 11 | 导入模型 | 从知识库导入模型配置,并加载到当前工作区 | 必须说明要加载的知识库编号 | 加载知识库 1 |
5.5 多模型并行
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 12 | 同时运行多个模型 | 在设备上同时加载并运行多个模型 | 必须指定 2 个或 3 个要同时运行的模型。必须设置对应的算力比例,否则模型将不会识别目标 | 同时运行人脸识别和物体识别,并将两个模型的算力比例设置为1:2 |
| 13 | 设置模型算力比例 | 调整当前同时运行的多个模型之间的算力分配比例 | 必须按当前模型的运行顺序提供对应比例,比例数量必须与正在运行的模型数量一致;数值越大,分配的算力越多 | 将当前两个模型的算力比例设置为1:2 |
5.6 模型参数
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 14 | 查看模型参数 | 获取指定模型当前可用的参数及参数值 | 可指定要查看的模型;未指定时,默认查看当前模型。建议在修改参数前先使用此功能 | 查看当前模型的参数 |
| 15 | 设置模型参数 | 修改指定模型的参数 | 必须说明要修改的参数和值;目标模型可选,未指定时默认修改当前模型。参数名称和值类型应以“查看模型参数”的结果为准 | 把人脸识别的识别阈值设置为 0.5、检测阈值设置为 0.6,并打开多人脸加速 |
5.7 设备控制
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 16 | 设置屏幕亮度 | 调整设备屏幕背光亮度 | 必须说明亮度值,范围为 0~100 | 将屏幕亮度设置为70 |
| 17 | 查看屏幕亮度 | 获取设备当前的屏幕背光亮度 | 无需提供其他信息 | 当前屏幕亮度是多少 |
| 18 | 设置系统音量 | 调整设备的系统音量 | 必须说明音量值,范围为 0~100,并且只能使用 10 的倍数 | 将系统音量设置为60 |
| 19 | 查看系统音量 | 获取设备当前的系统音量 | 无需提供其他信息 | 当前系统音量是多少 |
| 20 | 设置补光灯亮度 | 调整设备补光灯的亮度 | 必须说明亮度值,范围为 0~100 | 将补光灯亮度设置为80 |
| 21 | 查看补光灯状态 | 获取补光灯当前的亮度和开关状态 | 无需提供其他信息 | 查看补光灯当前的亮度和开关状态 |
6. 小智AI 个性化配置
关闭小智AI的聊天窗口
在HUSKYLENS 2的小智AI功能中,可以通过开关设置开启或关闭小智聊天窗口,如果关闭聊天窗口,仍能在开启小智AI功能时,通过唤醒词唤醒小智AI并与其聊天对话,只是对话界面不再展示。以避免遮挡HUSKYLENS 2的画面。
在小智控制台设置设备名称
当有多个小智智能体设备时,在小智控制台,可通过以下方式设置每个智能体的名称方便管理多设备。
设置个性化小智智能体
在小智控制台,选择对应小智智能体,点击“配置”,可以设置对话语言、音色、智能体角色等相关参数。