使用MCP前请确保已将 HUSKYLENS 2 的固件更新至最新版本。固件更新教程请参考: 点击查看

使用MCP前,必须为HUSKYLENS 2 插入WiFi配件并连接WiFi,如何连接请查看上文 系统设置 - WiFi 部分

HUSKYLENS 2 支持 2024-11-05 版本的 MCP 协议。

滑动屏幕找到 MCP服务,点击进入,打开开关,开关打开后会显示一个URL http://192.168.xx.xx:3000/sse用于给客户端连接。

Interface Diagram

Interface Diagram

1. 获取大模型API KEY

此处以 火山引擎 火山方舟 Doubao为例,注册并打开 火山方舟

找到开通管理 - Doubao-Seed-1.6-vision - 开通服务,默认有500,000 tokens免费额度。

Interface Diagram

打开 API Key管理,创建API Key

Interface Diagram

点击API Key后的小眼睛,记录此API Key

Interface Diagram

2. 配置Cherry Studio

  1. 下载安装并打开Cherry Studio[下载链接](https://www.cherry-ai.com/download)

  2. Cherry Studio默认有两种布局,教程中全部使用如下布局,找到 设置 - 显示设置 ,导航栏位置设置为左侧

Interface Diagram

  1. 找到 模型服务 ,搜索框中输入火山引擎,在最右侧将开关打开

Interface Diagram

  1. 将上一步获取的API Key填入API 密钥 , API地址为https://ark.cn-beijing.volces.com/api/v3/

Interface Diagram

  1. 下滑到当前页面最后放,点击添加

Interface Diagram

  1. 模型ID 填doubao-seed-1-6-vision-250815,点击 添加模型

Interface Diagram

模型ID可能会更新,获取位置如下

Interface Diagram

  1. 回到当前页面最上方,点击检测 菜单中找到并选择doubao-seed-1-6-vision.

Interface Diagram

  1. 点击确认,等待检测通过,如果检测不通过请检查 API 密钥 和 API 地址

Interface Diagram

  1. 进入MCP设置,点击 添加 - 快速创建

Interface Diagram

  1. 名称可以随便填写,URL为HUSKYLENS 2屏幕中显示的URL(MCP教程部分最开头位置),点击保存。

Interface Diagram

  1. 确保HUSKYLENS 2 和 电脑连接了同一个WiFi,然后点击开启。开启成功后,会看到工具的位置已经有了4个工具,如果工具位置没有显示工具则说明启动失败,检查网络并确定HUSKYLENS 2开启了MCP服务后,重启Cherry Studio和HUSKYLENS 2

Interface Diagram

12.回到聊天界面,点击模型选择位置

Interface Diagram

  1. 搜索doubao-seed-1-6-vision , 并选择

Interface Diagram

  1. 聊天框下方找到小锤子的图标,选中HUSKYLENS 2的工具

Interface Diagram

  1. 接下来就可以正常聊天与二哈互动了

Interface Diagram

Interface Diagram

Interface Diagram

3. 二哈识图 2 MCP工具说明

3.1 模型管理

序号 工具名称 功能说明 使用说明 使用示例
1 查询模型列表 获取 HUSKYLENS 2 中可用的内置模型及已安装的自训练模型列表 无需提供其他信息。可在不知道模型名称或切换模型前使用 查看设备中有哪些可用的模型
2 切换模型 切换到指定的内置模型或已安装的自训练模型 必须说明要切换到的目标模型。如不确定名称,可先使用“查询模型列表” 切换到人脸识别
3 查询当前模型 查询 HUSKYLENS 2 当前正在运行的模型 无需提供其他信息 当前正在运行什么模型
4 同时运行多个模型 在设备上同时加载并运行多个模型 必须指定 2 个或 3 个要同时运行的模型。必须设置对应的算力比例,否则模型将不会识别目标 同时运行人脸识别和物体识别

3.2 多媒体

序号 工具名称 功能说明 使用说明 使用示例
5 拍照 使用 HUSKYLENS 2 拍摄照片 可指定分辨率:1920x1080、1280x720 或 640x480;不指定时默认使用 1280x720 拍一张照片
6 截屏 截取 HUSKYLENS 2 当前屏幕画面 无需提供其他信息 截取当前屏幕
7 播放音乐* 播放设备中的 MP3 音频文件 必须说明要播放的文件名。播放音量可选,范围为 0~100,默认值为 100。这里设置的是多媒体播放音量,不会修改设备的系统音量 播放welcome.mp3,音量设为 80
8 开始录音* 开始录制音频,并保存为 MP3 文件 必须说明录音时长(秒)。可指定文件名,不指定时自动生成文件名 录制10 秒音频,保存为meeting.mp3
9 停止录音* 提前停止当前正在进行的录音 无需提供其他信息,应在开始录音后使用 停止录音

3.3 识别与学习

序号 工具名称 功能说明 使用说明 使用示例
10 获取识别结果 获取当前模型的实时识别结果,包括图像数据、目标位置和识别标签 当前需要有模型在运行 你看到了什么
11 遗忘已学习 ID 遗忘当前或指定模型已经学习的 ID 可指定要遗忘已学习 ID 的模型;未指定时,默认遗忘当前运行模型中已学习的 ID 遗忘已学习的 ID
12 学习指定对象 让模型学习画面中的目标对象 可通过上下、左右等方位描述目标的大致位置 学习画面中的人脸。
学习画面中最左边的人
13 为对象命名 为已经学习的对象设置名称 必须说明对象 ID 和名称 将ID 1的人脸命名为小明

3.4 自动任务

序号 工具名称 功能说明 使用说明 使用示例
14 创建自动任务* 创建满足指定条件时自动执行的任务 必须同时说明触发条件和触发后执行的操作 看到小明时,执行拍照

3.5 屏幕绘制

序号 工具名称 功能说明 使用说明 使用示例
15 绘制文字* 在 HUSKYLENS 2 屏幕的指定位置绘制文字 文字内容为必填项;坐标、字号和颜色可按需指定。支持的字号为 20、24、26、27、28、32、36、40、48 在屏幕左上角写欢迎使用
16 绘制矩形* 在屏幕指定位置绘制矩形框 可按需指定坐标、宽度、高度、线宽和颜色 在坐标(40, 40)处绘制一个宽 200、高 120的矩形框
17 绘制唯一矩形* 在屏幕上绘制唯一矩形框 可按需指定坐标、宽度、高度、线宽和颜色,适合只保留一个突出显示框的场景 绘制唯一矩形框:坐标(40, 40),大小200×120,线宽 4
18 清除文字* 清除屏幕上通过绘制功能添加的全部文字 无需提供其他信息 清除屏幕上绘制的所有文字
19 清除矩形* 清除屏幕上通过绘制功能添加的全部矩形框 无需提供其他信息 清除屏幕上绘制的所有矩形框

3.6 知识库

序号 工具名称 功能说明 使用说明 使用示例
20 导出模型 将指定模型的当前配置和已学习内容导出到知识库 必须说明模型和目标知识库编号 将人脸识别的当前配置保存到知识库 1
21 导入模型 从知识库导入模型配置,并加载到当前工作区 必须说明要加载的知识库编号 加载知识库 1

3.7 多模型运行

序号 工具名称 功能说明 使用说明 使用示例
22 同时运行多个模型 在设备上同时加载并运行多个模型 必须指定 2 个或 3 个要同时运行的模型。必须设置对应的算力比例,否则模型将不会识别目标 同时运行人脸识别和物体识别,并将两个模型的算力比例设置为1:2

3.8 模型参数

序号 工具名称 功能说明 使用说明 使用示例
23 查看模型参数 获取指定模型当前可用的参数及参数值 可指定要查看的模型;未指定时,默认查看当前模型。建议在修改参数前先使用此功能 查看当前模型的参数
24 设置模型参数 修改指定模型的参数 必须说明要修改的参数和值;目标模型可选,未指定时默认修改当前模型。参数名称和值类型应以“查看模型参数”的结果为准 把人脸识别的识别阈值设置为 0.5、检测阈值设置为 0.6,并打开多人脸加速

3.9 设备控制

序号 工具名称 功能说明 使用说明 使用示例
25 设置屏幕亮度 调整设备屏幕背光亮度 必须说明亮度值,范围为 0~100 将屏幕亮度设置为70
26 查看屏幕亮度 获取设备当前的屏幕背光亮度 无需提供其他信息 当前屏幕亮度是多少
27 设置系统音量 调整设备的系统音量 必须说明音量值,范围为 0~100,并且只能使用 10 的倍数 将系统音量设置为60
28 查看系统音量 获取设备当前的系统音量 无需提供其他信息 当前系统音量是多少
29 设置补光灯亮度 调整设备补光灯的亮度 必须说明亮度值,范围为 0~100 将补光灯亮度设置为80
30 查看补光灯状态 获取补光灯当前的亮度和开关状态 无需提供其他信息 查看补光灯当前的亮度和开关状态

* 星号标记的工具,在小智 AI 中禁用