Gravity: 二哈识图 2

二哈识图 2 使用教程 wiki

1.产品简介

HUSKYLENS 2 (二哈识图 2) 是一款简单易用、玩法多样的AI视觉传感器,采用6TOPS算力专用AI芯片,预置人脸识别、目标检测、物体分类、姿态识别、实例分割等20余种开机即用的AI模型,同时,用户还可部署自行训练的模型,教会二哈识图识别任意目标物体。板载的UART / I2C端口,可以与主流控制器Arduino、micro:bit、ESP32、Raspberry Pi等开源硬件无缝连接,被广泛应用于创客、AI教育、STEAM教育和交互艺术领域。

2.技术规格

2.1 技术参数

名称 参数说明 名称 参数说明
处理器 Kendryte K230 双核 1.6GHz 算力 6 TOPS
内存 1GB LPDDR4 硬盘 8GB EMMC
屏幕 2.4 寸 640×480 IPS
全贴合电容触摸
摄像头 GC2093 200W 像素 1/2.9” 60FPS
麦克风 电容硅麦克风 扬声器 1W 音腔喇叭
其他器件 按键 ×1
RGB 灯 ×1
补光灯 ×2
接口 Type-C ×1
4Pin Gravity ×1
TF 卡槽 ×1
尺寸 70 × 58 × 19 mm 重量 90g(无包装)
工作电压 3.3–5V 功耗 1.5–3W
WiFi网卡 AIC8800D40L 2.4GHz(外置)
内置模型 人脸检测、人脸识别、人脸五官检测
物体识别、物体追踪、颜色识别
物体分类、自学习分类、实例分割
手掌检测、手掌关键点检测、手势识别
人体检测、人体关键点检测、姿态识别
车牌识别、文字识别、巡线追踪
表情识别、注视方向检测、人脸朝向检测
标签识别、二维码识别、条形码识别、跌倒检测
内置应用 照相机、录像机、实时图传
MCP 服务、模型安装

2.2硬件说明

Interface Diagram

3.快速使用

使用数据线插入HUSKYLENS 2 的Type-C接口,另一端连接到电脑接口或者适配电源,等待HUSKYLENS 2屏幕亮起,表示供电成功,HUSKYLENS 2开机。

Interface Diagram

HUSKYLENS 2采用触屏使用的方式,出厂语言默认为英文。首先,我们可以将系统语言设置成自己想要的语言(支持英文,中文简体 和中文繁体)。手指触摸HUSKYLENS 2屏幕,左右滑动,找到'System Settings'(系统设置 ) 图标。

Interface Diagram

点击进入'System Settings',手指滑动屏幕,下滑至底部找到 'Language' 选项。点击'Language',进入设置语言界面。

Interface Diagram

点击自己想要的语言选项。之后,系统会切换语言并自动返回至菜单页面,如下图是切换为中文简体的示意图。

Interface Diagram

为了降低功耗,HUSKYLENS 2设置了自动熄屏功能。HUSKYLENS 2启动后,如果未启动模型或屏幕画面未显示摄像头画面,HUSKYLENS 2经过一定时间会自动熄屏,固定熄屏时间为5分钟。此时再次触屏点击HUSKYLENS 2的屏幕或按下A键,即可点亮并显示菜单。在选择某一视觉识别功能后,HUSKYLENS 2会启动模型,不会自动熄屏。

在任意状态下双击A键可以截屏,截屏的图片会保存在HUSKYLENS 2的U盘系统中,将HUSKYLENS 2与电脑连接后即可在电脑中弹出HUSKYLENS 2的U盘,截屏存储路径为Huskylens\storage\screenshot

完成切换语言后,接下来就可以体验HUSKYLENS 2的视觉识别功能啦!每种功能的详细使用教程请见下方功能说明。

4.功能说明

以下视觉识别功能说明均基于 HUSKYLENS 2 固件 1.0 版本。

当前最新系统版本为1.1.5,找到系统设置 - 设备信息,可以看到当前的系统版本,建议更新到最新版本体验功能。更新教程:点击跳转

Interface Diagram

4.1物体识别

4.1.1物体识别介绍

HUSKYLENS 2的物体识别功能可识别80种固定类别的物体,检测时可自动框出目标物体并显示名称及置信度(如“剪刀 19%”)。

Interface Diagram

此目标检测模型基于MS COCO80数据集训练,识别时可能会因为实际物体和该模型学习过的数据有一定差异,导致置信度较低。(置信度是模型在当前输入条件下对预测结果的“确定程度”指标。表示模型认为目标属于某一类别的相对可信度)
本功能是生活中常见物体的通用识别,无法分辨同类物体间的不同,例如:只能识别出“猫”,但不能识别出猫的品种。如需分辨同类物体,可使用"自学习分类"功能或自训练目标检测模型。
可识别的物体如下:

Interface Diagram

4.1.2物体识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2的物体识别功能识别出画面中的物体以及学习指定物体。

4.1.2.1选择物体识别功能

给HUSKYLENS 2供电,启动成功后,找到并点击“物体识别”功能。

Interface Diagram

4.1.2.2观察物体识别效果

将HUSKYLENS 2“看”向可识别的物体,观察HUSKYLENS 2的屏幕,画面中所有可识别的物体将被白色方框框出,并显示对应物体名称及置信度。在机器学习中,置信度指的是模型对自己预测结果的“确定程度", 比如"苹果 26%",表示在物体识别功能下模型认为当前画面中的该物体有26%的可能性是“苹果”。

Interface Diagram

4.1.2.3学习物体观察结果

用户可针对80类中的任意物体进行学习,系统会按学习顺序分配唯一ID号,后续可通过ID号在项目程序中执行逻辑判断。

Interface Diagram

学习步骤:将HUSKYLENS 2“看”向目标物体(须是上述80个类别内的物体),白框框住物体后,调整HUSKYLENS 2“看”的角度,使屏幕中间的"十"字光标位在白框内,可按下HUSKYLENS 2右上角的A键,学习该物体。(如果目标物体没有被白框框住,请看本功能“参数设置”中的“检测阈值”,调低阈值再学习。)

Interface Diagram

学习完成后,如识别到已学习的物体,屏幕将以彩色方框框出该物体,并在物体上方显示“name: IDx 置信度” 。例如“苹果:ID1 64%”。学习更多物体,可依此类推。

Interface Diagram

4.1.3物体识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,可手动调节各个参数设置个性化的功能。以下参数均基于“物体识别”功能,因此,首先确保已进入“物体识别”功能,如图所示。

Interface Diagram

要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.1.3.1遗忘ID

如需遗忘前面学习过的所有物体:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”后,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2“看”向遗忘过的物体,屏幕出现白框并显示物体名字和置信度,但不会显示物体的ID号,说明“遗忘”完成。

Interface Diagram

4.1.3.2检测阈值

检测阈值控制物体识别的严格程度:阈值越小,识别出该物体所需的置信度分数越低;阈值越大,所需置信度分数越高。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.1.3.3NMS阈值

NMS阈值是视觉识别中的一个常见参数,用来筛选识别框。在视觉识别任务中,模型往往会在同一个识别目标周围预测出多个相互之间可能有重叠的识别框。如果不进行筛选就可能出现:一个目标物体被多个框同时框出,这些框相互之间有交叉重叠的现象,这时就可以通过调整NMS 阈值来去掉交叉重复的框,只保留最优的一个。
通俗来说,NMS 阈值决定了 两个框重叠多少才算“重复”。举例来讲:如果阈值低(比如 0.3):两个框只要有点重叠,就会认为是重复的,去掉其中一个。如果阈值高(比如 0.7):两个框重叠很多才会被认为是重复的,保留下来的框可能更多。
高阈值适合密集/遮挡场景,能抓住更多物体,但可能出现“一物多框”。低阈值适合清晰单物体场景,确保每物一框,但可能漏掉模糊物体。
在本功能的参数中,设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。

Interface Diagram

4.1.3.4恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.1.3.5导出模型

本参数可将当前设置的参数、学习的ID,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.1.3.6导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习物体也可以识别出二哈A学习过的物体显示ID和名称。
导入步骤:
第一步,将二哈A连接电脑,把导出的2个文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的2个文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到object-detection文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“物体识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json和repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做物体识别测试。以下左图为二哈B导入模型前的物体识别情况,右图为二哈B导入模型后的物体识别情况。

Interface Diagram

4.2人脸识别

4.2.1人脸识别介绍

本功能可以检测任何人脸的五官位置,识别、追踪学习过的多个人脸。

Interface Diagram

4.2.2人脸识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的人脸,学习、识别指定人脸。

4.2.2.1选择人脸识别功能

给HUSKYLENS 2供电,启动成功后,找到“人脸识别”功能。

Interface Diagram

4.2.2.2观察人脸检测效果

将HUSKYLENS 2对着有人脸的画面,检测到人脸时,屏幕上会用白色方框,框出该人脸,并用白色圆点标记出眼睛、鼻子、嘴角的位置。如果画面中出现多个人脸,将会出现多个方框。

Interface Diagram

4.2.2.3学习人脸,观察结果

对准要学习的某个人脸,人脸被白框框住后,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字位于白色框内,然后按下HUSKYLENS 2右上角A键,学习该人脸。

Interface Diagram

学习完成后,如识别到已学习的人脸,屏幕将以彩色方框框出人脸,并在人脸上方显示人名、ID号及置信度,例如“人脸:ID1 97%”。其中人名默认为“人脸”,设置人名请看本功能“参数设置”;"ID1"即学习的第一个人的脸;“97%”是指置信度为97%。 在机器学习中,置信度指的是模型对自己预测结果的“确定程度”,比如这里人脸ID197%的意思是模型“认为当前画面中的已学习的ID1人脸的可能性是 97%”

Interface Diagram

HUSKYLENS 2 RGB灯自动状态:HUSKYLENS 2背面设有一颗RGB灯,用于为摄像头前的用户提供提示,检测到人脸时亮蓝灯,学习人脸时亮黄灯,识别到已学习的人脸时亮绿灯。学习更多人脸,可依此类推。

Interface Diagram

4.2.3人脸识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“人脸识别”功能,因此,首先确保已进入“人脸识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.2.3.1遗忘ID

如需遗忘前面学习过的所有人脸:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准遗忘过的人脸,HUSKYLENS 2屏幕出现白框,未识别出该人脸,说明“遗忘”完成。

Interface Diagram

4.2.3.2多人脸加速

如果画面中同时出现3张及以上已学习的人脸时,开启此项可显著提高帧率,即画面更流畅,但此时的识别精度会下降,在制作门禁、打卡机等同一时间只会有一张人脸的项目中,建议关闭此选项。
设置步骤:点击屏幕下方“多人脸加速”,再点击其上方白色加速开关,如左图。开关打开后,变成蓝色,如右图。

Interface Diagram

4.2.3.3检测阈值

检测阈值控制人脸检测的敏感度:阈值越低,“认定是否为人脸”的标准越宽松(容易把不是人脸的误认为人脸,但很少漏掉真人脸);阈值越高,标准越严格(不容易误判,但可能漏检真实人脸)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.2.3.4识别阈值

识别阈值控制人脸识别的严格程度:阈值越低,匹配画面中的人物为某个已学习人脸的条件越宽松(容易误识别,但不容易漏识别);阈值越高,条件越严格(容易漏识别,但不容易误识别)。
设置步骤:点击“识别阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.2.3.5NMS阈值

NMS阈值是视觉识别中的一个常见参数,用来筛选识别框。在视觉识别任务中,模型往往会在同一个识别目标周围预测出多个相互之间可能有重叠的识别框。如果不进行筛选就可能出现:一个目标物体被多个框同时框出,这些框相互之间有交叉重叠的现象,这时就可以通过调整NMS 阈值来去掉交叉重复的框,只保留最优的一个。
通俗来说,NMS 阈值决定了 两个框重叠多少才算“重复”。举例来讲:如果阈值低(比如 0.3):两个框只要有点重叠,就会认为是重复的,去掉其中一个。如果阈值高(比如 0.7):两个框重叠很多才会被认为是重复的,保留下来的框可能更多。
高阈值适合密集/遮挡场景,能抓住更多识别目标,但可能出现“一物多框”。低阈值适合清晰单物体场景,确保每物一框,但可能漏掉模糊物体。
在本功能的参数中,设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。
设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。

Interface Diagram

4.2.3.6五官特征

当检测到人脸时,该参数可控制是否显示五官关键点,默认为显示。
设置步骤:点击“五官特征”,其上方开关为蓝色时,说明已打开,效果如左图;再点击开关,变成白色,效果如右图。

Interface Diagram

4.2.3.7设置名字

本参数可以给学习过的人脸设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.2.3.8显示名字

本参数可以控制识别到人脸时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到人脸时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到人脸时,不会显示名字,效果如右图。

Interface Diagram

4.2.3.9恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.2.3.10导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.2.3.11导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习人脸也可以识别出二哈A认识的人。
导入步骤:
第一步,将二哈A连接电脑,把导出的2个文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的2个文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到face-recognition文件夹,请先执行第三步,加载过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“人脸识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json和repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做人脸识别测试。以下左图为二哈B导入模型前的人脸识别情况,右图为二哈B导入模型后的人脸识别情况。

Interface Diagram

4.3物体追踪

4.3.1物体追踪介绍

本功能可以学习并追踪一个指定的物体,且每次只能追踪一个指定的物体。

Interface Diagram

4.3.2物体追踪使用说明

这一部分我们将了解如何使用Huskylens 2追踪指定的物体。

4.3.2.1选择物体追踪功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“物体追踪”功能。

Interface Diagram

4.3.2.2学习物体,观察追踪效果

学习目标物体:对准要追踪的某个物体,按照屏幕文字提示,触屏框选要追踪的物体,框选完成后,松手,即学习完成。

Interface Diagram

识别目标物体:如识别到已学习的目标物体,屏幕将以彩色方框框出该物体,并在上方显示目标物体名字、ID号及置信度,例如“track:ID1 66%”。其中名字默认为“track”,设置名字请看“参数设置”;"ID1"即学习的第一个目标物体;“66%”是指置信度为66%,置信度指的是模型对自己预测结果的“确定程度。"ID1 66%"即再物体追踪功能下,模型认为这个物体有66%的可能性是第一个学习的目标物体。

Interface Diagram

学习更多目标物体,可依此类推。

Interface Diagram

可识别物体的多个角度:学习过的目标物体以其他”姿势“出现在HUSKYLENS 2前,也可以被识别、追踪。例如上文中学习过”站立“的”胶棒“,而下图中各种姿势的“胶棒”,也能被识别、追踪。

Interface Diagram

可适应距离、角度变化:对着已学习的目标物体,拉远/拉近HUSKYLENS 2与目标物体的距离、变换HUSKYLENS 2看的角度,均可以继续追踪目标物体。

Interface Diagram

一次只追踪一个物体:若画面中同时出现两个学习过的物体,只能追踪先出现在画面中的。

Interface Diagram

4.3.2.3物体追踪参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“物体追踪”功能,因此,首先确保已进入“物体追踪”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.3.2.3.1遗忘ID

如需遗忘前面学习过的所有物体:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准遗忘过的物体,HUSKYLENS 2未框出该目标物体,说明“遗忘”完成。

Interface Diagram

4.3.2.3.2阈值

阈值控制识别目标物体的敏感度:阈值越低,“认定是否为已学习物体”的标准越宽松(容易把未学习的目标物体误认为某个已学习的物体,但很少漏识别);阈值越高,标准越严格(不容易误判,但可能漏识别已学习的目标物体)。
设置步骤:点击“阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.3.2.3.3设置名字

本参数可以给学习过的物体设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.3.2.3.4显示名字

本参数可以控制识别到已学习的物体时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到物体时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到物体时,不会显示名字,效果如右图。

Interface Diagram

4.3.2.3.5恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.3.2.3.6导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.3.2.3.7导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的物体、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到tracker文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“物体追踪”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习的物体是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.4颜色识别

4.4.1颜色识别介绍

本功能可以检测、学习、识别、追踪指定的颜色。

Interface Diagram

4.4.2颜色识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的指定颜色,并学习、识别该颜色。

4.4.2.1选择颜色识别功能

给HUSKYLENS 2供电,启动成功后,找到“颜色识别”功能。

Interface Diagram

4.4.2.2观察颜色检测效果

将HUSKYLENS 2中间的“十”字对着要检测的指定颜色,该色块会被白色方框框出。若画面中出现十分相近的色块,也会一并框出。注意:颜色检测只是检测(框出)“十”字所接触的颜色,而不是框出画面中所有的色块。

Interface Diagram

4.4.2.3学习颜色,观察结果

HUSKYLENS 2对准要学习的指定颜色,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字接触到要学习的颜色,然后按下HUSKYLENS 2右上角的A键,学习该颜色。

Interface Diagram

学习完成后,如识别到已学习的颜色,屏幕将以彩色方框框出该色块,并在色块上方显示颜色名字、ID号。例如“颜色:ID1”。其中颜色名默认为“颜色”,设置颜色名字请看“参数设置”,学习更多颜色,可依此类推。

Interface Diagram

4.4.3颜色识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“颜色识别”功能,因此,首先确保已进入“颜色识别”功能,如图所示。

Interface Diagram

要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.4.3.1遗忘ID

如需遗忘前面学习过的所有颜色:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”后,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2屏幕中间的“十”字对准遗忘过的颜色,屏幕出现白框,未识别出该颜色,说明“遗忘”完成。

Interface Diagram

4.4.3.2色块面积阈值

在颜色识别任务中,色块面积阈值指的是我们设定一个“能被识别到为颜色色块的最小面积",只有面积大于色块面积阈值的色块才能被识别并框出,否则就会被忽略。
设置步骤:点击“色块面积阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。
效果如图:“十”字对准了下方小色块,此时,HUSKYLENS 2能够框出画面中所有和十字附近颜色相同的色块。左图中,阈值较小,所以框出了一大一小两个浅绿色块;右图中,阈值调大,此时只会检测大的浅绿色块,而忽略小的,因此只框出一个浅绿色块。

Interface Diagram

4.4.3.3颜色容差

在 HUSKYLENS 2 的颜色识别功能中,默认要识别的目标颜色由十字光标所接触的颜色区域决定。HUSKYLENS 2 会在画面中自动框选出当前画面中所有与目标颜色相似的色块。
可以通过调节颜色容差来设置颜色识别的严格程度。当颜色容差的值越小,颜色识别越宽松,除了框出目标颜色,还会框出一些与其相近的颜色。颜色容差值越大,识别越严格,识别结果也更精准。(这里对颜色容差的解释仅针对HUSKYLENS 2
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.4.3.4设置名字

本参数可以给学习过的颜色设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.4.3.5显示名字

本参数可以控制识别到已学习的颜色时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到已学习的颜色时,会显示其名字,效果如左图;点击开关,开关变为白色,即关闭状态,识别到已学习颜色时,不会显示名字,效果如右图。

Interface Diagram

4.4.3.6恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.4.3.7导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.4.3.8导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习颜色也可以识别出二哈A认识的颜色。
导入步骤:
第一步,将二哈A连接电脑,把导出的2个文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的2个文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到color-recognition文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“颜色识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json和repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做颜色识别测试。以下左图为二哈B导入模型前的颜色识别情况,右图为二哈B导入模型后的颜色识别情况。

Interface Diagram

4.5自学习分类

4.5.1自学习分类介绍

本功能可以采集任意物体多角度图片、学习、识别任何自定义的物体。

Interface Diagram

4.5.2自学习分类使用说明

这一部分我们将了解如何使用HUSKYLENS 2学习分类指定的物体。

4.5.2.1选择自学习分类功能

给HUSKYLENS 2供电,启动成功后,找到“自学习分类”功能。

Interface Diagram

4.5.2.2学习物体,观察效果

学习物体:将HUSKYLENS 2对准要学习的某个物体,使物体在橙色框内,然后按下HUSKYLENS 2右上角A键,学习该物体。

Interface Diagram

识别物体:如识别到已学习的物体,屏幕将以彩色方框框出该物体,并在上方显示“name: IDx 置信度” ,例如“物体:ID1 91%”。其中name默认为“物体”,设置名字请看“参数设置”;"ID1"即学习的第一个物体;“91%”是指置信度为91%。置信度指的是模型对自己预测结果的“确定程度。ID1 91%"即在本功能下,模型认为这个物体有91%的可能性是自己学习过的ID为1的物体。

Interface Diagram

多角度学习物体:学习框内物体时,长按A键不松开,调整HUSKYLENS 2“看”的角度可持续多个角度学习该物体。学习完成后,对着可以识别出的物体再按学习键还可以继续学习。
多角度学习时会显示学习进度,如下图中,彩色方框上显示“学习中 38:ID1”,其中“38”意为该ID1物体已经学习38张图

Interface Diagram

4.5.3自学习分类参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“自学习分类”功能,因此,首先确保已进入“自学习分类”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.5.3.1遗忘ID

如需遗忘前面学习过的所有物体:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准遗忘过的物体,HUSKYLENS 2未框出该目标物体,说明“遗忘”完成。

Interface Diagram

4.5.3.2阈值

阈值控制识别物体的敏感度:阈值越低,“认定是否为已学习物体”的标准越宽松(容易把未学习的物体误认为某个已学习的物体,但很少漏识别);阈值越高,标准越严格(不容易误判,但可能漏识别已学习的物体)。
设置步骤:点击“阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.5.3.3设置名字

本参数可以给学习过的物体设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.5.3.4显示名字

本参数可以控制识别到已学习的物体时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到物体时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到物体时,不会显示名字,效果如右图。

Interface Diagram

4.5.3.5恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.5.3.6导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。
首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.5.3.7导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的物体、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到self-learning-classification文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“自学习分类”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习的物体是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.6手势识别

4.6.1手势识别介绍

本功能可以检测画面中的手掌与手掌的21个关键点,并描绘出手掌的各个关键点;可以学习、识别、追踪手势。21个关键点包含:手腕(1个)、每根手指的4个关节点(拇指、食指、中指、无名指、小指各4个,分别对应根部、第一节、第二节、指尖)。

Interface Diagram 1 Interface Diagram 2

4.6.2手势识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的手掌与关键点,学习、识别指定手势。

4.6.2.1选择手势识别功能

给HUSKYLENS 2供电,启动成功后,找到“手势识别”功能。

Interface Diagram

4.6.2.2观察手掌检测效果

将HUSKYLENS 2对着有手掌的画面,检测到手掌时,屏幕上会用白色方框,框出画面中的所有手掌,并用白色圆点标记出手掌上的21个关键点。

Interface Diagram

4.6.6.3学习手势,观察结果

对准要学习的某个手掌,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字位于白色框内,然后按下HUSKYLENS 2右上角A键,学习该手势。

Interface Diagram

学习完成后,如识别到已学习的手势,屏幕将以彩色方框框出该手势,并在上方显示手势名字、ID号及置信度,例如“手势:ID1 93%”。其中名字默认为“手势”,设置名字请看“参数设置”;"ID1"即学习的第一个手势;“93%”是指置信度,表示在手势识别功能下,模型认为识别到的目标手势属于某个手势的可能性。"ID1 93%"即模型认为这个手势有93%的可能性是ID1手势。学习更多手势,可依此类推。

Interface Diagram

多角度学习:学习手势时,可以长按A键,调整HUSKYLENS 2“看”的角度,对该手势进行多角度学习。多角度学习时会显示学习进度,如下图中,彩色方框上显示“学习中 33/40:ID1”,其中“33/40”意为该手势最多学习40张图,当前已经学习了33张图。

Interface Diagram

4.6.3手势识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“手势识别”功能,因此,首先确保已进入“手势识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.6.3.1遗忘ID

如需遗忘前面学习过的所有手势:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准之前学习过的手势,HUSKYLENS 2屏幕出现白框,未显示该手势的ID,说明“遗忘”完成。

Interface Diagram

4.6.3.2检测阈值

检测阈值控制手掌检测的敏感度:阈值越低,“认定是否为手掌”的标准越宽松(容易把不是手掌的误认为手掌,但很少漏掉真手掌);阈值越高,标准越严格(不容易误判,但可能漏检真实手掌)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.6.3.3识别阈值

“识别阈值”控制手势识别的严格程度:阈值越低,匹配画面中的手势为某个已学习手势的条件越宽松(容易误识别,但不容易漏识别);阈值越高,条件越严格(容易漏识别,但不容易误识别)。
设置步骤:点击“识别阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.6.3.4NMS阈值

NMS阈值是视觉识别中的一个常见参数,用来筛选识别框。在视觉识别任务中,模型往往会在同一个识别目标周围预测出多个相互之间可能有重叠的识别框。如果不进行筛选就可能出现:一个目标物体被多个框同时框出,这些框相互之间有交叉重叠的现象,这时就可以通过调整NMS 阈值来去掉交叉重复的框,只保留最优的一个。
通俗来说,NMS 阈值决定了 两个框重叠多少才算“重复”。举例来讲:如果阈值低(比如 0.3):两个框只要有点重叠,就会认为是重复的,去掉其中一个。如果阈值高(比如 0.7):两个框重叠很多才会被认为是重复的,保留下来的框可能更多。
高阈值适合密集/遮挡场景,能抓住更多手掌(手势),但可能出现“一掌多框”。低阈值适合清晰单手掌场景,确保每掌一框,但可能漏掉模糊手掌。
设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。

Interface Diagram

4.6.3.5设置名字

本参数可以给学习过的手势设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.6.3.6显示名字

本参数可以控制识别到手势时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到手势时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到手势时,不会显示名字,效果如右图。

Interface Diagram

4.6.3.7恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.6.3.8导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。
首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.6.3.9导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的手势、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到hand-recognition文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“手势识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习手势是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.7姿态识别

4.7.1姿态识别介绍

本功能可以检测画面中的人体,识别并描绘出人体的17个关键点,进而学习、识别、追踪人体的不同姿态。本功能可以同时检测多个人体、检测人体各个角度,还可以一定程度上预测画面中被遮挡的人体关节点。17个关键点包括鼻子、双眼、双耳、双肩、双肘、双腕、双胯、双膝和双踝等部位。

Interface Diagram

4.7.2姿态识别使用说明

这一部分我们将了解如何使用Huskylens 2检测画面中的人体,学习、识别指定姿势。

4.7.2.1选择姿态识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“姿态识别”功能。

Interface Diagram

4.7.2.2观察人体检测效果

将HUSKYLENS 2对着有人体的画面,检测到人体时,屏幕上会用白色方框,框出画面中的所有人体,并用圆点标记出人体上的17个关键点。

Interface Diagram

4.7.2.3学习姿态,观察结果

对准要学习的某个人体姿势,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字位于白色框内,然后按下HUSKYLENS 2右上角A键,学习该姿态。

Interface Diagram

学习完成后,如识别到已学习的姿态,屏幕将以彩色方框框出该姿态,并在上方显示“name: IDx 90%” ,例如“姿势:ID1 85%”,其中name默认为“姿势”(设置名字请看“参数设置”);"ID1"即学习的第一个姿势;“85%”是指置信度,表示在姿态识别功能下,模型认为识别到的目标姿势属于某个已学习姿势的可能性。"ID1 85%"即模型认为这个姿势有85%的可能性是ID1姿势。学习更多姿势,可依此类推。

Interface Diagram

多角度学习:学习姿势时,可以长按A键,调整HUSKYLENS 2“看”的角度,对该姿势进行多角度学习。多角度学习时会显示学习进度,如下图中,彩色方框上显示“学习中 25:ID1”,其中“25”意为该ID1姿势已经学习25张图。

Interface Diagram

4.7.3姿态识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“姿态识别”功能,因此,首先确保已进入“姿势识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.7.3.1遗忘ID

如需遗忘前面学习过的所有姿势:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准遗忘过的姿势,HUSKYLENS 2屏幕出现白框,未识别出该姿势ID,说明“遗忘”完成。

Interface Diagram

4.7.3.2检测阈值

检测阈值控制人体检测的敏感度:阈值越低,“认定是否为人体”的标准越宽松(容易把不是人体的误认为人体,但很少漏掉真人体);阈值越高,标准越严格(不容易误判,但可能漏检真实人体)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.7.3.3识别阈值

识别阈值控制姿态识别的严格程度:阈值越低,匹配画面中的姿势为某个已学习姿势的条件越宽松(容易误识别,但不容易漏识别);阈值越高,条件越严格(容易漏识别,但不容易误识别)。
设置步骤:点击“识别阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.7.3.4NMS阈值

NMS阈值是视觉识别中的一个常见参数,用来筛选识别框。在视觉识别任务中,模型往往会在同一个识别目标周围预测出多个相互之间可能有重叠的识别框。如果不进行筛选就可能出现:一个目标物体被多个框同时框出,这些框相互之间有交叉重叠的现象,这时就可以通过调整NMS 阈值来去掉交叉重复的框,只保留最优的一个。
通俗来说,NMS 阈值决定了 两个框重叠多少才算“重复”。举例来讲:如果阈值低(比如 0.3):两个框只要有点重叠,就会认为是重复的,去掉其中一个。如果阈值高(比如 0.7):两个框重叠很多才会被认为是重复的,保留下来的框可能更多。
高阈值适合密集/遮挡场景,能抓住更多人体,但可能出现“一人多框”。低阈值适合清晰单人场景,确保每人一框,但可能漏掉模糊人体。
设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,框住的人少,右滑变大,框住的人多。

Interface Diagram

4.7.3.5设置名字

本参数可以给学习过的姿势设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。

Interface Diagram

4.7.3.6显示名字

本参数可以控制识别到姿势时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到已学习姿势时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到已学习姿势时,不会显示名字,效果如右图。

Interface Diagram

4.7.3.7恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.7.3.8导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.7.3.9导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的姿势、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到pose-recognition文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“姿态识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习姿势是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.8车牌识别

4.8.1车牌识别介绍

本功能可以检测画面中的车牌,显示车牌信息,可以学习、识别、追踪指定车牌。

Interface Diagram

4.8.2车牌识别使用说明

这一部分我们将了解如何使用Huskylens 2检测画面中的车牌,学习、识别指定车牌。

4.8.2.1选择车牌识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“车牌识别”功能。

Interface Diagram

4.8.2.2观察车牌检测效果

将HUSKYLENS 2对着有车牌的画面,检测到车牌时,屏幕上会用白色方框,框出画面中的所有车牌,并显示车牌信息。

Interface Diagram

4.8.2.2学习车牌,观察结果

对准要学习的某个车牌,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字位于白色框内,然后按下HUSKYLENS 2右上角A键,学习该车牌。

Interface Diagram

学习完成后,如识别到已学习的车牌,屏幕将以彩色方框框出该车牌,并显示“name: ID数字编号” ,例如"鄂J72172:ID1", name默认是车牌内容,"ID1"即学习的第一个车牌。学习更多车牌,可依此类推。

Interface Diagram

4.8.3车牌识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“车牌识别”功能,因此,首先确保已进入“车牌识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.8.3.1遗忘ID

如需遗忘前面学习过的所有车牌:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2对准遗忘过的车牌,HUSKYLENS 2屏幕出现白框,但未识别出该车牌ID,说明“遗忘”完成。

Interface Diagram

4.8.3.2检测阈值

检测阈值控制车牌检测的敏感度:阈值越低,“认定是否为车牌”的标准越宽松(容易把不是车牌的误认为车牌,但很少漏掉真车牌);阈值越高,标准越严格(不容易误判,但可能漏检真实车牌)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.8.3.3设置名字

本参数可以给学习过的车牌设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。
注意:设置名字后识别框左上角将不会显示识别出的车牌信息,而是显示设置的名字,若想重新显示车牌信息需要遗忘ID。

Interface Diagram

4.8.3.4显示名字

本参数可以控制识别到车牌时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到车牌时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到时,不会显示名字,效果如右图。

Interface Diagram

4.8.3.5恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.8.3.6导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.8.3.7导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的车牌、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到 licence-recognition文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“车牌识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习车牌是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.9光学字符识别

4.9.1光学字符识别介绍

光学字符是指通过光学成像设备(如相机、扫描仪)呈现在图像上的文字。光学字符识别(OCR) 是一种将这些图像中的文字自动识别并转换为可编辑、可搜索的电子文本的技术,使得纸质文档或图片中的文字信息能够被计算机理解和利用。
本功能下,HUSKYLENS 2可以检测画面中的中英文字符并显示其内容,可以学习、识别追踪字符。
:在光学字符识别功能下,HUSKYLENS 2能检测出画面中所有文字块出现的区域并用方框圈出,但只识别离十字光标最近的一个文字块区域的内容并显示在方框左上角

Interface Diagram

4.9.2光学字符识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的文字,学习、识别十字光标所指的文字

4.9.2.1选择光学字符识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“光学字符识别”功能。

Interface Diagram

4.9.2.2观察光学字符检测效果

将HUSKYLENS 2对着有文字的画面,检测到文字时,屏幕上会用白色方框,框出画面中的文字。“十”字光标所指的识别框上会显示识别出文字。

Interface Diagram

4.9.2.3学习字符,观察结果

对准要学习的文字,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字光标位于白色框内,然后按下HUSKYLENS 2右上角A键,进行学习。

Interface Diagram

学习完成后,如识别到已学习的文字,屏幕将以彩色方框框出该文字,并在上方显示“name: IDx 90%” ,name默认为文字的内容,例如“春眠不觉晓:ID1 100%”。"ID1"即第一个学习的文字;“100%”是指置信度,表示在光学字符识别功能下,模型认为当前摄像头画面中识别到的目标文字是某已学文字的可能性。"ID1 100%"即模型认为当前文字有100%的可能性是已学习过的ID为1文字。

Interface Diagram

4.9.3光学字符识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“光学字符识别”功能,因此,首先确保已进入“光学字符识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.9.3.1遗忘ID

如需遗忘前面学习过的所有文字:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2的“十”字光标对准曾经学习过但遗忘了的文字,HUSKYLENS 2屏幕出现白框,但未识别出该文字ID,说明“遗忘”完成。

Interface Diagram

4.9.3.2检测阈值

检测阈值控制字符检测的敏感度:阈值越低,“认定是否为文字”的标准越宽松(容易误框非文字信息,但不会漏框);阈值越高,标准越严格(不容易误框,但可能漏框文字)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.9.3.3识别阈值

识别阈值控制文字识别的严格程度:阈值越低,匹配画面中的文字为某已学习文字的条件越宽松(容易误识别,但不容易漏识别);阈值越高,条件越严格(容易漏识别,但不容易误识别)。
设置步骤:点击“识别阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.9.3.4设置名字

本参数可以给学习过的文字设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。
注意:设置名字后识别框左上角将不会显示识别出的文字信息,而是显示设置的名字,若想重新显示原文字信息需要遗忘ID。

Interface Diagram

4.9.3.5显示名字

本参数可以控制识别到文字时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到文字时,会显示其名字,效果如左图;点击开关,开关颜色变为白色,即关闭状态,识别到文字时,不会显示名字,效果如右图。

Interface Diagram

4.9.3.6恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID和名字,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.9.3.7导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.9.3.8导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数、重新学习就可以把二哈A已学习的文字、已调整的参数复制过来。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到optical-char-recognition文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“光学字符识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可查看二哈B与二哈A的各项参数、已学习文字是否一致。如下方左图为二哈B导入模型前识别状况,右图为导入后识别状况。

Interface Diagram

4.10巡线

4.10.1巡线功能介绍

在巡线功能下,HUSKYLENS 2可以在干净的背景中,检测出摄像头画面中与背景颜色差异明显的线条并使用不同颜色标出不同线条轨迹,可通过此功能实现视觉巡线等项目。

Interface Diagram

4.10.2巡线功能使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测线条。

4.10.2.1选择巡线功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“巡线”功能。

Interface Diagram

4.10.2.2观察检测结果

将HUSKYLENS 2对着干净背景中的明显线条,HUSKYLENS 2会用彩色线条标记出该线条。当HUSKYLENS 2不在线条上的时候,会有一条浅蓝色虚线指向线条的起点,预测进入巡线起点的路径。

Interface Diagram

4.11表情识别

4.11.1表情识别介绍

在表情识别功能下,HUSKYLENS 2能识别7种特定的表情:愤怒(ID为1)厌恶(ID为2)恐惧(ID为3)开心(ID为4)中性(ID为5)悲伤(ID为6)惊讶(ID为7)。以上表情已经在HUSKYLENS 2出厂时学习完毕,无需用户再次手动学习。

Interface Diagram

4.11.2表情识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2识别人物的7种特定表情。

4.11.2.1选择表情识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“表情识别”功能。

Interface Diagram

4.11.2.2观察表情识别结果

将HUSKYLENS 2对着有人脸的画面,检测到人脸时,屏幕上会用彩色方框,框出所有人脸,并在人脸上方显示该人脸的表情、ID号、置信度,如“开心:ID4 99%”,意味着在表情识别功能下,模型认为这个表情有99%的可能性是已学习过的ID为4的表情开心。

Interface Diagram

4.11.3表情识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“表情识别”功能,因此,首先确保已进入“表情识别”功能,如图所示。

Interface Diagram

选择要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.11.3.1检测阈值

检测阈值控制表情识别的敏感度:阈值越低,“识别为某个表情”所需的置信度分数越低(判断条件更宽松);阈值越高,所需的置信度分数越高(判断条件更严格)。
设置步骤:点击“检测阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大,效果如图。

Interface Diagram

4.11.3.2NMS阈值

NMS阈值是视觉识别中的一个常见参数,用来筛选识别框。在视觉识别任务中,模型往往会在同一个识别目标周围预测出多个相互之间可能有重叠的识别框。如果不进行筛选就可能出现:一个目标物被多个框框出,这些框相互之间有交叉重叠的现象,这时就可以通过调整NMS 阈值来去掉交叉重复的框,只保留最优的一个。
通俗来说,NMS 阈值决定了 两个框重叠多少才算“重复”。举例来讲:如果阈值低(比如 0.3):两个框只要有点重叠,就会认为是重复的,去掉其中一个。如果阈值高(比如 0.7):两个框重叠很多才会被认为是重复的,保留下来的框可能更多。
设置步骤:点击“NMS阈值”,其上方出现参数调节滑杆,左滑变小,右滑变大。

Interface Diagram

4.11.3.3恢复默认

本参数可将所有设置项恢复为默认状态,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.11.3.4导出模型

本参数可将当前设置的参数,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。
首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径可访问HUSKYLENS 2的内存,可查看到扩展名为.json的文件,扩展名前面的数字就是保存配置时选择的“模型号”。该文件可复制、粘贴到别处。

Interface Diagram

4.11.3.5导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新调整参数也可以与二哈A参数一致。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到face-emotion文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“表情识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。随后可查看二哈B与二哈A的各项参数是否一致。

Interface Diagram

4.12标签识别

4.12.1标签识别介绍

AprilTag 是一种视觉基准系统(Visual Fiducial System),由密歇根大学的 APRIL 实验室开发,由黑白相间的方形图案组成。每个标签包含唯一的 ID,广泛应用于增强现实(AR)、机器人导航、相机校准、无人机定位等领域。AprilTag 标签分为多个类型,每类标签具有不同的编码结构和容量。常见包括:TAG16H5、TAG25H7、TAG25H9、TAG36H10、TAG36H11、ARTOOLKIT。

在标签识别功能下,HUSKYLENS 2可以检测出四种类型的AprilTag标签:AprilTag 16h5、AprilTag 25h9 、AprilTag 36h10 、AprilTag 36h11,学习、识别、追踪指定的标签。

Interface Diagram

4.12.2标签识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的AprilTag标签,并学习、识别指定的AprilTag标签。

:标签识别功能下,HUSKYLENS 2默认设置识别的标签类型为APRIL_TAG36H11,可在参数Dict中手动设置要识别的其他标签类型。标签识别时实际标签类型要与参数Dict中设置的标签类型保持一致。

AprilTag 标签在线生成网站:https://www.2weima.com/aruco.html

4.12.2.1选择标签识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“标签识别”功能。

Interface Diagram

4.12.2.2观察标签检测效果

将HUSKYLENS 2“看”向含AprilTag标签的画面,画面中所有标签将被白色方框框出,方框上会显示标签内包含的信息。

Interface Diagram

4.12.2.2学习标签,观察结果

HUSKYLENS 2对准要学习的指定AprilTag标签,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字在白框内,然后按下HUSKYLENS 2右上角的A键,学习该标签。

Interface Diagram

学习完成后,如识别到已学习的AprilTag标签,屏幕将以彩色方框框出该标签,并在上方显示“name: IDx” ,name默认为标签内的信息。学习更多AprilTag标签,可依此类推。

Interface Diagram

4.12.3标签识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“标签识别”功能,因此,首先确保已进入“标签识别”功能,如图所示。

Interface Diagram

要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.12.3.1遗忘ID

如需遗忘前面学习过的所有AprilTag标签:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”后,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2屏幕中间的“十”字对准曾学习但已遗忘的标签,屏幕出现白框并显示标签内的信息,但不会显示其ID号,说明“遗忘”完成。

Interface Diagram

4.12.3.2Dict

使用标签识别功能时,需通过本参数选择要检测的AprilTag标签类型,目前支持以下四类标签:AprilTag 16h5、AprilTag 25h9 、AprilTag 36h10 、AprilTag 36h11。

标签识别时实际标签类型要与参数Dict中设置的标签类型保持一致。
如下图标签为“AprilTag 36h11”类型,若检测时实际标签类型与Dict中设置的目标标签类型不一致,HUSKYLENS 2则无法框出出画面中的标签。

Interface Diagram

4.12.3.3设置名字

本参数可以给学习过的AprilTag标签设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。
注意:设置名字后识别框左上角将不会显示识别出的标签信息,而是显示设置的名字,若想重新显示标签信息需要遗忘ID。

Interface Diagram

4.12.3.4显示名字

本参数可以控制识别到已学习的AprilTag标签时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到已学习的AprilTag标签时,会显示其名字,效果如左图;点击开关,开关变为白色,即关闭状态,识别到已学习AprilTag标签时,不会显示名字,效果如右图。

Interface Diagram

4.12.3.5恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.12.3.6导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.12.3.7导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习也可以识别出二哈A学习过的AprilTag标签是ID几。
导入步骤:
第一步,将二哈A连接电脑,把导出的2个文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的2个文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到apriltag文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“标签识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json和repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做标签识别测试。以下左图为二哈B导入模型前的标签识别情况,右图为二哈B导入模型后的标签识别情况。

Interface Diagram

4.13二维码识别

4.13.1二维码识别介绍

本功能可以检测、学习、识别、追踪二维码,可显示二维码内包含的信息,也可以为二维码命名。

Interface Diagram

4.13.2二维码识别使用说明

这一部分我们将了解如何使用Huskylens 2检测画面中的二维码,并学习、识别指定的二维码。

4.13.2.1选择二维码识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“二维码识别”功能。

Interface Diagram

4.13.2.2观察二维码检测效果

将HUSKYLENS 2“看”向含二维码的画面,画面中所有二维码将被白色方框框出,方框上会显示二维码内包含的信息,如下图中的二维码内包含的是网址信息。

Interface Diagram

4.13.2.3学习二维码,观察结果

HUSKYLENS 2对准要学习的二维码,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字在白框内,然后按下HUSKYLENS 2右上角的A键,学习该二维码。

Interface Diagram

学习完成后,如识别到已学习的二维码,屏幕将以彩色方框框出该二维码,并在上方显示二维码信息、ID号。例如“https://mc.dfrobot.com.cn/:ID1”。

Interface Diagram

4.13.3二维码识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“二维码识别”功能,因此,首先确保已进入“二维码识别”功能,如图所示。学习更多二维码,可依此类推。

Interface Diagram

要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.13.3.1遗忘ID

如需遗忘前面学习过的所有二维码:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”后,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2屏幕中间的“十”字对准遗忘过的二维码,屏幕出现白框并显示二维码内的信息,但不会显示其ID号,说明“遗忘”完成。

Interface Diagram

4.13.3.2设置名字

本参数可以给学习过的二维码设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。
注意:设置二维码名字后识别框左上角将不会显示二维码信息,而是显示设置的名字,若想重新显示二维码信息需要遗忘ID。

Interface Diagram

4.13.3.3显示名字

本参数可以控制识别到已学习的二维码时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到已学习的二维码时,会显示其名字,效果如左图;点击开关,开关变为白色,即关闭状态,识别到已学习二维码时,不会显示名字,效果如右图。

Interface Diagram

4.13.3.4恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.13.3.5导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径访问HUSKYLENS 2的内存,可查看到扩展名为.json和.bin两个模型相关文件,扩展名前面的数字就是保存配置时选择的“模型号”。2个文件均可复制、粘贴到别处。

Interface Diagram

4.13.3.6导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习也可以识别出二哈A学习过的二维码是ID几。
导入步骤:
第一步,将二哈A连接电脑,把导出的2个文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的2个文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到qrcode文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“二维码识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为config1.json和repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做二维码识别测试。以下左图为二哈B导入模型前的二维码识别情况,右图为二哈B导入模型后的二维码识别情况。

Interface Diagram

4.14条形码识别

4.14.1条形码识别介绍

本功能可以检测、学习、识别、追踪条形码,可显示条形码内包含的信息,也可以为条形码命名。

Interface Diagram

4.14.2条形码识别使用说明

这一部分我们将了解如何使用HUSKYLENS 2检测画面中的条形码,并学习、识别指定的条形码。

:条形码识别功能下,对于一些尺寸比较小的条形码,标准镜头的HUSKYLENS 2可能比较难以识别到。可使用条形码在线生成网站手动调整条形码的宽度和高度,对于一些宽高较大的条形码更容易被识别。
条形码在线生成网站:https://www.ecjson.com/barcode/

4.14.2.1选择条形码识别功能

给HUSKYLENS 2供电,启动成功后,滑动屏幕,找到“条形码识别”功能。

Interface Diagram

4.14.2.2观察条形码检测结果

将HUSKYLENS 2“看”向含条形码的画面,画面中所有条形码将被白色方框框出,方框上会显示条形码内包含的信息,如下图中的条形码内包含的是网址信息。

Interface Diagram

4.14.2.3学习条形码,观察结果

HUSKYLENS 2对准要学习的条形码,调整HUSKYLENS 2“看”的角度,使屏幕中间的“十”字在白框内,然后按下HUSKYLENS 2右上角的A键,学习该二维码。

Interface Diagram

学习完成后,如识别到已学习的条形码,屏幕将以彩色方框框出该条形码,并在上方显示“name: IDx ” , name默认为条形码内的信息,例如“https://mc.dfrobot.com.cn/:ID1”。 学习更多条形码,可依此类推。

Interface Diagram

4.14.3条形码识别参数设置

HUSKYLENS 2出厂的默认参数已满足基础功能使用需求,如需更细化的功能,可手动调节各个参数。以下参数均基于“条形码识别”功能,因此,首先确保已进入“条形码识别”功能,如图所示。

Interface Diagram

要修改的参数,可通过向左或向右滑动屏幕下方的参数文字进行选择。

Interface Diagram

4.14.3.1遗忘ID

如需遗忘前面学习过的所有条形码:第一步,点击屏幕上的“遗忘ID”;第二步,出现弹窗“遗忘全部ID和名字”后,点击“确认”。

Interface Diagram

此时,可将HUSKYLENS 2屏幕中间的“十”字对准遗忘过的条形码,屏幕出现白框并显示条形码内的信息,但不会显示其ID号,说明“遗忘”完成。

Interface Diagram

4.14.3.2设置名字

本参数可以给学习过的条形码设置名字,中英文均可。
设置步骤:点击“设置名字”,上下滑动左上角的数字,选择为哪个ID设置名字;点击屏幕上的键盘可设置名字,如左图;设置完毕需点击右下角√键保存,保存成功则右上角会显示绿色对勾标志。
注意:设置名字后识别框左上角将不会显示识别出的条形码信息,而是显示设置的名字,若想重新显示条形码信息需要遗忘ID。

Interface Diagram

4.14.3.3显示名字

本参数可以控制识别到已学习的条形码时,是否显示名字,默认为显示。
设置步骤:点击“显示名字”,其上方开关为蓝色,即打开状态,识别到已学习的条形码时,会显示其名字,效果如左图;点击开关,开关变为白色,即关闭状态,识别到已学习条形码时,不会显示名字,效果如右图。

Interface Diagram

4.14.3.4恢复默认

本参数可将所有设置项恢复为默认状态,并遗忘已学习的ID,但不清空导出的模型(关于导出模型请看下文)。
设置步骤:点击“恢复默认”,出现“恢复默认配置”弹窗后,点击“确认”。

Interface Diagram

4.14.3.5导出模型

本参数可将当前设置的参数、学习的ID、设置的名字,保存、导出到HUSKYLENS 2本地内存。适用于迁移参数至另一个HUSKYLENS 2等场景。此操作无需插TF卡。
导出步骤:点击“导出模型”,出现左图“保存配置到”弹窗时,上下滑动数字,选择保存为几号模型(共可保存5个模型),随后点击弹窗左下角的“确认”按钮以保存。确认后,自动导出,如右图。

Interface Diagram

查看导出的模型:弹窗“导出中”消失后,可以通过电脑查看导出的模型文件。 首先,将HUSKYLENS 2连接至电脑USB接口。

Interface Diagram

其次,通过电脑,根据下图路径访问HUSKYLENS 2的内存,可查看到扩展名为.bin的模型文件,扩展名前面的数字就是保存配置时选择的“模型号”。该文件可复制、粘贴到别处。

Interface Diagram

4.14.3.6导入模型

本参数可以将HUSKYLENS 2(以下称“二哈A”)导出的模型导入到另一个HUSKYLENS 2(以下称“二哈B”)上,以便二哈B不用重新学习也可以识别出二哈A学习过的条形码是ID几。
导入步骤:
第一步,将二哈A连接电脑,把导出的文件复制到电脑桌面。
第二步,将二哈B连接电脑,把上一步的文件粘贴到二哈B的指定文件夹,路径如图所示。(如找不到barcode文件夹,请先执行第三步,导入过模型,会自动创建本文件夹,随后再回到第二步。)

Interface Diagram

第三步,首先确认已经进入到“条形码识别”功能,然后点击“导入模型”,出现“加载配置”弹窗后,上下滑动数字,选择加载几号模型,此处应与上一步保存的模型号一致。例如,粘贴进二哈B的模型文件为repo1.bin,故选择数字1。最后,点击“确认”以导入。

Interface Diagram

第四步,等待弹窗“加载中”消失,即导入完成。

Interface Diagram

随后可做条形码识别测试。以下左图为二哈B导入模型前的条形码识别情况,右图为二哈B导入模型后条形码识别情况。

Interface Diagram

5.主控板使用说明

5.1各适配主控说明与项目示例

主控板 Arduino 行空板K10 行空板M10 掌控板
编程语言 Arduino C
图形化编程
Arduino C
图形化编程
Python
图形化编程
Arduino C
图形化编程
编程软件 Arduino IDE
Mind+(上传模式)
Arduino IDE
Mind+(上传模式)
Mind+(Python模式) Arduino IDE
Mind+(上传模式)
使用教程 二哈识图2与Arduino代码编程教程(Arduino IDE)(正在更新中)

二哈识图2与Arduino图形化编程教程(Mind+上传模式)
二哈识图2与行空板K10代码编程教程(Arduino IDE)(正在更新中)

二哈识图2与行空板K10图形化编程教程(Mind+ 上传模式)
二哈识图2与行空板M10代码编程教程(Mind+ Python模式)(正在更新中)

二哈识图2与行空板M10图形化编程教程(Mind+ Python模式)(正在更新中)
二哈识图2与掌控板图形化编程教程(Mind+ 上传模式)(正在更新中)
指令集 HuskyLens 2 Mind+积木说明(正在更新中)
HuskyLens 2 Arduino C函数说明(正在更新中)

5.2各主控数据获取差异说明

HUSKYLENS 2 适配Arduino、掌控板、行空板K10、行空板M10等等市面上常见的硬件主控。由于每类主控的性能不一,能获取到的HUSKYLENS 2的视觉识别输出数据可能会有差异。

基础数据是所有具有MCU的主控都能获取的数据,包括每个视觉识别功能获取的:ID、置信度、名字、内容、识别框中心点X坐标和Y坐标、识别框宽度和高度数据

对于行空板K10、行空板M10等这些具有大内存MCU的主控除了基础数据外还能获取一些视觉识别功能特有的扩展数据。

以下是每个HUSKYLENS 2 适配主控各个视觉识别功能下获取的数据的差异说明。

功能\主控 Arduino 掌控板 行空板K10 行空板M10
人脸识别 基础数据 基础数据 基础数据
人脸五官坐标等扩展数据
基础数据
人脸五官坐标等扩展数据
物体识别 基础数据 基础数据 基础数据 基础数据
物体追踪 基础数据 基础数据 基础数据 基础数据
颜色识别 基础数据 基础数据 基础数据 基础数据
自学习分类 基础数据 基础数据 基础数据 基础数据
手势识别 基础数据 基础数据 基础数据
手掌21个关键点坐标等扩展数据
基础数据
手掌21个关键点坐标等扩展数据
姿态识别 基础数据 基础数据 基础数据
人体17个关键点坐标等扩展数据
基础数据
人体17个关键点坐标等扩展数据
车牌识别 基础数据 基础数据 基础数据 基础数据
光学字符识别 基础数据 基础数据 基础数据 基础数据
巡线 基础数据 基础数据 基础数据 基础数据
表情识别 基础数据 基础数据 基础数据 基础数据
标签识别 基础数据 基础数据 基础数据 基础数据
二维码识别 基础数据 基础数据 基础数据 基础数据
条形码识别 基础数据 基础数据 基础数据 基础数据

5.3扩展板选型建议

6.设置

在Huskylens 2选择常规设置功能,可以详细设置系统有关的各个参数。如下图,在常规设置的二级菜单中,一共有10个具体的参数可以设置。

Interface Diagram

  • 设备信息
    在设备信息下可以查看当前系统版本、硬件版本、内存、硬盘容量、设备码和CPU温度等详细信息。

  • WiFi

  • 协议种类
    HUSKYLENS 2支持两种不同波特率的串口协议(9600,15200)和I2C协议。可以在协议种类中,设置协议种类,出厂默认为I2C协议。

Interface Diagram

在HUSKYLENS 2的UART/I2接口的位置有一个指示灯。可以通过指示灯颜色快速判断当前HUSKYLENS 2处于哪种协议。当HUSKYLENS 2为I2C协议时,指示灯颜色为蓝色,当HUSKYLENS 2为串口协议时,指示灯颜色为绿色。

Interface Diagram

  • 屏幕亮度
    HUSKYLENS 2的屏幕亮度出厂默认设置为70%。点击屏幕亮度,可以滑动进度条调节HUSKYLENS 2的屏幕亮度,范围为25%~100%。

Interface Diagram

  • 菜单自动隐藏
    HUSKYLENS 2具有自动隐藏菜单功能。菜单自动隐藏时间是选择某一视觉识别功能后,上下两行菜单栏自动隐藏的时间。以物体识别功能为例,设置菜单自动隐藏的时间为5秒,5秒后,上下菜单栏消失,手指点击屏幕,菜单栏会自动出现。

Interface Diagram

菜单自动隐藏下,可以滑动进度条设置HUSKYLENS 2的菜单自动隐藏的等待时间,范围为1~30秒,出厂设置默认为5秒。

Interface Diagram

  • 补光灯
    HUSKYLENS 2板载两个LED补光灯,位置见2.2硬件说明。在补光灯中,可以滑动进度条设置灯光亮度。默认为关闭状态。

Interface Diagram

点击“灯泡”图标,可以快速将补光灯点亮或熄灭。点击'灯泡'图标,图标亮起,补光灯点亮,亮度自动为上一次设置的亮度,若从未设置过亮度,第一次点击图标默认亮度为80%。

Interface Diagram

  • RGB灯
    HUSKYLENS 2板载一个RGB指示灯,位置见2.2硬件说明。出厂默认RGB灯颜色为绿色,亮度为0%,即熄灭状态。在RGB灯中,可以滑动进度条设置RGB灯的亮度,还可以自定义RGB灯的颜色。

Interface Diagram

点击'灯泡'图标,图标亮起,RGB灯被快速点亮,亮度和颜色自动为上一次设置的状态,若从未设置过第一次点击图标后默认亮度为80%,颜色为绿色。

Interface Diagram

  • SD卡工具
    HUSKYLENS 2有一个TF卡槽,位置见2.2硬件说明。可以将SD卡插入HUSKYLENS 2的卡槽中。在SD卡工具中可选择修复系统文件或者格式化SD卡。

Interface Diagram

  • 恢复出厂设置
    点击恢复出厂设置,可以将HUSKYLENS 2重置为出厂状态。

Interface Diagram

  • 语言
    HUSKYLENS 2支持英文、中文简体和中文繁体。在语言页面可以设置自己想要的语言选项。之后,系统会切换语言并自动返回至菜单页面,如下图是切换为中文简体的示意图。

Interface Diagram

7.固件更新

当前最新系统版本为1.1.5,找到系统设置 - 设备信息,可以看到当前的系统版本,建议更新到最新版本体验功能。

Interface Diagram

  • 下载准备

HUSKYLENS 2镜像文件:

huskylensV2v1.1.5[250917]

点击下载烧录工具: K230BurningTool.zip

点击下载驱动安装工具:驱动安装工具

  • 固件烧录

先将HUSKYLENS 2断电,按住HUSKYLENS 2的A键不松开,接着为HUSKYLENS 2上电,上电2S后可松开按键,首次使用设备管理器中会可能出现如下设备。

Interface Diagram

打开驱动安装工具zadig,选择K230,安装驱动

Interface Diagram

打开固件烧录工具- K230BurningTool.exe, 刷镜像前请将HUSKYLENS U盘系统中的内容备份,更新镜像后内容会全部擦除。

Interface Diagram

配置如下,点击开始,成功后重启HUSKYLENS 2。

Interface Diagram

8.内置功能

8.1 相机

  • 进入相机后,通过屏幕底部三个按钮可以在“照相机、录像机、相册”之间切换。
  • 照相机模式下,按下A键可以拍照。
  • 录像机模式下,按下A键可以开始或停止录像。
  • 相册可以快速预览照片和录像。
  • 将HUSKYLENS 2连接到电脑后,打开二哈的U盘系统,拍摄的照片和录制的视频,可以在Huskylens\storage\photo路径下找到。

Interface Diagram

8.2实时图传

8.2.1有线图传

使用有线实时图传功能需要安装RNDIS驱动。如果未安装过RNDIS驱动需要安装,WIN11操作如下,其他系统按照如下操作若无法成功可根据系统版本查找答案或联系技术支持。

Interface Diagram

Interface Diagram

Interface Diagram

Interface Diagram

Interface Diagram

Interface Diagram

Interface Diagram

下载图传软件VLC:
(1)从官网下载最新版本:https://www.videolan.org/vlc/

(2)点击下载VLC软件安装包:vlc-3.0.18-win64.exe

滑动HUSKYLENS 2屏幕找到实时图传(如果没找到请先更新固件)。在实时图传功能下找到RTSP图传开关打开,点击确认。

Interface Diagram

此时会自动回到主界面,右上角状态栏显示实时图传的图标,指示当前在图传模式,此时在HUSKYLEN 2中打开任意模型即可开始图传。

Interface Diagram

二哈屏幕中显示如下内容时表示图传准备就绪,此时启动VLC,输入rtsp://192.168.88.1:8554/live

Interface Diagram

Interface Diagram

Interface Diagram

Interface Diagram

要退出此模式,需要重新点击实时图传图标,将RTSP图传开关关闭,否则会一直处于图传模式。

Interface Diagram

8.3 模型安装

此工具目前支持Windows10/11 Linux系统,其他系统可能产生未知问题(如Windows 7 )。仅支持转换Mind+中训练的目标检测模型,暂不支持其他种类模型。

Interface Diagram

  • 安装python环境搭建工具conda: 点击下载conda,根据系统选择,Windows直接点击下载

Interface Diagram

Interface Diagram

  • 下载模型转换打包工具: 点击直接下载项目源码 。以下教程全部基于Windows系统,如果是其他系统请参考项目readme点击跳转github项目地址

  • 3.将下载好的zip文件,解压到onnx2kmodel-master文件夹中,注意文件夹名称和目录层级,建议直接参考如下目录

Interface Diagram

  • 下载 nncase-kpu 安装包压缩文件: 点击下载nncase-kpu 安装包

  • 下载好的nncasekpu压缩文件解压,确保解压出的文件名为nncase_kpu-2.10.0-py2.py3-none-win_amd64.whl

  • nncase_kpu-2.10.0-py2.py3-none-win_amd64.whl文件复制到onnx2kmodel-master文件夹中

Interface Diagram

  • onnx2kmodel-master文件夹空白位置右键,选择在终端中打开

  • 终端中输入conda create --name myenv312 python=3.12,中间需要输入两次y 然后回车,等待安装成功。根据网络情况可能需要等待较长时间。

Interface Diagram

conda activate myenv312 python --version,成功打印出Python 3.12.x后环境即搭建完毕

Interface Diagram

  • 输入pip install -r requirements.txt,等待所需库安装完成,根据网络情况可能需要等待较长时间。

Interface Diagram

  • 输入pip install nncase_kpu-2.10.0-py2.py3-none-win_amd64.whl ,安装nncase-kpu工具

Interface Diagram

  • 输入python app.py启动UI界面

Interface Diagram

  • 选择模型包(*.zip): Mind+中目标检测模式中训练完成后点击导出模型,选择导出完成后的zip压缩包

Interface Diagram

  • 选择数据集型包(*.zip):训练完成后点击高级模式 - 数据设置 - 导出,选择导出完成后的zip压缩包,此数据包用于标签的二次验证

Interface Diagram

  • 选择图标:选择一个60x60分辨率的png图片,推荐使用白色线条透明背景的图,可以从iconfont中搜索关键词下载[点击跳转](https://www.iconfont.cn/search/index?searchType=icon&page=1&fromCollection=-1)

Interface Diagram

Interface Diagram

  • 应用名称:在二哈主界面上显示的名字

  • 标题设置:点击进入模型后,模型顶部标题栏的名字

  • 最后点击 转换&打包,等待onnx2kmodel-master文件夹中出现dfrobot_cell_recognition.xxxx.zip,其中cell_recognition为设置的英文应用名称。完成时间受系统性能和模型尺寸影响,部分系统文件夹可能不会自动刷新,需要手动刷新文件夹。

Interface Diagram

  • 将生成的zip包复制到HUSKYLENS 2的U盘系统中,路径为Huskylens\storage\installation_package

  • 操作二哈屏幕,右滑到最后一页,选择模型安装 - 本地安装,等待弹出安装完成后,即可回到主界面,滑倒屏幕最后一页即可启动自训练模型。

常见问题

还没有客户对此产品有任何问题,欢迎通过qq或者论坛联系我们!

更多问题及有趣的应用,可以 访问论坛 进行查阅或发帖

DFshopping_car1.png DFRobot商城购买链接