Aya
Aya 是一个交互式机器人,可以存储您的图片以识别您并与您互动。 2017 年 Hack the North 和 AWS 最佳使用奖得主。
故事
灵感
当我们看到亚马逊对 Alexa 和谷歌对家庭所做的事情时,我们确信计算机化个人助理的时代已经到来。然而,我们想知道如何让它们更人性化——Aya 是外观和感觉上具有人性的机器人个人助理的概念证明。
它的作用
Aya 是一个交互式机器人,可以存储您的图片以识别您并告诉您您拿着什么物体。
我们如何构建它
Aya 是嵌入式系统的噩梦!伺服系统接口与音频编解码器运行在不同线程上以进行多处理。
我们在超过 26 小时的过程中对物理部件进行了 3D 打印(由开源机器人 InMoov® 提供)。它于 2017 年在 Hack the North 建造和组装。
Aya 使用 AWS Rekognition 来比较面部几何形状以识别她已经见过的人,并结识新的人类。我们选择非人类的置信度最高的对象,并通过 Amazon Polly 运行它,它会生成一个 .ogg 文件。在这一切发生的同时,另一个带有自定义伺服控制的线程正在并行运行,以使下巴随着语音移动。
我们遇到的挑战
硬件黑客很难!我们遇到了上千个问题,不仅限于:熔化的电线、燃烧的面包板、过热的伺服系统,当然还有零件公差!
该项目的另一个困难方面是伺服控制——这需要启动另一个线程并与语音同步运行伺服控制。
软件方面,由于 Amazon Rekognition 仅输出一组标签及其置信度,因此通常很难为图像选择最相关的标签。我们尝试使用 k 来解决这个问题 -means 聚类以生成相似词的组,然后为每个组生成句子。然而,由于硬件占用了我们太多的时间,很遗憾我们没有时间完全实现这一点。
最后,在 36 小时的预算(不包括睡眠!)内完成所有这些工作是最大的挑战,但它迫使我们遵守时间表并使我们的项目变得敏捷。
我们引以为豪的成就
我们为能够将伺服系统和软件融合在一起而感到自豪。最重要的是,我们很自豪能够作为一个团队一起工作得非常好,几乎没有摩擦,而且产出很棒。
阿雅的下一步是什么
我们希望使用 TensorFlow 对 AWS Rekognition 的输出进行聚类,并使用 pyAudioAnalysis 将波形分析技术应用于生成的音频文件,以更好地将声音与伺服驱动同步。
阅读更多信息...
绫
制造工艺