AI逐帧理解大片中每个动作；人造神经元成功操纵植物；指甲盖大小的硅光子芯片激光雷达；网易伏羲开源全球首个中文精标歌声合成数据集

整数智能 • 2022-03-15 10:27 • 产品 • 240 views

人工智能新鲜趣闻，前两周你遗漏的可能都在这里了。

「上海交大发布“人类行为理解引擎”：深度学习+符号推理，AI助逐帧理解大片中每个动作」

看图看片，对现在的AI来说早已不是什么难事。不过让AI分析视频中的人类动作时，传统基于目标检测的方法会碰到一个挑战：静态物体的模式与行为动作的模式有很大不同，现有系统效果很不理想。

现在，来自上海交大的卢策吾团队基于这一思路，将整个任务分为了两个阶段：

新方法让AI真正看懂剧里的人的动作，比如卷福手在举杯(hold)，右边的人在伸手掏东西(reach for)。

即便视频中的多人场景，系统也能准确分辨场景里每一个角色的当前动作。

甚至连速度飞快的自行车运动员都能完美捕捉。

像这样真正理解视频的AI，就能在医疗健康护理、指引、警戒等机器人领域展开广泛应用。

那么它是如何实现行为理解的呢？答案就是「知识驱动」。

要让AI学习人类，首先要看看人类是怎么识别活动的。比如说，要分辨走路和跑步，我们肯定会优先关注腿部的运动状态；再比如，要分辨一个人是否是在喝水，那么他的手是否在握杯，随后头又是否接触杯子，这些动作就成为了一个判断标准。

这些原子性的，或者说共通的动作就可以被看作是一种“基元” (Primitive)。将一个个的基元“组合”推理出整体的动作，这就是就是人类的活动感知，基于此，卢策吾团队便提出了一种知识驱动的人类行为知识引擎，HAKE (Human Activity Knowledge Engine)。

该系统能够将像素映射到由原子活动基元跨越的中间空间，再用一个推理引擎将检测到的基元编程为具有明确逻辑规则的语义，并在推理过程中更新规则。

来源：量子位

论文地址：

https://arxiv.org/abs/2202.06851v1

开源链接：

https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/Activity2Vec

参考链接：

[1]https://www.bilibili.com/video/BV1s54y1Y76s

[2]https://zhuanlan.zhihu.com/p/109137970

[3]http://hake-mvig.cn/home/

「人造神经元成功操纵植物，让捕蝇草强行闭合，脑机接口新思路打开丨Nature子刊」

能不能通过传感器感知特定的场景来自动完成相应的动作，这个真可以有。

人造一个神经元，直接让捕蝇草在四周空无一虫的时候也能闭合：

对，你没听错，人造了一个神经元。将捕蝇草的生物细胞与这个特殊的神经元相连，就能模拟大脑处理和传递信息，向捕蝇草的叶片“强加”一个“意识”。

不仅如此，进行实验的科学家还配合制作了神经突触，两者连接，就相当于人造了一个局部的神经突触系统。能够进行赫布学习，具有短期可塑性。

与捕蝇草连接并成功诱导的“闭合”动作，证明了未来或许还能实现更加复杂的传感器检测，与生物系统进行集成，促进植入式设备的开发。并且，这些人工神经元的电路是印刷在柔性基板上的，可以进行大规模的印刷，具有较高的制造产能。

软体机器人、脑机接口，甚至赛博朋克中的人机结合，都是可想象的未来。

来源：量子位

论文地址：

https://www.nature.com/articles/s41467-022-28483-6

参考链接：

[1]https://futurism.com/the-byte/scientists-control-venus-flytrap-with-implanted-computer-brain

[2]https://singularityhub.com/2022/02/25/scientists-created-an-artificial-neuron-that-can-make-a-venus-flytrap-snap/

原创文章，作者：整数智能，如若转载，请注明出处：https://www.agent-universe.cn/2022/03/8391.html