AI修复高圆圆童年照，精细到发丝；乐高小车装上人脑，走迷宫成就达成；Meta AI为儿童绘画创建动画；机械手取鸡蛋运篮球不在话下

MOLAR FRESH   2021年38期

人工智能新鲜趣闻    每周一更新

包浆老图立刻清晰到头发丝是一种怎样的体验？

看这明亮的眼眸、清晰的发丝，原本模糊的人像立刻添了几分灵动：

图灵的这张修复就更厉害了，不仅眼神更加锐利，头发、眉毛等细节都被完美还原了出来：

而以上这些效果，无需专业PS技能，只用一个网页端的Demo、点点鼠标上传图片就能搞定。

这就是已经多日霸占GitHub热榜第一的AI修复项目：GFP-GAN，Star数高达8400。

而这一项目由腾讯PCG ARC实验室提出，其相关论文已被CVPR2021收录。

GFP-GAN可通过Colab、Hugging Face或本地运行代码进行试玩。

GFP-GAN如此强大的效果是怎么实现的呢？

研究人员受到StyleGAN2的启发：

既然GAN已经能生成如假乱真的图片，那么它所包含的面部信息，是不是也能帮助人脸修复呢？

在GFP-GAN的模型框架中，主要用到了一个退化清除模块和一个预训练的GAN作为先验。

两个模块通过隐编码映射和多个信道分割空间特征变化层（CS-SFT）连接。

训练过程中，首先要对低质量人脸进行降噪等粗处理，然后保留面部信息。

在保真度方面，研究人员引入了一个面部损失（Facial Component Loss），判断哪些细节需要提升保留，然后再用识别保留损失（Identity Preserving Loss）进行修复。

论文地址：

https://arxiv.org/abs/2101.04061

GitHub项目页：

https://github.com/TencentARC/GFPGAN

Hugging Face试玩传送门：

https://huggingface.co/spaces/akhaliq/GFPGAN

小鼠的大脑被植入了电极并连接上了计算机，根据小鼠的位置和奖励地图，算法生成了实时的MFB刺激参数，指导着小鼠在迷宫中行走。

被「增强」后的小鼠在走迷宫任务中表现出了强大的学习能力。

那么如果把类似大脑的神经形态电路放到机器人身上，它们能学会在曲折的迷宫中穿梭吗？

近日，来自埃因霍温科技大学（TU/e）、马克斯·普朗克聚合物研究所、斯坦福大学和剑桥大学的研究人员给出了证明，并将成果发表在了《Science Advances》上。

机器人基于乐高的Mindstorms EV3平台打造，除了有2个轮子和传统的引导软件来确保它能沿着线走以外，还有一些反射和触觉传感器。

最初，机器人的视觉-运动关联尚未建立，默认只会向右转。每当它到达死胡同或偏离了指定的路径时，电刺激就会强化这种关联，告诉机器人要么返回要么向左转。

然后，通过将这种纠正性刺激储存在神经形态的「大脑」当中，机器人对导航线索的敏感性也进一步增强，并在之后的尝试中能够做出更加准确的决策。

更重要的是，机器人一旦学会了某条特定的路线（目标路径1），就能在任何其他给定的路线中（目标路径2）一次性地走到终点。因此，机器人学到的知识是可以进行迁移和推广的。

Krauhausen表示，「这种感知和运动的相互加强，在很大程度上也是自然界的运作方式，所以这也是我们试图在机器人中模仿的东西」。

https://www.science.org/doi/10.1126/sciadv.abl5068

昨日，Meta AI宣布了一种独创性方法，只需几分钟，就能自动生成儿童手绘人物或类人角色（即具有双臂、两条腿等的角色）的动画，而且生成的动画还能做到栩栩如生。

只需将孩子的手绘上传给Meta AI，就可以看到它们变成会跳舞的角色，十分逼真。

小猫学会了hiphop。

小蜜蜂还会做wave。

对于人工智能来说，

由于孩子们的绘画通常比较超脱常规，识别孩子们的绘画是具有挑战性的任务。那Meta AI是怎么解决这个问题的呢？

手绘变动画分四步走：

1、通过物体检测识别人形

Meta AI采用基于卷积神经网络的目标检测模型Mask R-CNN来提取儿童绘画中的人物。

研究人员将模型在大约1000张手绘图上进行了微调。

2、使用角色mask从场景中提升人形

手绘图中的人物的手、脚、身体等部位有时在外观上过于不符合常规。

研究人员先用预测的人形边界框来裁剪图像，然后，应用自适应阈值处理和形态学操作，从框的边缘进行泛填充，并假设mask是未被泛填充触及的最大多边形。

3、通过「装配」为动画做准备

Meta使用专为人体姿势检测而训练的模型AlphaPose来识别人物上的关键点，这些关键点可以用作臀部、肩膀、肘部、膝盖、手腕和脚踝的识别。

4、三维运动捕捉制作2D人物动画

在制作动画之前，先从绘图中创建一个需要操作的角色。

然后，通过将一帧运动捕捉数据投影到2D平面上并更改角色姿态。

最后，再让角色产生一系列连续的姿势，就可以创建一个动画了。

AI已经成为富有「创造力」的强大工具，能够赋予艺术家力量，激发新的表达形式。Meta的动画工具能鼓励人们去尝试绘画，并把他们带向更多的方向。

参考资料：

https://ai.facebook.com/blog/using-ai-to-bring-childrens-drawings-to-life/

斯坦福大学工程师的一项新成果发布于国际学术顶刊《科学》的子刊《科学·机器人学》上。研究人员受壁虎脚趾抓地启发，开发了一种兼具灵巧和稳健抓握能力的机械手“farmHand”，它可以平稳抓握鸡蛋、葡萄、篮球等物体。

研究人员设计初衷是作为机器人农业辅助工具，利用机械手轻柔地操作水果。

它可以把“手掌”张开得大大的，操纵较大型的物体，例如篮球、罐型饮料等。

平行机械手相对于更拟人化的多指机械手的一个优势是具有高抓力的潜力，因此可以使用单个精确手指来获得力量，而多指机械手farmHand利用壁虎粘合剂提供了更多的抓握能力。

该机械手受益于两种生物灵感。首先是人手，它有多关节的手指，不过仅有四个手指，其次是壁虎，基于壁虎脚趾抓地的灵感，研究小组研制了抓地力强但不粘的壁虎粘合剂，涂在这一机械手的手指上。

涂抹壁虎粘合剂的机械手可以通过微小的皮瓣固定在物体上。当与表面完全接触时，这些皮瓣会产生范德华力（分子间相互作用力），由分子外部电子位置的细微差异引起。

当必须依赖于多个附有壁虎粘合剂的手指抓握物体，并以不同角度接触物体时，对于壁虎粘合剂的控制就更加困难。

为了解决这一难题，研究人员在粘合剂下方，为该机械手增加了一层指垫。这层纸垫由可折叠的像肋骨一样的结构制成，只需很小的力即可弯曲。

研究人员表示，在未来更高性能的电机扭矩将实现更高的肌腱张力，以及采用更硬的肋骨也能提高机械手的整体稳定性。

链接：

https://www.science.org/doi/10.1126/scirobotics.abi9773