化名参加央美的研究生毕业展、举办个人画展、以人工智能歌手身份签约 AVEX，成为滨崎步、安室奈美惠的同门师妹，在网易云上发布单曲……微软小冰今年出镜率高了不少，它在用实际行动展示人工智能创造（AI Creation）的可能性，以及微软研究落地的可行性和价值。

本周四，微软小冰在北京微软（亚洲）互联网工程院举办 Research Workshop，系统分享了微软小冰在 AI 人机对话、人工智能创造（唱歌）、跨模态理解这几方面技术的最新进展，为我们一一揭露小冰才艺爆棚背后的复杂技术。

从学习人说话，到自主学习，微软小冰走向「自我完备」

作为一个主打 EQ、由闲聊机器人起家的人工智能，微软小冰在对话式 AI 技术方面有着许多领先业界的创举：最早提出全双工语音对话技术，发展至今，平均对话轮数（CPS）达到世界领先的 23 轮；第六代小冰升级共感模型，融合全双工和实时视觉，让 AI 也能「察言观色」；第七代小冰实现了从「平等对话」向「主导对话」方向的跨越。简单来说，小冰在培养越来越接近人类的交流能力。

微软小冰首席 NLP 科学家武威用「Self-Complete」（自我完备）这一个词语概括微软小冰近几年来的研发成果。具体来讲，Self-Complete 需要 AI 自主学习、自主管理、自主关联这三种能力。

自主学习

对话机器人学习分为两个层次，第一个层次是从人类的对话中学习说话，这是目前对话式 AI 正在主攻的方向。这次，武威重点谈到第二个层次，机器之间的互相学习，也是微软小冰的一个新探索方向。

机器之间的的互相学习，道理其实就类似人类的「你有一个思想，我有一个思想，我们交换一下，一人就有两个思想甚至更多」。

「术业有专攻」，跟人类一样，每个机器人也都可能有自己的领域知识。微软小冰团队研发出了 Co-teaching 算法，让 AI 的两个不同检索模型在训练过程中互为师生、相互学习。结果表明，两个模型对比以往的学习路径都有了显著提升。

自主管理

自主管理即 AI 能管理说话的内容、走向，典型的应用就是微软小冰第六代公布的共感模型。

在共感模型中，包含两个模型，一个回复生成模型，即决定说什么。第二个为策略决定模型，即怎么说。两个模型相结合，将微软小冰从原来基于上下文直接产生回复的模式，转变成了基于上下文产生策略，从而产生相应的对话，譬如主动引导一个话题、提问、确认、或者是无意识、简单的回复。

在日本、美国，微软小冰基于知识库，通过对上下文对话理解，做到了帮助用户挑选所购买商品，达到了 68% 的转化率。这是微软小冰共感模型在商业落地上的其中一个应用。

自主联结

自主联结，指的是机器人能够将包括搜索引擎、文档、图片、视频、知识图谱等分散在各地的多模态知识，联结起来，进行消化、吸收，形成自己的输出内容，内容也不限于文本、图片等任一形式。

今年 2 月，微软小冰面向未来的多模态交互感官已在日本完成公开测试：通过手机 APP 应用和手机摄像头，小冰可综合文本、声音和图像等信息与人类交流。比如在日本的一项测试中，用手机摄像头充当眼睛，小冰可以在陪用户一同逛水族馆，对所见所闻（鱼）挑起对话、评论。

模型+数据，让 AI 学唱歌比学说话要难得多

在本次 Workshop 上，微软首席语音科学家栾剑，首次系统披露微软小冰歌唱能力背后的技术。

栾剑提到，相比说话，唱歌具有门槛高、情感表达更丰富的特点。此外，唱歌具备发音、节拍、旋律三大基本要素。因此，AI 唱歌技术可以沿袭过去的语音合成技术，同时也存在额外的技术难点。

传统的 AI 唱歌模型主要包含单元拼接、参数合成（隐马尔可夫模型）这两种主流的方式，但也都各有短板：单元拼接易导致唱腔过渡不自然、生硬，参数合成因声码器的关系会损失音质。

微软小冰采取参数合成的方式，加以模型改良，避免出现上述情况。在模式上分别对声谱参数、节奏序列、音高轨迹（即唱歌的三大要素）进行建模，为协调三个参数的耦合性，微软用一个预测参数模型同时预测三个参数，但按照目前技术水平处理上有不小的难度。栾剑表示，卷积神经网络近几年的快速发展，让三个参数同时建模成为可能。

众所周知，深度学习需要大数据的训练来支持。栾剑坦言，AI 唱歌技能养成的一个大难题是严重缺乏清唱的数据。对此，小冰与唱片公司合作，在混杂各种音轨、伴奏的歌曲中，将人声部分的时间戳进行标注、发音的起始结束时间、音高轨迹进行提取，给小冰训练出更丰富的演唱风格。

谈谈比喻句创作、绘画生成：AI 要有理解能力，也要懂常识

文本创作、绘画作为微软小冰人工智能创作的重点技能，也在巩固的基础上持续突破新的技术难点。微软小冰首席科学家宋睿华为大家讲解了其最新的进展：学会造比喻句，跨模态理解。

不同于人类常用的「像……一样」的手法，微软小冰通过输出「解释」的方式创造比喻句，重点关注本体和喻体之间的联系。

对此，微软小冰团队从诗歌中抽取了 120 个主题，挑选了 6 大类，96 个常用比喻的概念，随后从 1000 个常用词中选取 3000 个最常用的形容词扩充小冰的比喻能力。例如将爱情、心、世界、梦想、生活、快乐等抽象概念，提取出相关信息，相互之间关联产生合理的比喻。

小冰已有的合格比喻句作品有：

• 爱情跟脂肪联系造成的比喻句：「爱情就像脂肪，是点点滴滴的积累。」

• 灵魂与球迷联系造成的比喻句：「灵魂就像球迷一样，在无声的呐喊。」

跨模态理解

用跨模态的方式去理解文本，是微软小冰训练理解能力的一个课题。

目前，业界已经有类似 Text-to-Image、Text-to-Video、Story-to-Image 这样一些旨在挖掘 AI 理解能力的课题。以 Story-to-Image 为例，微软小冰希望能模仿人类，理解一句话背后暗含的意思，以及常识。

不同于单一检索，Story-to-Image 以故事为基础输出图像，关系到上下文的连贯性，图画细节是否与故事匹配（match），此外，鉴于以往 one to one 训练数据，一句话只能输出一张图像，往往无法展现语句的所有信息量。

对此，微软小冰创新性地提出 one to more 的训练算法，让 AI 针对一句话、一个故事线输出数张图片。

比如「有一个老太婆养着一只母鸡，它每天下一个黄灿灿的金蛋」。one to one 的模型只输出一张老奶奶的图片，而 one to more 的模型，能在这基础上再输出一张鸡蛋图片。

另外，人类普遍具备的「常识」也是人工智能需要提升的一个能力。例如，人类都知道「北极熊是白色」的事实，因此不会在写作中特意加上「白色的」这样一个前缀来描述北极熊。

相应的，在「画饼充饥」Story-to-Image 的训练中，小冰在创作的绘画中表现出了父母找到丢失小孩是「激动」的心情，是一种理解人类情绪的常识的表现。

做一个通用型的 AI Being：技术要有挑战，成果要能被接受

谈到人工智能，我们目前大多接触到的是实用性的语音助手，鲜少有人体会和理解像小冰这样情感、才艺型的 AI，它们会朝着什么样的路径发展。

在接受采访过程中，栾剑、宋睿华均表达了的微软小冰在 AI 技术研究上的立场。

就技术而言，微软小冰首先瞄准具有挑战性的研究方向，但也必须以目前技术能够达到的程度为前提。其次，要做出大家能够广泛接受的产品和成果，反之群众接受度不高，不利于收集反馈数据，以及推进研发的进展。

对于技术能够产生怎样的商业价值，不仅仅是市场团队，研发团队本身也在挖掘。以基于跨模态理解的绘画生成技能为例，未来将有可能应用在儿童绘本创作中。以唱歌为例，目前原创词曲是稀缺资源，日后微软小冰如果能在这方面有建树，也将会有巨大的想象空间。

微软小冰团队进一步表示，只有技术成果达到理想状态，才会推向市场。回到今年第七代微软小冰发布 AI beings 完整框架 Avatar Framework 时所传达的宗旨，让微软小冰的能力形成一个通用型的平台，帮助厂商打造各种各样的 AI，「孕育出一片 AI 森林」。

PS.福利大放送
整场 Workshop 干货满满，一篇文章无法精细覆盖到每一个技术点。本文提到的所有技术点，微软（亚洲）互联网工程院均已经发布了相应技术成果的论文。
感兴趣的技术小伙伴，可在深圳湾（ID:shenzhenware）公众号留言「微软小冰」四个字，获取微软小冰技术相关学术论文