2019 年开年的第一枪，云知声亮出了自家多模态 AI 芯片战略与规划，以及三款 AI 芯片。

1 月 2 日，云知声在北京举行了发布会，正式公布了多模态 AI 芯片战略与规划，并曝光多款正在研发中的不同场景 AI 芯片，其中，包括第二代物联网语音 AI 芯片雨燕 Lite、面向智慧城市的支持图像与语音计算的多模态 AI 芯片海豚（Dolphin），以及面向智慧出行的车规级多模态 AI 芯片雪豹（Leopard）。

借着这次发布会，云知声创始人& CEO 黄伟对传统 SOC（System On Chip）概念提出全新定义，其中 S 代表不同的 AI 服务能力即 Skills，O 代表云端与边缘侧的互动 On/Off Cloud，C 代表具备智能处理能力的 AI 芯片。

黄伟表示，面向 5G 万物智联时代，人工智能服务需提供更加场景化的解决方案，云+芯一体化的服务模式将成为行业主流。

AI 芯片的三个趋势：场景化、端云互动、数据多模态

在第一代 UniOne 芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出， UniOne 并不是一颗芯片，而是一系列芯片，代表了云知声对于物联网 AI 芯片发展战略的整体构想。

在今日举行的云知声 2019 多模态 AI 芯片战略发布会上，李霄寒再次从三方面论证了物联网多模态 AI 芯片的必要性。

他认为，当前物联网产品线的 AI 芯片越来越明显地体现出三个趋势：

1. 场景化。芯片设计正在由原来的片面追求 PPA ，即性能（Power）、功耗（Performance）和面积（Area）逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一。

2. 端云互动。在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要 AI 芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付。

3. 数据多模态。在以 5G 驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。

结合以上三点，李霄寒认为，物联网 AI 芯片的最终呈现形式将不再是一个单一的硬件，而必然是承载着边缘能力与云端能力的多模态 AI 软硬一体解决方案。

布局多模态 AI 芯技术，发布多模态人工智能核心 IP「DeepNet 2.0」

有了第一代量产芯片雨燕的经验，云知声在 AI 芯片的打法也有了更加明显的章法。本次发布会上，云知声发布了多模态人工智能核心 IP——DeepNet2.0，宣告云知声人工智能处理核心由 1.0 语音时代全面迈入 2.0 融合语音、图像等处理能力的多模态时代。

DeepNet2.0 可兼容 LSTM/CNN/RNN/TDNN 等多种推理网络，支持可重构计算与 Winograd 处理，最高可配置算力达 4T。目前，云知声 DeepNet2.0 已在 FPGA 上得到验证，将在 2019 年落地的全新多模态 AI 芯片海豚（Dolphin）上落地。

为实现多模态 AI 芯片的战略落地，此前，云知声在机器视觉领域做了大量的工作。根据介绍，云知声面向机器视觉的轻量级图像信号处理器已可实现在不依赖外部内存的情况下，在 30 fps 的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速度和效果。借助基于人脸信息分析的多模态技术，已可实现人脸/物体识别、表情分析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验提供更多的可玩性和灵活性。

此外，在图像与芯片技术的产学研合作方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能计算中心——ASIC 达成深度合作，致力于 AI 芯片算法压缩与量化技术,以及非冯新型 AI 芯片计算架构研究，将进一步为云知声多模态 AI 芯片战略的推进夯实基础。

三款在研芯片：雨燕 Lite、海豚、雪豹

发布会上，李霄寒透露，在持续迭代升级现有雨燕芯片的性能与服务之外，目前云知声多款面向不同方向的芯片也已在研发中：

• 适用性更广的超轻量级物联网语音 AI 芯片雨燕 Lite；

• 集成云知声最先进神经网络处理器 DeepNet2.0、可面向智慧城市场景提供对语音和图像等多模态计算支持的多模态 AI 芯片海豚（Dolphin）；

• 与吉利集团旗下生态链企业亿咖通科技共同打造的面向智慧出行场景的多模态车规级 AI 芯片雪豹（Leopard）。

以上三款芯片计划于 2019 年启动量产。

从 IVM 到雨燕，云知声的造芯之路

云知声 2014 年开始切入物联网 AI 硬件芯片方案（IVM），并于 2015 年开始形成量产出货，其中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态 AI 数据处理方面的能力短板，2015 年云知声正式启动自研 AI 芯片计划。

2018 年 5 月16 日，云知声正式发布了首款自主研发的物联网 AI 芯片雨燕。该芯片采用云知声自主 AI 指令集，拥有具备完整自主知识产权的 DeepNet1.0、uDSP（数字信号处理器），并支持 DNN/LSTM/CNN 等多种深度神经网络模型，性能较通用方案提升超 50 倍。

四个月后，云知声将基于雨燕的解决方案进行开源，并推出智能家居、智能音箱的两套标杆解决方案。通过「云端芯」结合，提供给客户与合作伙伴面向具体场景的软硬件一体化 Turnkey 解决方案，可让客户站在更高的设计起点、以更低的成本，在更短的时间周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已提供的 AI 能力自行设计其它各种长尾产品形态，构建更为丰富的 AIoT 生态。

目前，基于雨燕芯片的全栈解决方案已导入的各类方案商及合作伙伴已超过 10 家，相关产品最早将于 Q1 量产上市；云知声的业务已经覆盖包括智能家居、智能汽车、智能儿童机器人、智慧酒店、智慧交通等诸多场景。

李霄寒表示，未来，云知声将持续发力多模态 AI 芯片，不断拓展技术与场景生态，以实现面向未来 AIoT 时代的全面赋能。