Uploads%2farticles%2f16011%2fwechatimg1653
|
2023-04-10

王小川入场大模型创业,百川智能立志做出中国最好的大语言模型

附王小川公开信全文,附品玩与王小川的访谈实录

深圳湾消息,搜狗公司创始人王小川 4 月 10 日官宣入场大模型创业,和前搜狗 COO 茹立云联合创立人工智能公司——百川智能,一家研发并提供通用人工智能服务的中国公司,旨在打造中国版的 OpenAI 基础大模型及颠覆性上层应用。

目前,团队已召集包括前搜狗、百度、华为、微软、字节、腾讯等知名科技公司和其他创业公司核心成员在内的数十位顶尖 AI 人才。

而百川智能在官宣前就已经获得 5000 万美元启动资金,以及来自清华大学计算机系教授、中国工程院院士、中国科学院院士等众多中国人工智能学术界领军人物的支持。

豪华配置,让王小川有自信喊出「在年底做出中国最好的大语言模型」的口号。

附王小川公开信全文:

今天我正式宣布,创建「百川智能」,一家研发并提供通用人工智能服务的中国公司。

生活在二十一世纪初是如此幸运,波澜壮阔的互联网革命还没有谢幕,通用人工智能时代又呼啸而来。多年前我曾断言,机器掌握语言,通用人工智能时代就来了;我也有畅想,搜索的未来是问答。ChatGPT 的腾空出世,地动山摇,这一切都开始成为现实。ChatGPT 发布到今天,仅仅 131 天,每天都有扑面而来的新进展、新突破。131 天恍如隔世!

大半个世纪以来,科学家们前赴后继,努力创造通用智能机器。这一天终于到来,我们找到了一条巧妙的路径,用 AI 成功将语言转化成了数学模型。语言是知识、思考、沟通和文化的载体。维特根斯坦说,语言的边界就是世界的边界。当 AI 掌握了语言后,就开始认知世界,成为有知识、能思考、善表达、会学习的智能体。我把这样的智能体称为「语言 AI」

人类个体总有消亡的一天,但能够将毕生的知识通过语言记录下来供新生命学习、继承,文明因此延续。人类协作也需要个体之间通过语言沟通。掌握了沟通和世界知识的语言 AI 不再只是人类的「工具」,而将成为我们的伙伴和超级助理,成为人类文明的一部分。

智能时代会改写互联网时代的范式。「连接」会被「陪伴」取代,「信息服务」会被「知识服务」取代,「免费与广告」会被「付费与高品质」取代。

智能时代也会改写自工业时代以来的范式。曾经是专业化社会分工带来规模效应与效率提升,而未来会是逆专业化分工:之前需要很多公司协作完成的工作,会因为 AI 的赋能「端到端」的完成。

智能时代将再一次开启「文艺复兴」。每个人都会因为 AI 的助力而变得更加强大。用好 AI,一个人就可能做一个公司,解决之前难以解决的难题,也更容易成为自己想成为的人。社会也会更加扁平,以前少数人才能享有的智力服务,也能更普惠。

告别搜狗后,我已开启新的远征:立志往后二十年,为生命科学和医学的发展尽一份力,为大众健康做出一点贡献,核心路径是构建生命健康数学模型,并已经付诸行动。ChatGPT 的出现,也将成为新远征的重要助力。

不仅如此,ChatGPT 是我过往经历的延续和升华。2019 年我将搜狗的使命升级为「让表达和获取知识更简单」,愿景定义为「帮助每个人轻松地对话和书写。便捷地获得知识和服务,提升工作效率和生活品质」。

搜狗输入法和搜狗搜索的数据制备和产品形态,也与 ChatGPT 接近。它们都是把互联网上的全部语言数据收集、清洗,压缩成数据库并构建超级产品。随着深度学习的发展,这些产品都多次迭代升级,全面用上了 Transformer / Bert 等技术。输入法猜你想说什么,搜索猜你想要什么。而 ChatGPT 把这些能力推到了一个全新的高度,是输入法、搜索之外,第三个把全网数据转化成语言服务的超级产品。搜狗未尽的使命在机器掌握了语言后终于可以实现。

很多朋友认可我的技术理想主义和技术驱动的创业经验,鼓励和支持我做中国的 OpenAI。也有很多搜狗和非搜狗的技术大拿,得知我有做大模型的想法,主动申请参与组队,甚至「带资入组」。

我最动心的是,能和一群有理想的人,用极致的技术驱动创造出颠覆性的智能产品。这一次,百川智能将借助语言 AI 的突破,构建中国最好的大模型底座,并在搜索、多模态、教育、医疗等方面增强,帮助大众轻松、普惠的获取世界知识和专业服务。

筹建百川智能不到两个月,已有多位技术合伙人和领军人物的加入。到这个月底将会有近 50 人规模的精英团队。大模型的训练也已经启动,进展顺利。按照现在的进度,争取年内发布国内最好的大模型和颠覆性的产品。

我们是中国公司,但我们并不希望只是「中国的 OpenAI」,而是能建立世界级的视野和技术品质,让中国享有世界级的产品,产生有世界影响力的技术的突破,进而服务海外。百川本意是众多的河流汇集奔赴海洋,象征着众多数据、行业知识汇聚成为一个强大的智能体系,生生不息。百川也象征着集百家智慧,更多人与我一道共赴山海。我们呼唤中国的领军人物、行业产品经理和远在美国的同仁的加入。

附品玩与王小川的访谈实录:

品玩:公司名字定下来了吗?不叫五季智能对吧?

王小川:叫「百川智能」,寓意「海纳百川,汇聚知识」。因为大模型其实就是以语言为核心,把天下知识都汇聚并进行学习的一个过程。

品玩:而且把自己的名字也押进去了。

王小川:是的。启动资金目前是朋友们在支持,一些老团队也回来了。你可以理解「百川」既是跟世界连接,也是跟我之间的团队和资源完整地连接在一起。

品玩:融资的进展可以透露一下吗?

王小川:其实不算融资,第一期也就是 5000 万美元。首先还是周围的亲友与个人的支持,包括我自己都有投进来,面向机构的融资会再近期启动。

品玩:但其实很多投资者都想投你们。

王小川:至少我们能够训练出一个好的千亿模型,钱是够的。至少到今年年底是够用的。如果要做 AGI,确实还需要很多钱。(具体的需要多少钱,建议先不披露,可能容易打脸)

品玩:现在 OpenAI 应该是融了 100 亿美金,但实际大规模花钱也是 GPT-3 出来之后,也是 2021 年之后的事情。

王小川:钱很关键,但更关键的还是里面的人具体的操作。企业是一个生物体,无论是技术、团队、业务,都需要有一个生长的过程。如果强行把人和钱像拼乐高一样攒起来,就容易遇到困难。

品玩:那你团队现在组建得如何了?

王小川:有搜狗原来的班底,也有百度等多家大厂的领军人物加入,还有其他创业公司核心人员的加入。到四月底的话团队会有 50 人了。其实这是个很好的互补,搜狗原团队在 2021 年就完成过百亿参数模型国内第一,加上其他领军人物带队融入,在一起就是一个磨合完成且有多元经验的团队。

品玩:搜狗的班底能占多少?

王小川:整体占比不超过一半,主要是快速把底子搭起来。随着人越来越多,以后占比会越来越低。我们团队里有很多「少帅」,既有经验、又年轻的人。其实我个人是没有享受过这种待遇的。你要知道搜狗最后几年招人很难的,优秀的人才愿意过来跟你聊天,但没法跟你共事。其实就是你当时做的事情不够性感了。

品玩:说说性感的,大模型这一块训练的怎么样了?

王小川:我们已经开始训练 500 亿参数的模型了,进展很顺利。跟清华的老师们去聊的时候,他们很惊讶我们的进展。年底前我们会发布对标 GPT-3.5 的大模型,有信心今年年底做到国内最好。

品玩:现在有一种观点认为,GPT3.5 以后大模型不再适合创业公司来做了,创业公司跟着后面重新做一个大模型意义不大。因为拼的还是大力出奇迹,集中力量办大事。

王小川:行业中有些人对未来的观点从来就没有判断对过,一直活在平行宇宙里。大模型就是需要时间长一点,认真一点,而钱也不是唯一重要的。
我们看到清华学生还是很优秀的,而且他们团队结构比较简单,好多大公司反而被自己复杂的人事困住了。

品玩:所以一些即便有技术积累的大公司,其实也有它固有的问题。

王小川:你首先需要纯粹简单专注的组织结构,从愿景开始能把团队不断升级,就像小孩子逐渐长大的过程。第一天就拉着小孩在这里面做明星是不现实的。有些公司虽然有大模型这个底子,但没碰好就练歪了,上战场更难受。

品玩:但我们看到最近新发大模型产品的公司,中美两地最先跟进 OpenAI 很多都有搜索背景,比如谷歌、百度、360 等。你本人也是一手把搜狗做起来的人。是不是搜索公司,确实有一些先天的技术优势呢?

王小川:因为今天首先是语言模型,搜索公司做语言确实有先天优势。而且搜索公司的经验是比较完整的,从数据清洗、转化成模型,到最后上线提供服务、甚至在数据安全这一块的经验,其实都干过。公司的组织结构和评价体系,也都有相关性。所以搜索公司起步的时候的确是有优势的。

品玩:大家说「大模型是炼丹,prompt 是写咒」。这对很多 AI 从业者来说会有幻灭感,因为你不知道哪一个环节就会带来质变。那你作为一个 AI 的科学家,你该如何评估你的进程和成果呢?

王小川:我们心里还是有底的,因为这个东西是有价值的。所以即便没有像 OpenAI 那样在短时间内激发起那么多智能,我们也能先让它变成国内最好的企业,给人足够的服务。
它可以服务很多已经存在的场景:比如搜索里面接入,会比传统的搜索引擎好用得多;你跟这个医疗数据接入,会让医生更靠谱。
那个智能的终极,我们永远都会去追求。但是我们跟 ChatGPT 不一样的地方是,我们需要追求落地的场景是不是用得着。你炼出一个「长生不老丸」,我炼出一个「延年益寿丹」行么?

品玩:我们现在做的还是通用大模型,像 OpenAI 其实很少提场景的问题、提供的接口也比较少。所以「长生不老丸」与「延年益寿丹」,这两个目标是否存在矛盾?

王小川:过去有句话「做中国的 OpenAI,不要只做中国的 ChatGPT」,很多人觉得高级,但是这话错了。
比尔·盖茨把 ChatGPT 叫做「像发明 Internet 一样伟大」,黄仁勋叫做「iPhone 时刻」。不过这两句话讲的不是一个意思。
「像 Internet 一样伟大」是说大模型的意义,这个大模型「能读、能写、能理解」,能够产生很多想象力;而黄仁勋讲的「iPhone 时刻」,是指 ChatGPT 带来的这种人机交互、人机关系发生变化。后者更多落脚到人的变化,而非技术。
ChatGPT 其实是代表了新的人机界面和入口。今天看起来好像微软把它包住了,只是作为微软的一个工具,就像 Google 刚出来的时候只是雅虎的一个搜索框。但未来,ChatGPT 反而是有更大的发展空间在里面,所以在我心中以后 Office 可能都是不需要的东西。

品玩:我也认同 Office 以后就不需要,但搜索引擎呢?

王小川:我觉得一个可以叫 GC(Generate Content),一个叫 IR(Information Retrieval)。这两个模型一个像是相对论,一个像量子力学。IR 的代表是 Google,很多细节都知道,但并不抽象。GC 的代表就是 ChatGPT,压缩成一个模型、把细节全丢了,也不实时更新,把所有知识都融在了一起。
在中国我觉得它是有机会的,把检索模型和搜索模型装进 Chat 里,形成一个带有搜索功能的底座。对我们而言,我们第一天的动力就是要把这个装进去。但我们不是要做新的搜索引擎,而是把搜索能力嵌入到 Chat 里面去。

品玩:有些人认为,OpenAI 成功原因之一,是它在企业和学校之外创造了第三种类型的组织形式(OpenAI Nonprofit)。你是经历过细分 AI 领域创业潮的行业领军者,现在也在做大模型创业、对接了很多学校的资源。如何看待新业务对组织结构上带来的潜在变化?

王小川:我认为观察公司内核是第二位的,因为你想从外面打开看里面肯定是看不完整的,最好是从外面看它对外提供了什么样的东西。比如 OpenAI 最早是提供 AGI 认知能力、一种「知识」,像大学里的东西;但当它一旦变成公司,它就变成提供产品和服务。
所以大模型确实既需要研究能力、也需要产品能力,而工程能力是夹在中间的。它只有先发现「知识」,再转成应用。在发现「知识」这件事情,OpenAI 已经突破了天花板。所以我们研究的压力相对小,更多要学习应用的事情。
其次,中美不太一样的地方是,我们有很多优秀的人才其实是固定在高校里的。所以企业需要与它们有很好的合作。所以你看到清华大学很多资深的、甚至院士级的老师,都会对我们有很多的支持,这也会降低我们研究的压力。

品玩:我们公布模型等技术成果的时候,会同时考虑发论文的事情吗?

王小川:可能会和高校一块发吧。
但我认为这不是这场战役的关键。
今天当然自己是需要研究的,但很多也会放到学校里。依托高校是需要的,我们很多人才储备也是从高校中过来。

品玩:大家讨论的中美之间的大模型竞争的时候,都会不约而同讨论语料库的问题。很多人觉得英文的语料库天然很好,而中文就会相对受限一点。你怎么看待这个问题?

王小川:目前我们中英文的都会用,同样也有很多不错的英文语料来源。这就跟教小孩一样的,最终都是靠开发者利用很多机制去调语料的来源或者比例。
就好比爸爸讲英文,妈妈讲中文,但里面的东西是一致的。不会因为他用中文学的医学知识,换成英文就不会了。他在知识层面是一样的。

品玩:那算力的问题呢?

王小川:对于我们来说,都不会有太大问题。
也像刚才说的,我们不是第一天就要对标「长生不老丸」,而是在路上不断去接近就够了。

品玩:这还是一个「中国互联网智慧」,我们可以做一个落地更好的。

王小川:我觉得没有打过仗的人,都有一些理想化的东西在。他们对中国 AI 大模型的理解,要么太 low、要么太伟大,这其实都不是一个现实的中国 AI 大模型。

品玩:是,我们要面对的是一个复杂的东西。

品玩:你之前发微博,讲中国要做中国的 OpenAI。你是在做这件事情里,唯一提到了四个字叫「爱国之心」。这四个字,你怎么解释?

王小川:我在研究生物学的时候,意识到其实我与细胞都是生命体,所以慢慢接受一个概念叫Being。无论一个国家、民族、企业、个人、甚至文化,都是 Being。而我也是更大的「大我」中的一部分。后者是有完整归属感、甚至是永恒的。
「你是谁」跟你做的事情是息息相关的,反过来你在做什么也可以反过来验证你是谁。
有句话叫「天下为私」,我觉得比「天下为公」更高级。这是一种融为一体的感觉。其实也是我们回答终极问题的一部分。

品玩:那这会让你的大模型有什么不一样吗?

王小川:我们跟全球大同是有的,但也有互相排异的部分。但首先我们有基本的期许,就是要让中国更好,你不能做任何有害于中国的事情。

品玩:怎么看待 AGI 的「终局」?

王小川:其实大家对「终局」的讨论都蛮肤浅的。我们应该先问「终局这个世界长啥样」,而如果只是讲 AGI 是底座,这是没有画面感的。
过去工业革命的逻辑是分工越细、效率越高、越规模化。但我们在智能这扇门的面前,可能是「逆社会分工」。
机器使人被普适性地赋能,更像人类拥有了搜索引擎之后,实现了信息获取的普惠化。而我们现在是获得知识和服务的能力普惠化。
人最终从工作中解放出来。所以产业未来会变平,深度会压浅、广度会拉开。人的工作会更加多元化,未必要像现在一样,必须处于流水线中串在一起才能获得结果。所以是「逆社会分工」。
所以 AGI 可以给人带来更平等。它可能会更像是一种文艺复兴,将重新定义人是什么。

品玩:跟 Sam Altman 这样顶级创业者很像,你似乎也是中国这一波互联网创业者中,很喜欢思考和表达文明级别宏大命题的人。你要思考过为什么吗?

王小川:这个话题有点太大了,能聊两三个小时。但我觉得可能首先是我内心强烈的意识,人是平等的。所以我不只是想要从产品和市场的角度去满足用户,而是一直想追问我和这个世界的关系。

编辑:晓月 / 深圳湾

>>
Back to top btn