深度丨强人工智能的第一步?巨头混战ChatGPT

方文三
ChatGPT一次运算的成本高达450万美元,OpenAI公司净亏损高达5.45亿美元,如若不是背后大股东微软源源不断的输血支撑,OpenAI的ChatGPT早黄了。

360截图16251112669372.png

本文来自微信公众号“AI芯天下”,作者/方文三。

新春佳节后,巨头们宣布类ChatGPT进展

2月,微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎必应和Edge浏览器。

微软股价大涨4.2%,市值飙升800亿美元。

几乎同时,谷歌也将整合新的人工智能到搜索引擎中。

宣布人工智能对话式机器人Bard正在内测,并在未来几周内向大众提供服务。

百度将于3月在中国推出类似ChatGPT的人工智能聊天机器人[文心一言]。

百度港股涨幅快速扩大,截至收盘大涨15.33%。

腾讯、阿里、华为也纷纷宣布正在申请人工智能人机对话专利。

360也于近期在互动平台上表示,计划尽快推出类ChatGPT技术的demo版产品。

ChatGPT的出现提升了自然语言处理能力的上限,打开了人工智能技术商业化落地且成为消费端爆款的大门,因此具有划时代的意义。

360截图16251112669372.png

差异化战略,股价两重天

2022年12月底,谷歌深感来自ChatGPT的压力,迅速抽调员工开展ChatGPT竞品产品的研究。

谷歌已向AI初创公司Anthropic投资了近4亿美元,Anthropic正在进行ChatGPT竞争产品的测试,这家公司成立于2021年,创始团队正是来自于ChatGPT的开发商OpenAI。

谷歌宣布将推出名为Bard的AI聊天机器人,这款产品是基于对话应用语言模型(LaMDA)的实验性AI程序,目前已经开展测试,并在几周内向公众开放。

360截图16251112669372.png

微软更是迅速响应,加快了相关应用的研发。

近日,微软宣布将ChatGPT整合至全线产品中,并扩大与ChatGPT所有者OpenAI的深度合作。

推出由ChatGPT支持的,融入GPT-3.5语言技术的最新版本人工智能搜索引擎Bing(必应)和Edge浏览器。

微软推出了集成ChatGPT技术的新版搜索引擎New Bing和浏览器Edge,这也成为微软在搜索引擎领域对抗谷歌的重要武器。

360截图16251112669372.png

像谷歌和Meta这样的大公司肯定会有一定优势,因为他们拥有人力、技术和财力资源。

因此,这些公司在市场上有足够的空间,这将是一场新的比赛,尤其是在深度和正确性方面。

相较之下,微软和亚马逊选择的应对策略是与OpenAI结盟,试图借其东风。

Bard作为对抗ChatGPT而推出的关键对标产品,可谓是备受关注。

按照谷歌的宣传,Bard是一项实验性对话式AI服务,由LaMDA提供支持,并运用到了谷歌的大型语言模型和网络信息构建。

可万万没想到,赶了个晚集的谷歌却在自己的发布会上翻车了。

发布会中展现的错误答案后,谷歌股价大跌7.68%,一夜之间市值缩水约7202亿元,是截止到目前AI犯过的最贵的错误。

360截图16251112669372.png

出圈背后有AIGC的功劳

AIGC的核心变革,发生在内容层,位于数据层之上。

AIGC在绘画和会话等方面突破的重要性,在人工智能领域相当于2016年,阿尔法狗战胜人类围棋冠军的价值。

ChatGPT最大的意义是让人们看到了一个更加智能高效时代的轮廓。

ChatGP本身也是AI技术迭代到一定阶段后的产物。

服务器+网络开启了人人上网的时代,而算力+算法将开启人人上算的时代。

AI将以场景、应用、内容来创造用户的新需求。

AIGC技术主要涉及两个方面,自然语言处理(NLP)和AIGC生成算法,AIGC投资方向主要包括软硬件与数据集。

以ChatGPT为代表的大型语言模型(LLM)将会成为未来巨头争夺的重点。

ChatGPT展示了巨大的应用潜力,完全不局限于创作文本或者图像。

距离AIGC真正落地以及实际应用还有很远的路。

目前ChatGPT更像一个[玩具],还不是生产力工具。

西部证券则预测,AIGC或在2023年迎来发展大年,来到两年前自动驾驶的应用突破拐点。

360截图16251112669372.png

实现ChatGPT的最大亮点也是最大难点

ChatGPT需要把大模型尽量变成小模型或者稀疏模型,且大模型的训练和使用成本都很高。

除了模型之外的另一个难点在于如何实现ChatGPT后半段的人工过程变成自动训练。

ChatGPT是在大模型的基础上,加入了很多人类反馈。这需要大量的人工,而这部分工作目前是至关重要的。

截至目前,OpenAI已经总计获得超过110亿美元的融资,微软、谷歌风投、马斯克等均曾出手投资,而且其目前并未盈利。

如此巨额的投入恐怕今天的互联网巨头也只能望而却步。

但从另一个角度来说,这也给了创业型团队机会。通过不断深入挖掘某项技术,瞄准特定的细分赛道能够切到一块蛋糕。

360截图16251112669372.png

高算力带火芯片行业

ChatGPT的注册用户便已经过亿,海量的用户访问曾多次导致ChatGPT官网因为访问数太多而宕机。

这意味着,OpenAI要想保证用户体验,它就必须得加大算力的投入。

而这就需要大量芯片的支持了,这无疑直接给本已快陷入沉寂的芯片市场注入了一剂猛药。

ChatGPT的总算力消耗约为3640PF-days,ChatGPT已导入了至少1万颗英伟达高端GPU。

而花旗集团预估,ChatGPT将可能促使英伟达相关产品在12个月内销售额达到30亿至110亿美元。

ChatGPT的大火将促使算力需求大大增加,350瓦推理芯片会成为常态,技术上会推动大模型压缩到达一个新高潮,同时企业和个人的服务有许多可以基于类似技术构建。

高性能计算芯片是一切AI的底层基础,目前AI芯片主要有通用GPU算力芯片和ASIC专用芯片两大类型。

或许在ChatGPT的帮助下,芯片行业将迎来新一轮的市场红利期。

360截图16251112669372.png

ChatGPT带来AI技术范式革新

相比其他大模型,ChatGPT在AI的技术路线和训练方式上的变革,带来了业界意料之外的突破。

①ChatGPT有一个非常强大的技术底座,也就是InstructGPT模型。

此前,GPT与BERT模型路线一直在竞争,2018年时BERT模型先赢了,但GPT模型参数和数据规模越做越大。

最终结合人工反馈增强学习(RLHF),在ChatGPT上取得了重大突破,效果上反超了BERT模型路线。

②ChatGPT引入了强化学习机制,在新版本上引入了人工标注的数据,通过人类的反馈,有针对性地进行优化。

其中的难度在于,建立怎样的强化学习机制。过去业界也尝试了强化学习机制,但很多都不太成功,ChatGPT在这件事上取得了突破。

③ChatGPT在数据质量和多样性上非常讲究。

ChatGPT强化学习的数据量并不大,但对数据多样性、标注体系都有精巧的设计,让数据发挥出了强大的作用。

360截图16251112669372.png

成本导致国内与国外路线不同

ChatGPT的重点在于创造,通过大量的语料训练和强大的纠错能力,对素材进行消化、整理和再输出,这和过去国内关注的云计算或视觉技术是完全不同的思考方式。

而导致上述分别的原因也很直接,那就是成本。

ChatGPT背后有着海量的资料库和庞大的算力做支撑,变现方式目前来看却只有向企业提供服务,替代部分人工作业这一种。

对于产品化而言,即使再将成本下降10倍,这个商业模式也是无法成立的,因为这个成本与人类相比没有优势。

360截图16251112669372.png

背后的支撑是人工智能大模型

当前的人工智能大多是针对特定的场景应用进行训练,生成的模型难以迁移到其他应用,属于[小模型]的范畴。

整个过程不仅需要大量的手工调参,还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率,且成本较高。

[大模型]通常是在无标注的大数据集上,采用自监督学习的方法进行训练。

在其他场景的应用中,开发者只需要对模型进行微调,就可以满足新应用场景的需要。

这意味着,对大模型的改进可以让所有的下游小模型受益,大幅提升人工智能的适用场景和研发效率。

因此大模型成为业界重点投入的方向,Open AI、谷歌、脸书、微软,国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。

特别是OpenAI GPT 3大模型在翻译、问答、内容生成等领域的不俗表现,让业界看到了达成通用人工智能的希望。

当前ChatGPT的版本为GPT 3.5,是在GPT3之上的调优,能力进一步增强。

业界普遍预测,GPT4将在今年推出,并具备更强大的通用能力。

360截图16251112669372.png

ChatGPT的产业未来与投资机会

①ChatGPT模型的出现对于文字/语音模态的AIGC应用具有重要意义,会对AI产业上下游产生重大影响。

从下游相关受益应用来看,包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。

从上游增加需求来看,包括算力芯片、数据标注、自然语言处理(NLP)等。

②随着算法技术和算力技术的不断进步,ChatGPT也会进一步走向更先进功能更强的版本,在越来越多的领域进行应用,为人类生成更多更美好的对话和内容。

360截图16251112669372.png

核心技术之一是Transformer

Transformer技术是近几年人工智能技术最大的亮点之一。

谷歌于2017年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。

Transformer的精度和性能上都要优于之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型。

大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。

目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。

360截图16251112669372.png

如果说传统的机器学习或人工智能是在水下一米的深处探索,那么深度学习的出现将人们带到了一百米的深水区;

而在Transformer、GPT等架构后,从业者们直接能抵达深度超过万米的马里亚纳海沟。

过去5年中,大规模预训练语言模型受到业内越来越多的重视。

今天,全世界的人工智能研究有很多方向,也产生了大量的成果。

但是严格来说,所有这些最令人惊艳的结果,90%以上是基于Transformer迭代来的这些大模型技术得到的。

目前几乎所有的AI任务和项目,都会和大语言模型技术有关联,它已经代表了AI界最主流的科研和技术迭代方向。

未来,ChatGPT与更多的AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。

360截图16251112669372.png

结尾:

ChatGPT勾起人们对步入强人工智能时代的联想,即人工智能具有自己的意向性来设定目标。

虽然强人工智能本身还存在诸多争论,但是分析人士普遍认可,人工智能的发展大年与信息时代新阶段将至。

部分资料参考:新京报:《人工智能大变局:科技巨头迎来ChatGPT“冲击波”》,猎云精选:《巨头混战ChatGPT,新纪元将启还是过度神化?》,数据公园:《ChatGPT“狂飙”》,界面新闻:《癫狂炒作下的科技公司众生相》,每日经济新闻:《ChatGPT让所有人疯狂,深度、准确性或成反攻“必杀技”》,中国新闻周刊:《仍在持续进化的ChatGPT为何如此强大?》,腾讯研究院:《有关ChatGPT的十个问题》

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论