1990年代中期,黄仁勋30出头,他创办的英伟达还没完全站稳脚跟,他希望如日中天的台积电能代工英伟达的显卡,他打电话过去,没人搭理。
多年后,他还在向张忠谋抱怨这段往事:“当年给你打电话打不通也没人回,是不是我电话号码记错了?给你公司在美国的销售部门打电话也没人接。”
今天,全球科技界恐怕没有几个人敢不接黄仁勋的电话,这个当年求人代工显卡的小伙子被称为“教主”,在3月21日的英伟达GTC大会上,他穿着标志性的黑色皮衣出现台上,说出了石破天惊的一番话:我们正处于AI的“iPhone时刻”。
2022年11月,大语言模型ChatGPT问世,预示着能生成自然文章和图像的“生成式AI”将在社会普及,给世界带来颠覆性的改变。而支撑这幅图景的,有英伟达的GPU——AI时代最重要的基础设施之一,GPU提供算力,犹如AI时代的原油。
2020年,全世界跑AI的云计算与数据中心,80.6%都在用英伟达的GPU驱动。2021年,英伟达称全球前五百个超算中,七成由它家的芯片驱动,在最新的超算系统中此比例是九成。运行ChatGPT的微软数据中心用了上万块英伟达H100 GPU。后续,预计需要超过3万块英伟达的GPU来维持更高版本的GPT模型运转。
如同1970年代的欧派克一限产,全世界的汽车都缺油。现在只要英伟达一断供芯片,管你天高股价、地大营收,全球前十大企业里,至少有一半要地震。
黄仁勋和他的算力帝国,已经能扼住时代命脉。这其中,有着通往未来30年的秘密。
十年前悄然发生的革命
2023年英伟达GTC的主题演讲中,黄仁勋专门提到了生成式AI的飞跃:
“十年间,我们从自动判读猫图,进步到能自动生成‘穿太空服的猫在月球漫步’的图片。”
皮衣老黄真不忘本。无论是“AI的iPhone时刻”,还是英伟达成为“算力油田”,都是蓄力于前,发端于自家的“猫片”。
2010年的一天,加州帕罗奥图市的琼安咖啡馆里,刚做上英伟达首席科学家的比尔·戴利(Bill Dally)和当时在谷歌大脑供职的AI界宗师吴恩达(Andrew Ng)聚餐。
十余年过去后他们会发现,正是这场会面,无意地打开了一道通往AI新世界的大门。
两个老友在席间聊起了吴恩达当时课题面临的障碍:训练神经网络AI的算力不够了。
具言之,谷歌要用数千万条YouTube视频来训练神经网络AI分辨猫与人的不同。而当时AI界的领军人物们仍然习惯串联CPU来执行此类任务。吴恩达预计,要完成课题得用1.6万块CPU。
就算是从不缺钱的谷歌,也不会给公司内任一研发项目组轻松批下买1.6万块CPU的预算。AI宗师当年也被难住了。
戴利听完老友诉苦,认为自己有现成解决方案:不就是在线寻猫片么,何必整1.6万块CPU,用我们英伟达公司的显卡产品,几十块就搞定,你信不信?
当时英伟达虽已制霸世界独立显卡业,但名声还只局限在极客、硬核游戏玩家、图形设计师等非普罗用户中。谁也不知道,这将是英伟达公司与人工智能行业双向奔赴、双双出圈的起点。
随后,戴利找上刚从加大伯克利分校招到英伟达的非正职研究员布莱恩· 卡坦扎罗(Bryan Catanzaro),请他帮忙。卡坦扎罗很快找到了解决方案:并联12块英伟达GPU成功驱动了吴恩达的神经网络模型,并联48块GPU就能获取预计要用1.6万块CPU才有的理想效果。
论文一出,学界响震:居然有这种好事?
两年后,AI界泰斗辛顿(Geoffrey Hinton)和学生克里泽夫斯基(Alex Krizhevsky)、萨茨克维尔(Ilya Suskever)效仿此举,用英伟达的GeForce GTX 580显卡训练由克里泽夫斯基提出的神经网络模型AlexNet,夺得ImageNet图像分类竞赛冠军,成为AI技术飞跃的奇点。
从此,英伟达在深度学习芯片市场上撒腿狂奔。2013年内,英伟达在全球深度学习芯片市场占有率是100%。在上个世纪能源是石油,在这个世纪能源是算力。以后的新时代里,黄仁勋的黑皮衣,如同上个世纪海湾国家显贵们的白罩袍,都是唯我独尊的霸主象征。
十余年过去,泰斗和宗师地位更高,年轻人也成了行业大佬。卡坦扎罗现在是英伟达副总裁、深度学习应用研究部负责人,萨茨克维尔现在是OpenAI的首席科学家、联合创始人、GPT系列大模型集合之父。
左为黄仁勋,右为萨茨克维尔
ChatGPT面世后,意外风靡世界,被称为AI技术革命的开始。然而即使这个大模型集合如OpenAI一开始预期的,作为GPT3到GPT4之间的过渡实验版本简单飘过,AI技术革命的下一个出圈爆点,钥匙还是会掌握在英伟达高层的朋友圈里。
因为算力的扩张与通用、技术的开发与布局,是英伟达成功的因由。
一炮打哑,老黄吃瘪
大人物功成名就后,一般会支楞起来。
2018年初,《财富》杂志举办的活动中,有人问黄仁勋:你何时知道英伟达公司将会改变世界的?黄仁勋答:1993年2月17日,我成立公司的日子。不改变世界,我创个什么业?
皮衣哥自己说得响,但1990年代中,英伟达的运营低谷时账面上曾只有6个星期的资金,离关门一步之遥。
人尽皆知,英伟达靠开发显卡起家。然而黄仁勋创业的初心,与其说是做显卡,不如说一直都是求索算力提高的途径。
在1990年代,多媒体犹如近年的元宇宙、数据可视化犹如当下的生成式AI,都是从投资者到消费者都追捧的热门技术话题。多媒体与可视化数据在当年的舆论浪潮中,被夸到小可以养妻活儿、提高工作娱乐效率,大可以改天换地、重写行业经济版图。
这些技术的基础,是图像数据处理的更佳质量与速度。如果游戏、视频、PPT们始终停留在1992年的粗粝画质,啥都无从说起。
世界首款大卖FPS游戏1992年《重返德军总部3D》与2001、2019年系列续作的画质对比
1995年,全球有三十家大公司在显卡市场上竞争。
然而追逐时尚比想象中要难。创业公司得决断:是专注个人电脑(PC)端的业务呢,还是专注特定公司的娱乐主机业务呢?是只做图像呢,还是做多媒体通抓音画呢?
尽管当时没有“赛道”的商业新话,企业家抉择的难度并不低于现在。
英伟达的创始概念是加速计算,即用特制设备来为CPU的运算工作减负提速,最简洁的落地方案,自然是堆算力造显卡处理图像。
筹到250万美元后,于1995年5月推出第一款产品:NV1。以现在的后见之明看,NV1的最大作用是给黄仁勋提供了反面经验:这种产品做得很好,以后千万不能做了。
出于为当时的游戏主机巨头世嘉公司服务的考量,NV1最突出的特色,是兼容世嘉游戏在PC上的运行,与业内既有和将出现的其他PC端3D图像程序基础架构的兼容性不够出色。
当时世嘉公司有意将游戏业务从街机、主机端扩展到PC端,NV1的努力迎合了主要合作商的需要,但局限了自己的市场潜力。而且NV1兼具显卡和声卡功能,偏离了加速计算基于图像落地的初衷,产品定位有欠清晰。
NV1没有一鸣惊人,英伟达公司却非一无所获。黄仁勋藉此从风投机构融了650万美元的第二轮投资。
不过在1997年8月推出新产品Riva 128前,英伟达已经裁员过半,银行账户只剩不到6周的流动资金。办公室既窄小,地段又不佳。剩余的员工们不仅要在乒乓球桌上吃饭,连停车场也只能蹭旁边富国银行的,而这家网点已经被抢劫过两三回了。
英伟达现在的公司总部
头炮打哑,只要教训真记住,对创业企业家来说并不完全是绝路。
虽然黄仁勋在各种活动上说创业首年的雇律师、订办公室早饭等各种经验非常宝贵,但从1997-1999年上半年的英伟达三款产品看,他记住的显然不止这些。
英伟达的过往,映照着它的未来。
把摩尔定律“卷”到极致
英伟达此后的转向,一是主业放弃多媒体,专做PC端的显卡。
1990年代中期,游戏业的热门话题是从主机/街机走向PC,而不被注意的潜流是游戏同时在从PC单机走向PC端多人在线。关于图形渲染的硬件性能需求因此与日俱增。只满足这个缺口,已经足以养活整个行业。
二是垂直整合显卡的配套软件,自行开发显卡驱动程序和拓展软件开发工具包(SDK,software development kit)。
过去的惯例是,英伟达这些显卡研发公司把设计交付主板芯片生产商之后,由生产商自己分包给另外的承包者写显卡驱动。至于用显卡做图形设计等专门工作的终端用户、PC运行系统的开发商,与显卡研发者没有直接配合。凡此种种,局限了显卡的性能潜力和用户体验。
1996年,英伟达专为配合微软当时刚推出的Direct3D图形渲染插件,写了自家显卡驱动程序。1998年开始,英伟达公司会定期即时更新自家的通用显卡驱动程序。此举持续至今。
三是全力秉持和实现摩尔定律。这是英伟达现在成为全球算力第一供应商的基础。
不久前去世的英特尔联合创始人戈登·摩尔(Gordon Moore),在1965年提出了摩尔定律:集成电路上可容纳的晶体管数目,约每隔两年便会增加一倍。衍生的推论,是每隔18个月,芯片的性能就会因此提高一倍。
英伟达公司的决策层,立志要将摩尔定律永续实现。
从1990年代后半叶开始,英伟达的产品设计与研发部门一直有三个部分同时工作:一部分负责本年度新品的设计,一部分负责去年出品的翻新挖潜设计,一部分负责明年新品的设计。每款产品之间,基本要有一倍的性能提高,如果显存没有涨一倍,那么核心频率就得快一倍,如果都不行,那么至少制程要明显缩小。
如此的结果,是英伟达每半年至一年就会推出性能换代的新品,1999年之前的产品内部代码全叫NV,即“下一版”(Next Version)的首字母缩写。其他同业公司跟不上如此搏命的步伐,纷纷退出竞争。
1995年的三十家显卡设计大公司,到1999年末只剩下三家。英伟达与之后被AMD收购的ATI,并肩收割游戏玩家、专业设计师等高性能显卡用户的市场份额。英特尔依靠PC主板的垄断生产商地位,包揽主板集成显卡的低性能用户市场。
1999年10月,英伟达推出GeForce 256,在营销中称“这是世界上第一款GPU”。同年,过去占据显卡市场龙头的3dfx公司破产,被英伟达收购。显卡业告别创业者纷纷崛起的时代,进入了“红绿蓝三国战争”的时代(按商标颜色不同的消费者昵称,“红厂”为AMD、“绿厂”为英伟达、“蓝厂”为英特尔)。
在20世纪的末尾,没人知道这场竞逐的结果,会决定之后由谁主宰世界算力的供应。
干翻英特尔和AMD
经过20年,红绿蓝三厂竞争显卡市场霸主地位的结果揭晓:“绿厂”英伟达胜出了。
这场“三国演义”里,“蓝厂”英特尔一直是配角。凭借全球PC主板市场的垄断地位,英特尔的注意力一直放在CPU而非GPU。在英特尔眼中,要提高性能,得整个主板的整全性能一起提升,只提升图像处理的速度,那是偏门小道。
所以英特尔做显卡只是占位,表示这个市场的钱自己还是要赚点,没有完全放弃。这个策略的结果,现在已经被人做成了搞笑哏图。
究其原因,是CPU要负责整个电脑主板的序时性复杂运算,而GPU在成为通用类芯片前只需负责图像处理的并时性简单运算。如下图所示,单个CPU的控制元件、基础运算单元(ALU)、缓存(Cache)等,都比单个GPU数量少而负重大,因此提升性能的设计与制造难度都远更高。
黄仁勋多次说过,以CPU而言,摩尔定律已经过气,英特尔CPU性能翻倍的最快时限是每五年。然而他家的GPU嘛,还是每一至两年内性能翻倍的哦。
真正的激烈竞争,发生在英伟达和ATI/AMD之间。
这场角逐的早期,英伟达并不显操胜算。在2006年被AMD收购前,ATI出品的显卡,无论更新速度还是单个性能,都屡有明显优于英伟达竞品的佳作。高端显卡的世界第一,在2000年代前半段看不出究竟属谁。
但ATI在这场竞争中已经后续乏力,英伟达的产品更新与性能提升速度,始终达到了摩尔定律的金标准。而ATI的产品更新目标,从胜过英伟达竞品,逐渐变成了赶上英伟达竞品。
ATI/AMD因应此形势的对策,是改作中端显卡:比英特尔的集显性能强,比英伟达的高端显卡更便宜。并且在营销中攻击英伟达的竞品又贵又耗电:顾客大爷你们千万不要被它越来越吓人的性能参数骗了,不是物超所值的哦。
2006年,ATI被AMD收购,英伟达少了一个强对手,胜算增加。
唯一的变数在于芯片代工厂。
显卡业的过往通则,是ATI、英伟达等品牌企业管设计,然后将设计方案交付给芯片厂,委托它们制作成品。
当然,不是没有公司想囊括从设计到生产的全链条,但此举一般会给自己带来双倍的麻烦:以前承接你生意的芯片厂合作伙伴,以后就是要抢你生意的竞争对手。1990年代从显卡龙头到被英伟达收购的3dfx,就是如此把自己玩破产的。
在被收购前,ATI是台积电的大客户。但收购之后,2009年AMD与半导体大厂格芯签约,所有芯片都交由格芯制造。而格芯在芯片制程缩小的技术革新中逐渐落后于台积电,带累了AMD的所有产品,包括显卡。
与之相对的,是英伟达与台积电1997年敲定的合作关系合作越发紧密。
而这两家公司的牵手之路,颇有戏剧性。
1990年代中期,台积电已经是市值近60亿美元的大公司,英伟达没有上市,年营收2700万美元,两者体量差距不小。正如本文开头所述,黄仁勋给张忠谋本人和台积电美国办公室打电话,没人接。
最后,黄仁勋做出了科技史上的著名举动:给张忠谋写纸信。1997年,人在新竹的张忠谋收到来自美国的黄仁勋的信函后,大感兴趣,如信中所邀,给英伟达公司办公室回了电话。
在张忠谋的回忆中,黄仁勋接电话时,办公室背景音嘈杂。在互相通名介绍后,皮衣哥不得不在公司里怒叱:“都闭嘴!悄声些!电话那头是张忠谋!”等到两人第一次见面,黄仁勋先讲了半天图像加速运算的产品理念,张老板表示非常认同,反手递来宣传单。黄仁勋本以为轮到台积电介绍自己的技术与产能了,结果打开一看,是讲公司价值观的。
英伟达在这段合作关系的初期如此伏低做小,越往后收获越大。台积电的芯片制程每年都在缩小,集成电路上的元器件现在已经微缩到物理极限,无法比原子更小。芯片的精密度与日俱增,算力也跟着有数量级的飞跃。
“显卡战争”的结果,是英伟达胜势如潮涌,成为显卡业的世界第一。制霸高端显卡市场的英伟达,有足够的营收来打中端显卡、低端集显的价格战,产品与技术研发也有更充足的预算。
今年奥斯卡颁奖礼前,英伟达公司官网称:竞争“最佳视效”奖项的五部电影,视效都是用我司的芯片和基础技术做出来的
英伟达的技术优势,从一步领先,到一骑绝尘。生成式AI爆火之后,2023年2月英特尔和AMD的CEO也在疾呼:我司有广泛的产品门类适合此行业,明年生成式AI将会更加主流普罗化、更有意义。
这简直是在哀求:时代的脚步啊,你等一等,别让姓黄的把这份钱都赚完了。
通用算力,一统江湖
胜出后,英伟达的显卡研发没有放缓,算力持续增强。在2000年代后半叶,英伟达就开始着眼未来,研究这些算力的未来用途。
2006年,英伟达推出CUDA开发平台,软件开发者可以通过这一平台,使用C语言编写GPU片上程序,来完成复杂的计算。GPU从此实际脱离图像处理的单一用途,成为了真正的GPGPU(通用GPU)。
强大的算力一旦能通用,成为其他行业的驱动力就是迟早的事。英伟达本身最先想通了这点,在AI领域的布局远比公众想象的早,技术领军人早就和英伟达关系密切。
2010年的吴恩达寻猫片典故之前,2008年卡坦扎罗加入公司,他当时在加州大学伯克利分校做研究生时,就将注意力集中在为AI开发GPU上。2009年,AI界泰斗辛顿在学术会议上,劝上千名研究者赶快买GPU,那是深度学习的未来之光。2016年,微软技术大拿黄学东创下了语音识别AI错误率与专业人类速记员持平的纪录后,得奖开香槟的地点,是黄仁勋的大别墅。
2010-2012年的深度学习飞跃开始后,英伟达已经是稳赢不输的世界“算力油田”,把握数据量与运算速度的世界巅峰。之后所有挑战都能克服,所有阻难都是表象。
英伟达把自己强大的GPU拓展到其他行业的尝试并不是次次得手。Tegra芯片最终没有成功进入手机市场,挖矿芯片随着加密货币潮的褪热前景黯淡,与特斯拉在自动驾驶系统的合作无疾而终,2022年黄仁勋“元宇宙将挺过任何经济下行”的预言现在像个玩笑话。
然而这些不成功尝试是力不虚掷、功不唐捐的。Tegra芯片装不进手机,那就卖给马斯克装进特斯拉车里。为元宇宙开发的Omniverse平台,用来合成训练AI的物理数据,多样性与过拟合规避还胜过了真实世界数据。扎克伯格做不动元宇宙,但黄仁勋的Omniverse却是长做长有。
英伟达的数字孪生体技术,已经足以为地球物理的机器学习模型提供高置信度模拟运算
即使有意竞争者的挑战,最后也成了给英伟达捧场。
2016年,谷歌宣布专门为AI研究开发了机器学习的专属芯片TPU(张量处理单元),并设计了基准测试工具MLPerf。然而在大多数年度的MLPerf测试中,按英伟达员工的自述,“黄总说,我们每次运行MLPerf基准测试时,都要向谷歌证明我们的GPU比TPU运算速度快,哪怕只快一点点就好。”
今年谷歌的TPUv4终于在MLPerf基准测试测试中赢了英伟达的A100芯片,成为业界大新闻:居然有芯片强过了英伟达产品!
蓄势强劲,横绝宇内。从现在到可预见未来的英伟达,如同1970年代至今的迪拜和利雅得:前30年是世界经济的不起眼齿轮,以后就是世界经济的动力舱。一直主宰能源驱动的上游,不管下游行业如何变动,自己都是八风不动。
不管福特和丰田谁赢了家用车竞争,顾客最后都要找海湾土豪买油。不管元宇宙还是生成式AI谁是真正的未来数字产业走向,跑模型的数据中心都要找英伟达买芯片。共生双赢,的确是英伟达赢两次。