著作转载于华映本钱头图由豆包生成 提醒词：东说念主工智能曼谷 人妖，赛博一又克

大模子行业泡沫正在涌现。

2022年出身的ChatGPT，还是在相等程度上罢了了大模子的Scaling law（轨范定律）和通用才气涌现。ChatGPT自身行为一个末端居品的买卖化也无间有可以进展。据2024年7月的非公开数据，OpenAI的ARR（年频频性收入）还是达到了相等可不雅的41亿好意思元。

但这些收入都是在异常不菲的算力、研发和运营成本基础上罢了的，而且细看最近OpenAI的发展，也很难称得上“胜利”。本年以来，包括联创约翰·舒尔曼和伊利亚·苏茨克沃在内的多位中枢高管已离开，9月下旬更是接连发生了首席时期官（CTO）米拉·穆拉蒂下野与退出参与其最新一轮融资谈判的两大事件。

在华映本钱看来，只须当GPT确切赋能扫数表层垂直行业应用场景，即收时事谓大规模落地实践，以平台方式罢了买卖化，OpenAI创举的LLM波澜才算透彻到来。但面前，非论是在to C照旧to B侧，GPT都更像是一个超等APP，而非一个近似IOS的底层平台。GPT插件和GPTs还是诠释了底座LLM弗成浅易复制IOS的App Store。

天然OpenAI刚发布的o1模子用self-play RL的方法将scaling law推到了一个新的档次，罢了了更强的推理逻辑才气，但上述“平台化瓶颈”并未得到根底改变。各垂直场景面前都尚未看到确切全面爆发的趋势。非论是在创业照旧投资层面，大模子行业泡沫都已涌现。这背后，戒指GPT进行平台型买卖化的根源究竟是什么？

在本年上半年推出的中，咱们先容了在生成式AI的波澜之中，硅谷在Agent、具身、算力、无东说念主驾驶等领域的发展情况，也提到华映花样“有底座大模子算法才气的垂直整合应用层公司”，其时华映本钱已预感了“应用方数据难整合”将是“GPT平台型买卖化”的底层制约。

以下咱们将连合近期在硅谷深入看望当地多位大模子从业者后总结的无数心得，连接对大模子创业、投资的困局以及潜在破局决策进行更详备拆解。

著作篇幅较长，请参考以下目次：

⊙AI投资逻辑困局

应用场景派

底层时期派

⊙时期和买卖化门道困局

东说念主工智能产业化的本色

数据困局

算力困局

⊙潜在破局决策

鉴戒互联网期间的念念考

短期投资计谋

长久可能演变

⊙总结

*笔者为华映本钱国际结伴东说念主、北大绸缪机学士及好意思国南加大多智能体(Agent)宗旨博士，Robocup冠戎行成员、腾讯云绸缪早期T4大家级架构师。本文既非学术论文、也非买卖行研呈文，而是以一个AI学界出身、亲历硅谷多周期的投资东说念主视角分析现况和瞻望趋势。不雅点可能存在许多反共鸣之处，未必正确，但但愿这些视角能对您有所启发。同期，硅星东说念主驻硅谷资深记者Jessica对本文内容亦有孝顺。

1

AI投资逻辑困局

面前AI领域投资东说念主以及创业者 (尤其在国内)主要分红底下两个\"派系\":

>>>>应用场景派

持这个不雅点的投资东说念主，其投资标的是依靠对底座模子的调用罢了垂直行业大模子买卖化的公司，创始东说念主普通是场景侧或居品配景，对于底座模子的深入倡导并非必要。在作念该种投资遴荐时，需要搪塞以下问题的挑战：

1. 瞻望LLM能推动应用场景爆发的底层driver究竟是什么;

2. 这个driver是否能无间、畴昔发展走向是什么;

3. 应用的全面爆发需要履历哪些milestones。

要是投资东说念主对以上问题莫得所有自洽的解答，盲目乐不雅押注应用场景的爆发，将催生投资和创业的泡沫。

>>>>底层时期派

持这个不雅点的VC或创业者更聚焦底座大模子，即底层平台，以为畴昔一切都由AI平台驱动，是以不太纠结表层应用。这些大模子平台公司面前浩繁遭受底下几个瓶颈：

1. 表层杀手级应用迟迟未出现，许多时候需要底座公司亲身下场去场景侧作念定制化录用和践诺；应用少也变成数据闭环无法形成；

2. 表层应用门槛薄，崎岖两层之间的范畴不明晰，底座的版块更新会“不留心”碾压表层应用，如GPT-3.5更新至GPT-4后对Jasper的碾压；

3. 训诲数据首先\"衰退\"， Scaling law靠近停滞；

4. 大模子平台公司对算力越来越依赖，成为\"财富的游戏\"。

前两条其实也正是应用场景派遭受的根底问题，当下在表层应用迟未爆发、以致业界无法瞻望爆发时期点及爆发所需履历milestones的配景下，上述两类投资方法论暂时未能见效。

事实上这两种\"派系\"的区分，恰正是受互联网期间的公司可以明晰切分为\"互联网应用\"和\"互联网平台\"崎岖两层的念念维惯性所影响，但大模子在面前并莫得到达互联网期间这个\"分层解耦\"的阶段，是以这两个派系的离别自己就值得商榷。

1

时期和买卖化门道困局

>>>>东说念主工智能产业化的本色

要破解上文提到的诸多疑问，咱们必须先从倡导大模子乃至扫数这个词东说念主工智能波澜的本色首先。广义的东说念主工智能在1956年的达特茅斯会议即宣告出身，但AI确切的产业化直到2012年阁下AlexNet的出现才罢了。AI产业化主要履历了底下两个阶段：

1. AI 1.0 深度学习 (2012年AlexNet激励)：深度学习算法将海量数据进行训诲后输出模子，来替代绸缪机科学几十年来积攒的算法和礼貌，从而第一次罢了产业化。深度学习的大规模应用是“产业化AI”的本色，亦然“数据界说坐蓐力”的首先。

2. AI 2.0 大言语模子 (2022年GPT3.5激励)：深度学习网络连合多头自防备力(Transformer)，并利用decoder only和自记忆机制，更大数据集带来更大参数目模子的通用才气涌现，罢了了Scaling Law。

这两个AI产业化阶段的最根底点是：第一次制造了对于数据和算力的充分应用和依赖。针对这少许，咱们快速对比一下互联网和AI这两次大的波澜：

以上这些是LLM之是以能推动应用场景爆发的底层driver，但同期也制造了极大的门槛和困局。

>>>>数据困局

咱们先聚焦在数据这个维度，一个可以达成的共鸣是：自称“AI驱动”的企业都必须领有饱和的独到数据，才有饱和的护城河。只依靠调用底座模子而不掌执也不积攒独到数据的“AI公司”，即便径直调用API的短期后果很好，也并不具备长久价值。GPTs和类Jasper公司的快速调谢已证明了这点。

那些宣称领稀有据的AI公司，也频频被数据的双刃剑困扰，即数据行为上风的同期也会制造瓶颈。针对这些公司咱们须先问底下的问题：

1. 面前掌执的独到数据从何而来，数据量多大，是否有饱和的“独到门槛”；

2. 独到数据清洗、抽取的成本是多大；

3. 清洗后的数据如何训诲进入到垂直模子，从而推动底座模子在垂直领域进一步提高才气，推动Scaling law。

弗成完竣修起以上问题的“AI公司”，都靠近长久价值主张是否成就的风险。但即便能满足这些条目的垂直领域公司，又会面对以下挑战：

1.用户的独到数据和底座模子的预训诲数据在最终后果呈现的归因上无法芜俚解耦，应用层和平台层两边中枢价值的范畴不明晰。这个“紧耦合”同期也体现到了出现纰谬之后包袱的切分上；

2.用户的独到数据在推动底座模子在垂直领域连接出现才气涌现的无间成本过于不菲。最径直的成本来自于数据清洗成本和算力搭建、运营成本。

*大模子的应用场景客户类型

咱们先来看LLM的四类典型应用场景的用户，以及他们如何利用独到数据：

1. C端末端用户：径直和GPT聊天，或者利用浅易提醒词工程，这里可以看作也在通过提醒词使用自身一些浅易的用户独到数据；

2. B端末端客户：径直调用LLM的API接口来利用提醒词工程；或将独到数据向量化后存入向量DB，再作念RAG；或通过微调生成一些特定卑鄙任务模子。 许多这类客户反映有可以的后果。

3. B端行状践诺公司：匡助上述B端客户当中不具备这些才气的公司来录用和部署这些历程，尤其是RAG和微调。

4. 纯买卖化居品公司：利用自身前期积攒的垂直领域独到数据、在底座模子上生成垂直模子后，以标准化居品的方式行状我方的C端或者B端客户，赢得买卖化呈文。

前边三类LLM的应用场景事实上都罢了了可以的后果和买卖化，亦然OpenAI及近似底座模子企业买卖化的主体。但这些并弗成相沿LLM需要完成的平台性的买卖化生态。只须当第4类公司大规模出现之后，LLM的平台性质的买卖化才能确切爆发。严格来说，第4类公司里面有一部分是现存的熟谙阶段公司， 如Adobe、Salesforce、Netflix等，他们借助LLM的才气擢升了原本的居品，从而更好的行状了我方的客户。对比互联网期间，它们更近似之前的线下零卖公司如苏宁、借助互联网修复了苏宁网购。但咱们更倾向把他们归到第2类公司。

咱们确切期待的是：与当年互联网期间的Amazon和淘宝这类新式纯互联网零卖企业对应的AI期间的“原生应用”企业首先涌现。这么才能推动AI应用的大潮。可惜的是，面前从这类AI原生应用公司的末端客户的使费用上判断，并莫得看到规模化的迹象，因而业界束缚有“大模子是否到了瓶颈或者泡沫化”的研究。

*垂直行业企业独到数据暂未被充分利用

聚焦上头列举的扫数B端公司，尤其是繁多垂直行业的企业，如金融、医疗、法律、教导、媒体、旅游，制造业等。无疑这些垂直领域的繁多企业还是领有无数历史积攒的独到数据，即企业自稀有据或专科的行业数据。而这些独到数据是否有用赢得充分利用，将极为症结。

鉴于上文进展的AI产业化的实质，数据利用还是成为大模子期间scaling law延续的基石，这点与AI之前的期间形成了显着分界。因此咱们对于独到数据是否得到充分利用的界说是数据能否匡助推动scaling law，即能否无间促进最终大模子的才气涌现。这里轮番探讨一下面前几种独到数据主流利用方法的实质和现况：

丨提醒词工程、崎岖文体习

这些数据利用方法在C端以及小B应用里面占很大比例，实质上都可以归结为浅易或高等的API调用。推动底座参数才气scaling law的力度有限。

丨RAG(检索增强生成)

是面前利用大部分企业独到数据事实上的最浩繁实践。其实质是检索加上极其复杂的崎岖文体习。有时会连合Langchain等编排以及Agent智能体的方法，如微软的GraphRAG等。RAG要确切利用好的时期门槛其实比大部分纯应用公司能承受的水平要高，许多会触及底座模子的细节，是以当今频频依靠第三方行状公司去完成。

同期业界对于RAG是否能最终推动scaling law也有许多争论，笔者倾向于借用许多之前文件里对于“学生参加开卷考验”的譬如：一位本科学生参加法学考验， 但他从未学习过法学院的讲义，考验时在他面前放了一堆可随时查阅的法律竹素，同期教化他一套极其复杂的查阅(检索)的方法，学生不需要都记取这些书里信息，只需遭受法律问题时随时查阅就能给出可以的谜底。但这扫数这个词过程是否确切让他领有了法学院学生的才气并无间擢升、即推动了scaling law，值得探讨。

丨微调

企业客户基于底座模子作念微调的后果在业界并莫得共鸣，许多从业者反映后果可以，也有不少反映风险大且后果未必好，面前不雅察到的事实是微调在企业场景应用实践少于RAG，而况时期门槛比拟RAG更高，尤其在RM (奖励模子) 和 PPO (近端计谋优化) 方面，以致简直需要有很强底座模子训导的团队参与。

追思历史， Google早期的BERT架构就界说了“通用任务预训诲+卑鄙任务微调”的历程，后果很好；进入GPT期间后，该架构得到延续，但因底座模子加大，微调成本升高，禁锢底座才气(淡忘)的风险增多，是以OpenAI主要用它连合垂直领域的东说念主类监督数据来作念对皆微调：SFT， RLHF (包括RM、PPO)等，来摒除无益、误导或偏见性表述，对皆才略域的价值不雅和偏好。延用上文对于学生的譬如，这类对皆式的微调有点近似于想让本科毕业生尽快进入律所责任，但并非用法学院深造来增多他们的法律专科学问，而仅仅通过密集的上岗培训来让他们具备法务的话术和基本修养。

至于其他更多各类的微调方法，现实利用案例似乎并未几，时期罢了也常堕入矛盾：一方面想改造一些底座的网络参数，一方面又不敢动太多参数而亏空底座的通用才气，这个轨范要是不是底座模子团队我方，其他东说念主可能都很难掌执。全量参数“微调”还是接近下文说起的再行训诲，风险和成本都增多；而非论是冻结照旧低秩稳健(LoRA)的方法，面前也都无法所有幸免风险。事实上即便只作念对皆微调，能作念到最安全且最优后果的可能也照旧对底座模子罢了终点熟悉的团队。

丨Agent

大限度上可归类于后训诲的高等技能，其中包含Langchain等编排同期连合反念念、计议、驰念、用具使用、协同等产生LLM屡次调用的方法，以及包括进阶RAG里面利用的诸多技能。Agent无疑是畴昔趋势，但利用尚在早期，有待进一步深化探索。面前非论表面照旧实践上，都还暂难诠释是否分解多形式后对LLM的系统性反复调用 (multi shot) 就能让底座LLM延续scaling law，尤其是如何让独到数据更好地孝顺于这个延续，尚不明晰。

丨再行预训诲、连接训诲

企业径直用我方的独到数据连合底座模子来再行训诲我方的垂直模子，这在面前看明显最空虚际，因此在普通企业用户里面利用的案例无疑最少，除了算力和成本要素外，还有以下原因：

· 再行训诲的独到数据和通用数据集的量与质地的配比很难掌执，这是底座大模子厂商的最中枢机要和护城河。配比不正确，训诲后模子的通用才气会大幅下落 (晦气性淡忘)。对于连接训诲，也需要去推测底座模子用的通用数据集以及他们预训诲到达的checkpoint等。Bloomberg利用自身大规模独到金融数据再行预训诲出来了垂直金融大模子BloombergGPT，但后果欠安，使费用很低，梗概率是这个原因；

· 莫得企业客户兴盛径直把我方的独到数据径直拱手献给底座大模子公司去融合预训诲。以致许多自己领有底座模子的巨头的里面应用居品部门也不肯意里面孝顺这些数据。

尽管业界有不雅点以为企业用独到数据再行训诲相对RAG和微调上风并不大，但应该无东说念主所有磋议这个上风。尤其当企业和底座模子侧能充分融合、即数据、训诲算法乃至团队充分互通的时候，上风照旧具备的。但是如何能规模性地达成这种设想化融合而摒除上述的割裂，正是GPT类底座公司确切买卖化的宝贵：

·垂直行业企业：领有无数垂类数据，但对底座模子的训诲算法、数据集乃至预训诲到达的checkpoint都不了解；

·底座模子公司：难以触达和获取扫数企业客户的垂类数据。

因此领稀有据的场景方和领有训诲算法的底座方在实践中产生了割裂，大模子时期栈的崎岖两层不仅莫得相互促进而产生飞轮效应，反而互为制约。

企业独到数据无法所有参与底座大模子的连接训诲，是变成“数据不及”窘境的蹙迫原因。一方面衔恨预训诲数据“衰退”，一方面又弗成充分利用垂直行业的独到数据，是当下类GPT架构的一大缺憾。尽管业界也有无数对合成数据或仿真数据的探索，但其成本阻抑和输出质地都仍处于早期。过度防备成本高且质地错杂的合成数据而毁灭已有的大规模垂直行业数据的作念法也值得深念念。

要而论之，GPT界说的主流“底座预训诲 + 独到数据RAG或微调”的架构暂时无法推动更大涌现。垂直应用场景企业的独到数据尚未能充分孝顺于scaling law进度，这是大模子面前未触发大规模落地应用的中枢根源之一。

>>>>算力困局

为冲突英伟达显卡带来的高额算力成本参预的僵局，许多卑鄙行业玩家推出“垂直行业小模子”或者“端侧小模子”，但可惜在时期门道上很难确切有捷径可走。这些小模子，除了通过RAG或者微调生成的模子、也包括大模子蒸馏后的小模子，即用大模子坐蓐数据去训诲出的模子， 以及对大模子编订、压缩、剪枝后的模子。他们都有一个共同点：启程点和中枢价值仍在大模子上。

除了上述这些以外，产业实践中也还存在以下类型的小模子：

·基于非GPT、或非Transformer架构的模子网络，如BERT、CNN、RNN、Diffusion以及RL等；

·其他更传统的非深度学习、以致基于礼貌的“模子”。

这些小模子可看作是针对无数细节长尾卑鄙场景的特殊处理，更多仍需要对位于中心的大模子去赞成伸开，逾额价值面前有限，其确切价值仍荟萃于大模子。这里借用张宏江博士在腾讯深网的访谈里对于“小模子”的呈文：

应该先“把大模子的性能作念好，才能确切出现涌现”，再“通过蒸馏的方法和无间学习的方法把它作念小，而不是一首先就作念个小模子”。

1

潜在破局决策

>>>>鉴戒互联网期间的念念考

为进一步念念考上文说起的时期栈无法解耦和单干的根底征象，咱们再追思一下互联网的历史。咱们比较习气提的互联网，事实上是从1994年浏览器的出现首先的“Web互联网”，而广义的互联网早在1970到80年代就还是出现，最早的形态是FTP、Rlogin、Telnet以及Email电邮等“垂直整合应用”的居品形态。直到Web和浏览器行为平台 (下图中的绿色框) 出现之后，无数近似Yahoo等基于网页方式的纯应用才确切与底层解耦，从而接踵在各个垂直行业爆发，如零卖行业的Amazon、旅游行业的Expedia、媒体行业的Netflix等等。

到了大模子期间，咱们首先看到的亦然ChatGPT、Claude、Character。AI、Sora等“垂直整合应用”的居品形态，但由于前文提到的独到数据利用的困局，底层平台和表层应用充分解耦的阶段其实尚未莅临。LLM大模子期间的平台(下图中的浅绿色框)尚未出现。

咱们这里所说的平台更准确地应称为“操作系统(OS)”。OS的中枢功能便是梗阻表层应用和基层时期细节，让应用公司可以聚焦居品和运营、从而规模化罢了落地和买卖化。OS的具体例子便是互联网期间的浏览器、PC期间的Windows、以及转移期间的IOS和安卓。OS与念念科这么的基础设施(Infra)的中枢区别是：Infra的实质是用具，它无法将应用层与底层有用切分出来；Infra的调用者往往照旧需要对基层时期有真切的倡导，才能将用具利用的好；是以Infra自身无法催生大规模应用生态。OpenAI与它的同业们误以为我方创造了近似苹果这么的的平台即OS，但事实上仅仅创造了近似念念科的Infra。比拟互联网和转移互联网的进度，可以说大模子还处在“前浏览器或前IOS期间”。

咱们以为大模子期间和互联网期间近似，也会履历以下三个发展阶段(尽管每个阶段的历时可能与互联网不尽沟通)：

·阶段一：B/C端用户径直使用大模子；

·阶段二：出现各式垂直整合的大模子买卖化应用；

·阶段三：表层买卖化应用和底层平台充分解耦，落地应用爆发，底座模子规模性变现。

面前咱们处在的是“阶段一”还是完成、“阶段二”刚刚首先的过渡时期。

>>>>短期投资计谋

*“垂直整合应用派”

概述以上论断：大模子当下的时期生态架构尚未到达互联网熟谙时期的明晰分层阶段，互联网当年的“应用场景驱动”的投资逻辑暂时难以套用。在此配景下，咱们将提倡“第三种派系”的投资逻辑，即聚焦既非纯应用场景、也非纯底座模子的公司，而是“垂直整合应用”公司。这类第三种公司的完竣界说是：

具备底座大模子算法才气、但毁灭作念通用底层平台的端到端的垂直整合应用。

扫数这三种类型的公司有可能会分别出现如下的发展：

丨应用场景公司

这类应用公司在大模子期间的创业壁垒会远高于互联网期间，可能很难保持在纯应用的形态：

1. 须将领有独到数据行为先决条目，并有才气后期无间积攒数据。互联网期间应用公司强调的“飞轮”效应，在大模子期间必须包含独到数据的参与，这成为飞轮形成前“冷启动”的最大门槛；

2. 须时期栈下沉，束缚拓展底座模子算法才气，无间将独到数据训诲进应用侧模子，在垂直领域推动scaling law。

正因为此，对于“应用场景驱动”的投资机构而言，判断应用公司投资价值的门槛也大大提高，即不仅要判断创始东说念主的垂直领域训导和居品才气，还要深入捕快他们获取、清洗数据的才气，以及将这些数据训诲到垂直行业模子的底座时期的水平。

丨底座模子公司

对于类OpenAI的底座模子公司、包括开源和闭源的公司，如Anthropic、Llama、Mistral、智谱、Kimi等，咱们瞻望它们还会连接迭代模子从而延续scallinglaw，比如OpenAI最新的o1模子等。但这些迭代仍只会延续超等App的居品形态而无法短期成为底层平台。

对于这类公司，尽管短期探索平台型买卖化靠近难度，但若毁灭行为通用平台的诉求，锁定一个垂直领域专心征集垂类数据、从而训诲出确切的垂直整合大模子的空间会更大。这对于OpenAI也许无法相沿面前估值，但对于其他估值略低的底座大模子玩家应该是可行出息。咱们看到还是有不少这类公司在作念近似的聚焦转型，但要是弗成确切毁灭想成为底层平台去赋能应用的述求，仍将堕入上述的数据困局。

丨垂直整合应用公司

这个第三种旅途对于所有初创的企业明显长短常高成本高风险的，很难一蹴而就，因而可以研究摄取底下的三个循序渐进的形式：

·形式一：利用独到数据基于底座模子API加RAG搭建首先原型(同期全力融资和囤GPU)；

·形式二：基于底座模子连合微调处Agent等方法提高模子才气(同期全力融资和囤GPU)；

·形式三：利用更多独到数据首先作念连接训诲或者再行预训诲(连接全力融资和囤GPU)。

在硅谷，“垂直整合应用”公司占到了VC投资的很大比例，如Cohere(企业大模子)、Harvey(AI法律大模子)、Perplexity(AI搜索)、EurekaLabs(AI教导)、Augment(AI编程)、HolisticAI(AI企业管治SaaS)，等都近期赢得可以融资。这些公司的创始东说念主都是来自如Transformer作家、OpenAI、Deepmind、Meta等头部底座模子配景、并深耕各自不同垂直场景。

红杉在2023年9月题为“Generative AI's Act Two”的博客里面也提到“Vertical separation hasn't happened yet”的说法，时期曩昔一年，咱们以为这个“separation”依然莫得发生，并因为上头提到的数据强耦合等原因，红杉博客原文说的“vertically integrated”还会是个常态。

在中国国内，这个类型的公司还比较少，中枢原因在于具备底层模子才气的团队极其稀缺，但具备这些才气的团队又都执着于作念底层平台的述求。跟着几家头部模子公司(包括互联网大厂的底座模子团队)接踵遭受上述瓶颈，它们中的一些中枢时期东说念主员会首先幽静创办“垂直整合应用”公司；同期有几家头部底座模子公司我方也在转型到垂直整合场景，比如百川的医疗大模子、及零一的BeaGo等。

总结上文提到的大模子买卖化的三个时期及面前可能的三个发展形式如下图，上述扫数这些中好意思的“垂直整合应用”公司也都各自处于三个形式的不同期间点。

*多模态和具身智能

在投资上述“垂直整合应用”以外，多模态和具身智能(多模态的一种方式)亦然值得花样的投资宗旨。尽管它们更多是感知而非基础才气的擢升，自身要非凡纯言语大模子(LLM)而更快罢了scaling law可能较难，但在纯言语大模子的生态修复遭受瓶颈之时，偶然可以探索平行于言语模子的算法架构及数据栈型式来搭建第三方生态。篇幅关系，这里不作念伸开。

*完竣时期栈、Infra、芯片

今天的深度学习和LLM的高速演进，仍然仅仅扫数这个词绸缪机科学时期栈的一个板块，而完竣时期栈的扫数模块都在被LLM牵动着产生颠覆式的迭代。是以无数的契机将来自看似不是AI自身的时期栈的其他边际，包括：

· Infra：包括底座模子自身，以过头他各层的Ops、各类toolchain，等等。华映本钱两家被投公司星尘和天云数据，便是Data Infra的典型代表，面前与硅谷许多DataOps公司雷同也都在积极作念更符合AI 2.0的新兴数据栈的前沿探索。

· 芯片：是措置算力困局的终极技能。面前主流GPT架构之下日益登攀的算力成本压力和单一供应商依赖变成的错愕，将匡助新式GPU公司突破英伟达的CUDA设定的禁区，从而在某些领域颠覆英伟达的把持。

但上述两种契机都追随一个纷乱的前提：无论是Infra照旧AI芯片创业的创业者，都需要对底座大言语模子自身有相等深入的倡导和训导。这点与之前对于应用层创业的要求事实上是一致的。

>>>>长久可能演变

OpenAI要突破面前的“泡沫”错愕，需要重心攻关的不仅是如何束缚提高我方底座言语模子的才气，更是如何通过纠正后的时期架构和买卖生态，让其他领稀有据的第三方应用场景方尽可能参与到scaling law的进度中来。大模子时期栈发展依旧在一日沉，上文说起的许多担忧和“泡沫”有可能因为某些突破而得到一定化解。以下浅易列出笔者有限念念考后的可能性以及各自的挑战：

*新的后训诲(Post-training)方法出现与无间优化

· RL(强化学习)：OpenAI刚发布不久的o1的Self-Play RL在连接推动scalinglaw，但它我方也提到了对于RL行为推理阶段的scaling law和与预训诲阶段的scaling law具有不同特色，以致是否能将之称为RL的scaling law也有争议。但总之OpenAI的o1片面推动底座推理才气的尝试仅仅刚起步，暂时无法让领有无数独到数据的场景端客户参与进来、并长久受益。后训诲潜在是可以offload给下搭客户连合我方的独到数据来进行的，但面前o1也还未能让第三方复现。但即便能以某种方式开放出来、交给下搭客户去无间进行RL算法更新，这么作念之后，只会让客户参与门槛比拟之前用RAG和微调等主流的后训诲方法还要更高。

· RAG：如端到端的RAG、基于RAG的预训诲模子等都长短常有意的尝试。但这类方法论也更考据了笔者前文进展的“即便作念RAG也要从倡导底座预训诲模子首先”的不雅点。

· Agent：如上文所述，智能体的探索具备纷乱空间和契机，但如何最大化融入用户侧的独到数据仍然是课题之一。

*预训诲及推理成本和门槛大大缩短

一方面算力层面即GPU芯片的突破，一方面是训诲和推理的优化加快及工程化的逾越。除此以外还有第三种可能，尽管前文重心说起的都是“AI三要素”当中的数据和算力的困局，但其实训诲算法的突破和优化仍可能是最终缩短成本的最大推力，包括对自记忆机制以致Transformer即防备力机制自己的优化以致重写等等。

*透彻改变预训诲+后训诲的模式

前两种方法都在试图拓展OpenAI既定门道的飞腾空间，但想透彻改变这个门道的难度明显要大许多。但当初投OpenAI的VC也未必意象想GPT门道可以从彼时占主流统治地位的BERT门道分叉出来、而用decoder only等机制怒放了scaling law的全新空间。在畴昔几年之内，某个从GPT门道的再次根人性架构分叉，将会重迭当年OpenAI的顺利，但此次颠覆对象是OpenAI我方，由此带来的将是scaling law的又一次无比纷乱的迈进。

1

总结

本文内容较多，咱们临了归纳为以下中枢两点：

1.面前大模子的应用层和底座层尚未解耦，是以投资计谋不提倡只看纯应用或者纯底座模子，而可以暂时围绕上基层垂直整合的应用伸开，同期需密切不雅察、恭候确切的平台/操作系统的出现；

2.应用和底座模子层未解耦的根底原因之一是在于数据在时期栈内的强耦合，包括预训诲与后训诲数据集、即底座模子数据与卑鄙垂直数据的耦合，这个现况亦然由东说念主工智能即深度学习算法对数据依赖的本色所派生的。这些强耦合面前制约了scaling law的发展和大模子的规模化买卖落地。

* P.S：咱们也正在连络更多具备上述跨越这波大模子泡沫后劲的新式AI公司，这些公司大多较早期，许多处于Stealth mode。要是有对这些公司感敬爱的读者可以私信相关咱们。