大模型,何时迎来大转折?
“真正的变革是,什么时间点(diǎn)有一个模(mó)型(xíng)可以把错误(wù)率降(jiàng)低到个位(wèi)数。”
在经历了(le)上半年密集的(de)技术和产品发布(bù)后,下半年的AI圈显得有些平静,不再有如Sora这样(yàng)引发轰动的(de)产品,在GPT-4o之后,行业引领(lǐng)者OpenAI也迟迟没有大动作。不(bù)少行业人士认为,技术的迭(dié)代放缓了。
在亚布力企业(yè)家夏季年会上,猎(liè)豹(bào)移(yí)动董事长(zhǎng)傅盛提出一(yī)个观点,AI浪潮已(yǐ)出现泡沫迹象,从大模型出现在大(dà)众视(shì)野以来,已过去近一年的时间,但最顶级(jí)大模型的模型没有明显提升(shēng)。“客观来说,谁家大模型(xíng)有什么优势,基本尚属‘一家(jiā)之言’,用(yòng)户(hù)用起来没有感觉(jué)到太大差别。”他认为,当前大(dà)模型同质化严重。
在与(yǔ)MiniMax创始人闫俊杰的交(jiāo)流中,关于瓶颈与转折点他(tā)提到,现在所有模型(xíng)错误率都是20%的量级(jí),“真正的变革是,什么时间点有一个模型(xíng)可以把错误率降低到个位数,这会是一个(gè)非常本(běn)质的变化。”未来大模型能否成功,傅盛也(yě)认(rèn)为,大模型的天花板能否再上(shàng)一个台阶很重要。
“至暗(àn)时刻觉得技术(shù)很重要(yào)”
这一轮的生成式AI是一场掀起巨大浪潮的社(shè)会生产力革命,傅盛认为,这波浪潮今天已经呈(chéng)现出明显的泡沫(mò)迹(jì)象(xiàng)。
何为(wèi)“泡沫”,傅(fù)盛认为,一方面是模型能力没(méi)有明显提升。“在一个以科技为核心的技术浪潮中(zhōng),这是(shì)不太正常的。”每次写不同的东(dōng)西,傅盛都会用好几个大模 型 互(hù)相比较,“有时候这个大模型更好(hǎo)用,有时那个更好(hǎo)用,当前大模型的同质化(huà)很严重。”
其(qí)次(cì),说了这(zhè)么久人工(gōng)智能,“但真正的Killer APP(杀手级应用)并(bìng)没有出现,不仅在C端没有出现(xiàn),B端也(yě)未能(néng)出现。很多行业大模型(xíng)都说自己(jǐ)有不少应用,但真正提效的并不多。”傅盛说,想(xiǎng)要将大模型真正变成一个明显能提效的应用,还很有难度(dù)。
泼了盆冷水的同时,傅盛补充表示,泡沫(mò)不(bù)见得会使大模型发(fā)展崩塌,因为(wèi)有点泡沫很(hěn)正常,互联网早期也曾出现泡沫。
在今(jīn)年6月演讲时,金(jīn)沙江创投主管(guǎn)合伙人(rén)朱啸虎曾谈(tán)及GPT-5一直“跳票(piào)”时表示,“硅谷也(yě)高度怀疑GPT-5还有没有,即使出(chū)来在核心推(tuī)理能力上还(hái)有没有显著的提(tí)高(gāo),这是(shì)很不确定的东西,今年年底是一个验金石(shí)。”他判断,大模型演化速度有(yǒu)放缓趋势,而迭代 曲线(xiàn)放缓以后,应用层的机会就会更(gèng)多。
不过,在波形智(zhì)能创始人姜(jiāng)昱辰看来,大模型技(jì)术迭代其实并(bìng)没有放缓,而(ér)是保持(chí)着2018年以来的增速(sù),那一年基于Transformer架构的大规模语言模型预训练开始流行(xíng)。从博士的自然(rán)语言处理研(yán)究到大模(mó)型创业,姜昱辰更(gèng)早开(kāi)始经历这(zhè)轮大模型(xíng)技术(shù)演(yǎn)化的进程。
“大家之所以有这样(yàng)的感觉(技术迭代(dài)放缓)是因为大(dà)众是 在(zài)2022年底、2023年初第一(yī)次看到这 个技(jì)术,做了很多短时间的learning和追赶,追(zhuī)赶当然比(bǐ)较快。”姜昱(yù)辰(chén)对第一财经表示,把OpenAI做出来的技术学一遍,不叫“技术迭代”。
虽(suī)然行业此前(qián)有一(yī)句“没有应用的大模型一文不值”广为传播(bō),但在很多从业者看来,大模(mó)型的技术(shù)同样重要,因为更(gèng)好的应用一(yī)定(dìng)建立在更(gèng)好的技术之上,技术和(hé)应用是一个相互转化(huà)的串联关系。
在MiniMax刚刚过(guò)去的伙伴日活动上,闫俊杰在(zài)讨(tǎo)论中提到,“至暗时刻会觉得技术很重要。”
很多时候做技术时,并没有(yǒu)真正意识到技术为什么重要。闫俊杰举例表示(shì),用户感(gǎn)受到(dào)的东(dōng)西可 能(néng)来(lái)自于(yú)一(yī)些(xiē)产品(pǐn)细(xì)节,或者一些品牌 ,技术本身是好多(duō)个环(huán)节在一起,尤其在繁荣时期,可能分不清什么(me)是主,什么是次,“当在某些(xiē)时间点遇到瓶(píng)颈(jǐng)的时(shí)候,抛开所有的表象东西,会意(yì)识到技术(shù)才是最终提(tí)升(shēng)的来源。”
“技术做不好的时候,发现所有东西都是问题,当技术做好了,似乎所有问题都被掩盖了,”闫俊 杰表示,技术是一家科技公司最核心(xīn)的要素这件事,尽管(guǎn)已深刻意识到,偶尔还是在继续犯错误,“这个是我在多次至暗时刻里(lǐ)最有共性(xìng)的(de)一(yī)件事。”
做技术(shù)也是一件非常奢侈的事(shì),“如果看一眼我们(men)每个月的账(zhàng)单还是会非常心疼(téng)的(de)。”在采访中,说 到这(zhè)话时,闫(yán)俊(jùn)杰几次看向(xiàng)了(le)MiniMax技(jì)术总监韩景涛,也就是“账单的制(zhì)造者”。
因为做技(jì)术可能会失(shī)败,研发投入很大,闫俊杰(jié)此前很(hěn)多时候(hòu)会想要(yào)不要走点捷径,但实践经验会证明,走捷径就会被“打脸(liǎn)”,“这(zhè)个事在我这发生可能超过十次了。”
“一(yī)个(gè)东西(xī)要实验三(sān)次(cì)才能成功,第三次实验成功的时候,会想 前(qián)面两次是不是可以不用做,就像吃包子吃三个会吃饱,就会想是不是(shì)前(qián)两个不用(yòng)吃(chī)是一样的。”闫俊杰表示(shì),这是(shì)做技术(shù)时一个比较容易犯的错误。
在各种关于模型技术(shù)细节的排行榜上,或许GPT-4o的跑(pǎo)分(fēn)不常出现在第一,甚至会在中间,但(dàn)在(zài)MiniMax基于真实客户的测(cè)试集中,OpenAI的GPT-4o是(shì)遥遥(yáo)领(lǐng)先的。
在大模型(xíng)时代(dài),如何判(pàn)断技术的好坏,大众很迷惑,企业(yè)同(tóng)样觉(jué)得很难(nán),但(dàn)这个点很重(zhòng)要,因为(wèi)技术的评价标准会决(jué)定模型(xíng)的迭代(dài)方向,如果指标(biāo)本身(shēn)不对迭代方向可能就(jiù)错了。
闫俊杰提到,MiniMax目(mù)前的一个(gè)办法是,基(jī)于MiniMax开(kāi)发平台的3万多个开发者和付费客(kè)户,在(zài)他们的场景上构建一个真实使(shǐ)用的测试集(jí),有些客户对他们的场景非常看重,要求保证产品(pǐn)的效果,基于这些客户真实使用的评测(cè)是较为客(kè)观的(de)。
“这个测试集上所有国产(chǎn)化模型相比GPT-4o都相差较多,其他排行榜基本上GPT-4o都(dōu)要排到中间去了,但(dàn)是在我们的(de)排行榜上确实(shí)GPT-4o排在最靠前。”闫俊(jùn)杰提(tí)到,国内所有模型都与GPT-4o有本质的差距,且越(yuè)难的问题差距越大。按照这个评(píng)估方(fāng)式,国产模型的提升空(kōng)间还很大。
静(jìng)待下(xià)一转折点
大模型的 下(xià)一个转(zhuǎn)折点(diǎn)在哪里(lǐ)?众多创业者有不同的答案,有(yǒu)人(rén)认为是错误率的降低,有人觉(jué)得是 个性化的模(mó)型,有人认为关键在于小算力(lì)训(xùn)练出大模型,背后或许(xǔ)意味着架构(gòu)的改进。
朱啸虎曾提(tí)到,今年的大模型本身还(hái)是有很多错误,且(qiě)出来的结果不可控,今天落地最困难的是,场景下怎么解(jiě)决错误问题、可控问(wèn)题。
现在所有的模(mó)型错误率都在20%左右,即两位数的(de)错误率,有时惊艳,有(yǒu)时不靠谱,闫俊杰认为,这也(yě)是制约模型处理复(fù)杂任务的原因,“真正的变革是,什(shén)么时间点有一个模型可以将错误率降低(dī)到个位数(shù)。”这是能增加用户使用深(shēn)度的核心手(shǒu)段。
复杂任务往往(wǎng)需要多(duō)个步骤(zhòu)“相乘”,较(jiào)高的错误率导致失败率的指数增加。闫俊杰(jié)表示,即便是GPT-4这样(yàng)的模型也(yě)无法支(zhī)持非常灵活的Agent(智能(néng)体),这并不是因为Agent框架写得不够好,产品做得不好,最(zuì)根 本的(de)原因是模型本身(shēn)不够好。
但(dàn)现在可以看到的是,每家公司有(yǒu)了算力,无论是OpenAI、谷歌还是Meta,都在加码算力。Meta CEO扎克伯格曾在社交媒体上表示,要建立一个大(dà)规模的计算基础设施,到2024年底,这一设施将包括35万张英伟达H100显卡(kǎ),业(yè)界(jiè)预(yù)估(gū)这或许将耗费近百亿(yì)美元(yuán)。
算法也在进步,OpenAI在2023年只能做出来GPT-4,但2024年能做GPT-4o,虽然性能差不多,速度 快了近10倍。
“计(jì)算量多了(le)不止10倍,算法也快了(le)10倍时,没有(yǒu)道理说训练不出来一个更(gèng)好的模(mó)型。”闫(yán)俊杰提到,“如果Scaling law(尺(chǐ)度定律)是对的,未来这个模型一定会(huì)出现,标志就(jiù)是个位数的错误率。”
在(zài)傅盛看来,降低错误率(lǜ)同样重要。“今(jīn)天的大(dà)模型(xíng)有20%-30%的知识幻觉,而且‘它不知道自(zì)己不知道(dào)’,这是在企(qǐ)业应用(yòng)上非常重要的一大卡点。”想要真正落(luò)地一个应(yīng)用,得用大量(liàng)工程化的手段去解决(jué)以前通用人工智能认(rèn)为它能干的活,这(zhè)中间是有差距的。
问及大(dà)模(mó)型技术的下一个转折(zhé)点,姜昱辰给了一个不一样的答(dá)案,她认为是“个性化”的(de)技术。
“ToB的创业(yè)者(zhě)会觉得错(cuò)误(wù)率降低很重(zhòng)要(yào),因为企业级、工业级场景中要的是极高准(zhǔn)确率,而在消费场(chǎng)景中(zhōng),要的是‘懂你(nǐ)’的个人助手(shǒu)。因此,对ToC创(chuàng)业者来说,个性化技术更重要。”对于不同的答案,姜昱辰解释,ToB和ToC不同的场景下会有(yǒu)不同的感知。
从(cóng)难度上来说,大模(mó)型幻觉是概(gài)率模型固有的,不容易解决,但个性化大模型确实是技术层(céng)面可行的。姜昱辰提到,波(bō)形智能目前在做(zuò)的是这个方向,主要的难点是 算法,中间需要知道的(de)是,这样的个性化生成式模(mó)型需要什么用户信息,如何用于模型自进化。
深思考创始人杨志明则认为,下一个转折点是,如何利用小算力训练出大模型、做(zuò)好大(dà)模型的推理,在这背后,当下主(zhǔ)流的Transformer架构 需要堆积算力,“性价比太低”。架构的改进(jìn)或许是重要(yào)的(de)方向(xiàng)。
值得期待(dài)的是(shì),近日有消息称,OpenAI将在今年秋天推出代号为“草莓”(Strawberry)的新模型。作为核心技术(shù)突破(pò),草(cǎo)莓可能集成在ChatGPT内,帮助解决当前AI聊天(tiān)机器人难以完成的复(fù)杂任(rèn)务(wù),如数(shù)学和编(biān)程问题(tí)。此外,草莓更会“思考(kǎo)”,在解决强主观性问题上更擅长。
“草莓”是前菜,消息人士透露(lù),OpenAI正在开发(fā)下一(yī)代大 型语言模型Orion(猎户座(zuò)),草莓将为其生成高质量(liàng)训(xùn)练数据,以帮(bāng)助减少大模型幻觉问题。能否突(tū)破瓶颈,带(dài)领行业进入(rù)下一转折点,最大(dà)的可(kě)能性还在OpenAI。
责任编辑:刘(liú)万里 SF014
“真正的变革是,什么(me)时(shí)间点有一(yī)个模型可以把错误率降低到个(gè)位数。”
在(zài)经历了上(shàng)半年密集的(de)技术和产(chǎn)品发布后,下半年的AI圈显(xiǎn)得有些平静,不再有如Sora这样引发轰动的(de)产品,在GPT-4o之后,行业引领者OpenAI也迟迟(chí)没有大动(dòng)作(zuò)。不少行业人士(shì)认为,技术的迭代放缓了。
在(zài)亚布力企业家夏季年会上,猎豹移动董事长傅盛提出一个观点,AI浪潮已出现(xiàn)泡沫迹象,从大模型出现在大众视野以来,已过去近一年的时(shí)间,但最顶级大模型的(de)模型没有明显提升。“客观来说,谁家大模型有什么优势(shì),基本尚属‘一家之言’,用户(hù)用起来(lái)没(méi)有感觉到太大差别。”他认为,当前大模型同质化严重。
在与(yǔ)MiniMax创始人闫俊杰的交流中,关于瓶颈与转折点(diǎn)他提到,现在所有模型错误率都是20%的量级,“真正的变革是,什么时(shí)间点有一个模型可(kě)以把错误率降低到个(gè)位(wèi)数,这会是一个非常本质的变化。”未来大模型能否成功(gōng),傅盛也(yě)认为(wèi),大模型的天(tiān)花板能否再上一个(gè)台阶很重要 。
“至暗时(shí)刻觉(jué)得技术很重要”
这一轮的生成式AI是一场(chǎng)掀起巨大浪潮的社会生产力革命,傅盛认为,这波浪潮今天已经(jīng)呈现(xiàn)出明显的泡沫迹象。
何为“泡沫”,傅盛认为,一方面是模型(xíng)能力没有(yǒu)明显提升(shēng)。“在一(yī)个(gè)以(yǐ)科技为核(hé)心的技术(shù)浪潮(cháo)中,这是不太正常的。”每次写不同的东(dōng)西,傅盛都会用好几个大模型互相比较,“有时候这(zhè)个大模型更(gèng)好用,有时那个更好(hǎo)用,当前(qián)大模型(xíng)的同(tóng)质化很严重。”
其(qí)次,说(shuō)了这么久人工智能(néng),“但真正的Killer APP(杀手(shǒu)级应(yīng)用)并没有出现,不(bù)仅(jǐn)在C端没有出现,B端也未能出现(xiàn)。很多行业大模(mó)型都说自己有不少应用,但(dàn)真正提效的并不多。”傅(fù)盛说,想要将大模型真正变成一个明显(xiǎn)能提效的应用,还(hái)很有难(nán)度。
泼了(le)盆冷水的同时(shí),傅盛补充表(biǎo)示,泡沫不见得会使大模型 发展(zhǎn)崩塌,因为有点泡沫(mò)很正 常(cháng),互联网早期也曾出现泡沫(mò)。
在今年6月演讲时(shí),金沙江创(chuàng)投主管合(hé)伙人朱啸虎(hǔ)曾谈及GPT-5一直(zhí)“跳票”时表示,“硅谷也高度(dù)怀(huái)疑GPT-5还有没有,即使出来在核心推理能力上还有没有显著的提 高,这是(shì)很不确定的东西,今年年底是一个验金石。”他判断,大模(mó)型演化速(sù)度有放缓趋(qū)势,而迭代曲线放缓以后,应用层的机会就会更(gèng)多。
不过,在波形智能创始(shǐ)人姜(jiāng)昱辰看(kàn)来,大模型技术迭代其实并没有放缓,而(ér)是保 持着2018年以来的增(zēng)速,那一年基于Transformer架构的(de)大规模语言模型预训练(liàn)开(kāi)始流行。从博士的(de)自然语言处理研究到大模型创业(yè),姜昱辰更早开始经历这轮大模型技(jì)术演(yǎn)化的进程。
“大家(jiā)之所(suǒ)以有这样的感觉(技(jì)术迭代放(fàng)缓)是因为大众是在2022年底、2023年初第一次看到这个技(jì)术,做了很多短时间的learning和追赶,追(zhuī)赶当然(rán)比较快。”姜昱辰对第一财经表示,把OpenAI做出来的技术(shù)学一遍,不叫“技术迭(dié)代”。
虽(suī)然行业此(cǐ)前有一句“没有应用的大 模型一(yī)文(wén)不值(zhí)”广(guǎng)为传播,但(dàn)在很多从业(yè)者看来,大模(mó)型(xíng)的技术同样(yàng)重要,因为更好的应用一定建立在更好的技术(shù)之上,技术和应用(yòng)是一个相互转化的串联关系。
在MiniMax刚刚过去(qù)的伙伴日活动(dòng)上(shàng),闫俊杰在(zài)讨(tǎo)论中提到,“至暗时刻会觉得技术很重要。”
很多时候做技术时,并没有(yǒu)真正意识到技术(shù)为什么重要。闫俊杰举例表示,用户感受到(dào)的东西可(kě)能来自于一些产品细节,或者一(yī)些 品牌,技术本身是好多个环节在一起,尤(yóu)其在繁荣时期,可能分不清什么(me)是主,什么是次,“当在某些时间(jiān)点遇到瓶颈的时候,抛开所有的表象(xiàng)东西,会意识到技术(shù)才是(shì)最终提升(shēng)的来源。”
“技(jì)术做(zuò)不好(hǎo)的时候,大模型,何时迎来大转折?发现所(suǒ)有东西都(dōu)是问题,当技术(shù)做好了,似乎所有问题都被掩(yǎn)盖了,”闫俊杰表示,技术是一家科技公司最核心的要(yào)素这件事,尽管已(yǐ)深刻意识到(dào),偶尔还是在继续犯错误,“这个(gè)是(shì)我在多次至暗时刻里最有(yǒu)共性的一件(jiàn)事。”
做技术也是一件非常奢侈(chǐ)的事,“如果看一眼我们每个月的账单(dān)还是会非常(cháng)心疼的。”在采访中,说到(dào)这话(huà)时,闫俊(jùn)杰几次看(kàn)向了MiniMax技术总(zǒng)监韩(hán)景涛,也(yě)就是“账单的制造(zào)者”。
因为做技术可能会失败,研发投入很大,闫俊杰此前很多时候会想要不(bù)要走点(diǎn)捷径,但实践经验会(huì)证(zhèng)明,走捷径就(jiù)会(huì)被“打脸”,“这个事在我这发(fā)生可能超过十(shí)次了。”
“一个东西要实验三次才能成功,第三次实(shí)验成功的时候(hòu),会想前面两次是不是(shì)可(kě)以不用做,就像吃(chī)包子吃三个(gè)会吃饱,就会想(xiǎng)是不(bù)是前两个不用吃是一样的。”闫俊杰(jié)表示,这是做(zuò)技(jì)术时一个比较容易犯的错误。
在(zài)各种关于模型技术细节的排行(xíng)榜上,或许GPT-4o的跑分不常(cháng)出现在第(dì)一,甚至会在中间,但在MiniMax基于真实客户的测试集中,OpenAI的(de)GPT-4o是遥遥(yáo)领先的。
在大模型时代,如何判(pàn)断技术的(de)好坏,大众很迷(mí)惑,企业(yè)同样觉得很难(nán),但这个(gè)点很 重要,因为技术的评价标准会决定模型的迭代方向(xiàng),如果指标本身不对迭代方向可能就错了。
闫俊(jùn)杰提到,MiniMax目前的一个办法是,基于MiniMax开(kāi)发(fā)平台的3万多个开发(fā)者和付费客户,在他们的场景上构建(jiàn)一个真实使(shǐ)用的测试集,有些客户对(duì)他(tā)们的场景非常看重,要求保证产品的效果(guǒ),基(jī)于这(zhè)些客户真实使用的评测是较为(wèi)客(kè)观的(de)。
“这个测试集上所有国产(chǎn)化模型(xíng)相比(bǐ)GPT-4o都相差较多,其他排行榜基本上(shàng)GPT-4o都要排到中间去了,但是在我们的排行榜上(shàng)确实GPT-4o排在最靠(kào)前。”闫(yán)俊杰提到,国内所(suǒ)有模型都与GPT-4o有本(běn)质的差距,且(qiě)越难的问题差距越大。按照这个评估方式,国产模型的提(tí)升空间还很大。
静待下一转折(zhé)点(diǎn)
大模型的下一个转折(zhé)点(diǎn)在哪里?众多创业者有不同的答案(àn),有人认为是错误率的降低(dī),有人觉(jué)得是(shì)个性化的模(mó)型,有人认为关键(jiàn)在于小算(suàn)力训练(liàn)出大模型,背后或许意味(wèi)着架构的改进。
朱啸虎(hǔ)曾提到,今年的大模型本身还是有很多错误(wù),且(qiě)出来(lái)的结果不(bù)可控,今天落(luò)地最困难的(de)是,场景下怎(zěn)么解决错误问题、可(kě)控问题。
现在(zài)所有 的模型(xíng)错误率(lǜ)都在20%左右,即两(liǎng)位数的错误率(lǜ),有时惊艳,有时不靠谱,闫俊杰(jié)认为,这也是制约模型处理复杂任务的原因,“真正的变革是,什 么时间点有一(yī)个模型可以将错误率降低到个位数。”这是能增加用户使用深度的核心手段。
复杂任务往往需(xū)要多个步骤“相乘”,较(jiào)高的错误率导致(zhì)失败率的指数增加。闫俊杰表示,即便是GPT-4这样的模型也无法(fǎ)支持非常灵活(huó)的(de)Agent(智能体),这并不是因(yīn)为Agent框架写得不够好 ,产品做得不好,最根本的原因是模型本身不够好。
但现在可以看到的是,每家(jiā)公司有 了算力,无论是OpenAI、谷歌(gē)还是Meta,都在加码算力。Meta CEO扎(zhā)克伯格曾在社交媒体(tǐ)上表示,要建立一个大(dà)规模的计算基(jī)础设施,到2024年底,这一设(shè)施将包括35万张英伟达H100显卡(kǎ),业界预估这或许将(jiāng)耗费(fèi)近百亿(yì)美元。
算法也(yě)在进步,OpenAI在2023年只能(néng)做出来GPT-4,但2024年能(néng)做GPT-4o,虽然性(xìng)能差不多,速(sù)度快了近10倍。
“计算量多了不止10倍,算法(fǎ)也快了10倍(bèi)时,没有道理说训练不出(chū)来一个(gè)更好的模型。”闫俊(jùn)杰提到(dào),“如果Scaling law(尺度(dù)定律)是对的,未来这个(gè)模型一(yī)定会出现,标志就是(shì)个位数的错误率。”
在傅盛看来,降低错误率同样 重要。“今天的大模型有20%-30%的知识幻觉(jué),而(ér大模型,何时迎来大转折?)且‘它(tā)不知道自己不知道’,这是在企业应(yīng)用上(shàng)非常重要的一(yī)大卡点。”想要真正落(luò)地一个应用,得用大量工程化的手段去解决(jué)以前通用人工(gōng)智能认为它能干的活,这中间是有差距的。
问及(jí)大模型技(jì)术(shù)的下一个转折点,姜昱(yù)辰给了(le)一个不一样(yàng)的答案,她认为是“个性化”的(de)技 术。
“ToB的创业者会觉得错(cuò)误率降低很(hěn)重要(yào),因为企业级、工业级场景中要的是极高准(zhǔn)确率,而在消费场景中,要的是‘懂你’的个人助手。因此,对ToC创业者来说,个性化技术更重要。”对于不(bù)同的答案(àn),姜(jiāng)昱辰(chén)解释,ToB和ToC不同的场景下会有不同的感知。
从难度上来说,大模型幻觉(jué)是概(gài)率模型固有的,不容易解决,但(dàn)个性(xìng)化大模型确实是技术层面可行的。姜昱辰提到,波形智能目前在(zài)做的是这个方向,主要的难点是算(suàn)法,中间(jiān)需要知道的是,这样的个性化生成式模型(xíng)需要什么用户信息 ,如何用(yòng)于(yú)模型自进化。
深思(sī)考(kǎo)创始人杨志明则认为,下一个转折点是,如何(hé)利用小(xiǎo)算力训练出大模(mó)型、做好大模型的推理,在这(zhè)背(bèi)后(hòu),当下主(zhǔ)流(liú)的Transformer架构需(xū)要(yào)堆积算力,“性价(jià)比太低”。架构的 改进或(huò)许(xǔ)是重要的方(fāng)向。
值得期待的(de)是(shì),近日有消息称,OpenAI将在今年(nián)秋天推出代号为(wèi)“草(cǎo)莓”(Strawberry)的新模型。作为核(hé)心技术突破,草莓可能集成在ChatGPT内,帮助解决当前AI聊天机器人难以完成的复(fù)杂任务,如数(shù)学和编程(chéng)问题。此外,草莓更会“思考”,在解决(jué)强(qiáng)主观(guān)性问题上更擅长。
“草莓”是(shì)前菜,消息人士透露,OpenAI正在开发下一(yī)代大型语言模型Orion(猎户座(zuò)),草莓将为其(qí)生成高质量训练数(shù)据(jù),以帮助减(jiǎn)少(shǎo)大模型幻觉问题。能否突破瓶颈,带领行业进入下一转折点,最大的可能性(xìng)还在OpenAI。
未经允许不得转载:橘子百科-橘子都知道 大模型,何时迎来大转折?
最新评论
非常不错
测试评论
是吗
真的吗
哇,还是漂亮呢,如果这留言板做的再文艺一些就好了
感觉真的不错啊
妹子好漂亮。。。。。。
呵呵,可以好好意淫了