大模型,何时迎来 大转折?
“真正(zhèng)的(de)变革(gé)是,什(shén)么时间点有一个模型可以把(bǎ)错误率降(jiàng)低到个位数。”
在经历了上半年密集的技术和(hé)产品(pǐn)发布后,下半年的AI圈显得有些(xiē)平静,不再有如Sora这样引发轰动的产品,在GPT-4o之后(hòu),行业引领者OpenAI也迟迟没有大动(dòng)作。不(bù)少行业人士认为(wèi),技术(shù)的(de)迭代放缓了。
在亚布力企(qǐ)业家夏季年会上,猎豹移动董事长傅盛(shèng)提出一(yī)个观点,AI浪(làng)潮已出(chū)现泡沫迹(jì)象,从大模(mó)型出现在大众视野以来,已过去近一(yī)年的时(shí)间,但最顶级大模型的模型没有明显提升。“客观来(lái)说,谁家大模型有什么优势,基本尚(shàng)属‘一(yī)家之(zhī)言’,用户用起来没有感觉到太(tài)大差(chà)别。”他认为,当前大模型同(tóng)质化严重。
在与MiniMax创(chuàng)始人闫俊杰的交流中,关于瓶 颈与转折点他(tā)提到,现在所有模型错误率(lǜ)都是20%的量级,“真正的变革是,什么时间点有一个模型可(kě)以把错误率(lǜ)降低到(dào)个位(wèi)数,这会是一个非常本(běn)质的变(biàn)化。”未来大(dà)模型能否成功,傅(fù)盛也认为(wèi),大模型的(de)天花板能否(fǒu)再上(shàng)一个台阶很重要。
“至暗时刻觉得技术很重要(yào)”
这一轮的生成式(shì)AI是一场掀起巨大浪(làng)潮的社会(huì)生产 力革(gé)命,傅(fù)盛认为,这波浪潮(cháo)今天(tiān)已经呈现出明显的泡(pào)沫迹象。
何(hé)为“泡沫”,傅盛(shèng)认为,一方面是模型能(néng)力没(méi)有明显提升。“在一个以科技为核心的技术浪(làng)潮中(zhōng),这是不太正(zhèng)常的。”每次写不同的东西,傅盛都会(huì)用好几个大模型互相比(bǐ)较(jiào),“有时候这个大(dà)模型更好用,有时那(nà)个更好用,当前大模型的同质化(huà)很严重(zhòng)。”
其次,说了这么久人工(gōng)智能,“但真正的Killer APP(杀(shā)手级应用)并没有出现,不仅在C端没有出现,B端也未能出现。很多行业大模(mó)型都(dōu)说自己(jǐ)有不少应用,但真正提效的并不多。”傅盛说,想要将大模型真正变成一个明显能提效的应用,还很有难度。
泼了(le)盆(pén)冷水的同时,傅盛补充表示(shì),泡沫不见得会使大(dà)模型发展崩塌,因为有点泡沫很正常,互联网早期也(yě)曾出现泡沫(mò)。
在(zài)今(jīn)年6月演讲时,金沙江创(chuàng)投主管合伙人朱啸虎曾谈及GPT-5一直“跳票”时表示,“硅谷也高度怀疑GPT-5还有没有,即使出来在(zài)核心(xīn)推理能力上还有(yǒu)没有显(xiǎn)著的提高(gāo),这是很不确定的东西,今年年底是一个验金石。”他判断,大模型演化速度有放缓趋势,而(ér)迭代(dài)曲线放缓以后,应用(yòng)层的机会就会(huì)更多。
不过,在波形(xíng)智能创始人姜昱辰看来,大模型技术迭代其实并没有(yǒu)放(fàng)缓,而是保持着2018年以来的增速,那一(yī)年基于Transformer架构的大规模语言模型(xíng)预训练开(kāi)始流行。从博士的自然语言处理研究(jiū)到大(dà)模型创业,姜昱辰更早开(kāi)始 经历这轮大模型技术演(yǎn)化的进程。
“大家之(zhī)所以有这(zhè)样的感觉(技术迭代放缓)是因为大众是(shì)在(zài)2022年(nián)底、2023年初第一次看(kàn)到这个技术(shù),做了很多短时间(jiān)的learning和追赶,追赶当然比较快。”姜昱辰对第一财经表示,把OpenAI做出来(lái)的技术学一遍,不叫“技术迭代”。
虽然行业此前有(yǒu)一句“没有应用的大模型(xíng)一文(wén)不值”广为传播,但在很(hěn)多从业(yè)者看来,大模(mó)型的(de)技术同样重要,因为更好的(de)应用一定建立在更好(hǎo)的技术(shù)之上,技术和应用是一个(gè)相互转化的串联关系。
在MiniMax刚刚过去的伙伴日活动上,闫俊杰在讨论中提到,“至暗时刻会觉得技(jì)术很重要。”
很多(duō)时候做技术(shù)时,并没有真正意识到技术为什么重(zhòng)要。闫俊杰举例(lì)表示,用户(hù)感受到的东西(xī)可能来自(zì)于一些产品细节,或(huò)者一(yī)些品牌,技术本身是好多个环节在一起,尤其(qí)在繁荣时期,可能分不清什么是(shì)主,什么是次,“当在(zài)某些时间点遇到瓶颈的时候,抛开所有的表象东西(xī),会意识到技(jì)术才(cái)是最终提升的来源(yuán)。”
“技术做(zuò)不好的时候,发现 所有东西都是(shì)问题,当技术做好了(le),似乎所有问(wèn)题都被掩盖(gài)了,”闫俊杰表示,技术是一家(jiā)科技公司(sī)最核心的要素这件事(shì),尽(jǐn)管已深刻意识到,偶尔还是在继续犯错误,“这(zhè)个是我在(zài)多次至暗时刻里最有共性(xìng)的一件事。”
做技术也是一件非(fēi)常(cháng)奢侈的事,“如果看一眼我们每个月的账单还是会非(fēi)常心疼的。”在采访中(zhōng),说到这(zhè)话时,闫俊杰几次看向了(le)MiniMax技术总(zǒng)监韩景涛,也就是“账单(dān)的制造(zào)者”。
因为做技术可能会失败,研发(fā)投入很大,闫俊杰此前(qián)很多时候会想要不要走点捷径(jìng),但实践经验会(huì)证明,走捷径就会被“打脸”,“这个事在我这发生可能超(chāo)过十次了。”
“一个东西要实验三次才能成(chéng)功,第三次实验成(chéng)功的时候,会(huì)想前面两次(cì)是不是可以(yǐ)不用做,就像吃包子吃三个会吃饱,就会(huì)想是不(bù)是(shì)前两个不用吃(chī)是一样的。”闫俊(jùn)杰表示,这是做技术时一个比较容易(yì)犯的错误(wù)。
在各种关于模(mó)型技术细节的排 行榜上,或(huò)许GPT-4o的跑分不(bù)常出现在第一,甚至会在中间,但在MiniMax基于真实客(kè)户的测试集中,OpenAI的GPT-4o是遥遥领先的。
在大模型时代,如何判断技术的好坏,大众很迷惑,企业同样觉得很难,但(dàn)这(zhè)个点(diǎn)很重要,因(yīn)为技术的评 价(jià)标准会决定模型的迭代方向,如果指标本(běn)身不(bù)对迭代(dài)方向可能就错了。
闫俊杰提到,MiniMax目前的一(yī)个办(bàn)法是,基于(yú)MiniMax开(kāi)发平台的(de)3万多个开发者和付(fù)费客户,在(zài)他(tā)们的场景上构建一个真实使用的测试集,有些客户对他们的场景非(fēi)常看重,要求保证产品的效果,基(jī)于这(zhè)些客户真实使用(yòng)的评测是较为(wèi)客观的(de)。
“这个测试集上所有国(guó)产化(huà)模型相比GPT-4o都相差较多,其他排行榜基本(běn)上GPT-4o都要排到(dào)中间去了,但是在我们的排(pái)行榜上确实GPT-4o排在最靠(kào)前。”闫俊杰提到,国(guó)内所有模型都与GPT-4o有本质的差(chà)距,且(qiě)越难的问题差距越大。按照这个(gè)评估方式,国产模(mó)型的提升空间(jiān)还很大。
静待下一(yī)转折点
大模型的下一(yī)个(gè)转折点在哪里?众多(duō)创业者有不同(tóng)的答案,有人认为是错误率的降低,有人觉(jué)得是(shì)个性化的(de)模型,有人认为关键(jiàn)在于小算力训练出大模型,背后或许意味着架(jià)构(gòu)的改进。
朱啸(xiào)虎曾提到,今年的(de)大模型本身还(hái)是有很多错误(wù),且出来(lái)的结(jié)果不可控,今天落(luò)地最困难的(de)是,场景下怎么解决错误问题、可控(kòng)问题。
现在所有的模(mó)型错误率都在20%左(zuǒ)右,即两位数的错误率,有时(shí)惊艳,有时 不靠谱,闫俊杰认为,这也是制(zhì)约模型处(chù)理复杂任(rèn)务的原因,“真正的变革是(shì),什么时间(jiān)点有一个模型可以将错误率(lǜ)降低到(dào)个位(wèi)数。”这是能增加(jiā)用(yòng)户使用深度的核心手段。
复杂任务往往需要多个(gè)步骤“相乘”,较高的错误率导致失败(bài)率的指(zhǐ)数增加(jiā)。闫(yán)俊杰表示,即便是(shì)GPT-4这样的模(mó)型也无法(fǎ)支持非常灵活的Agent(智能体(tǐ)),这(zhè)并不是因为Agent框(kuāng)架写得不够好,产品做得不好,最 根本(běn)的原因是模型本身不够好(hǎo)。
但(dàn)现(xiàn)在可以看到的是,每家公司有(yǒu)了算力,无论是OpenAI、谷歌还是Meta,都在加 码算力。Meta CEO扎克(kè)伯格曾在社交(jiāo)媒体上表示,要建立(lì)一个大规模(mó)的计算基础设(shè)施,到(dào)2024年底,这一设施将包(bāo)括(kuò)35万张(zhāng)英伟达H100显卡,业界(jiè)预估这(zhè)或许将耗费近百亿美元。
算法也在进步,OpenAI在(zài)2023年只能(néng)做出来GPT-4,但2024年能做GPT-4o,虽然性能差不多,速(sù)度快了近10倍(bèi)。
“计算量(liàng)多了不止10倍,算法也(yě)快了10倍时(shí),没有道理说训练不出(chū)来一个更好(hǎo)的模型。”闫俊杰提到,“如果Scaling law(尺(chǐ)度(dù)定律)是对的,未来这个模型一定会出现,标志就是个位数的错(cuò)误率(lǜ)。”
在傅盛看来,降低错误率(lǜ)同样(yàng)重要。“今天的大模型(xíng)有20%-30%的知识幻觉,而且‘它不知道自己不知道’,这是在企业应用上(shàng)非常重要的一大卡点。”想要真正落地一个应用,得用大量工程化的手段去解决以前通用人工智能认为(wèi)它能(néng)干的活,这中间是(shì)有差距的。
问及(jí)大模型技术的下一个转折点,姜昱辰给了一个不一样的答案,她(tā)认(rèn)为(wèi)是“个性化”的技(jì)术。
“ToB的创(chuàng)业者会觉得错误率降低很重要,因为企业级、工(gōng)业级场景中要 的是极高准确率(lǜ),而(ér)在消费场景中,要的是‘懂(dǒng)你’的个人助手。因此,对ToC创业者来说(shuō),个性化技(jì)术更重要(yào)。”对于不(bù)同的答案,姜昱辰解释(shì),ToB和ToC不同的场景下(xià)会有(yǒu)不(bù)同的感知。
从难度上来说,大模(mó)型幻觉是概率模型固有的,不容(róng)易解决,但(dàn)个性化大模型确实是(shì)技术(shù)层面可行的。姜昱辰提到,波形智能目前在做的是这个方向,主(zhǔ)要的难点是算法,中间需要(yào)知(zhī)道的(de)是,这样(yàng)的个 性化生成式模型需要什么用户信息,如何用于模型自进化。
深(shēn)思考创始人杨志明则认为,下一个转折点是,如何利用(yòng)小算力训练出大模型、做好大(dà)模(mó)型的推理,在(zài)这背(bèi)后,当下主流的Transformer架(jià)构需要堆(duī)积算力,“性价比太低”。架构(gòu)的改进(jìn)或(huò)许是重要(yào)的方(fāng)向。
值得期待的是,近(jìn)日有(yǒu)消息称,OpenAI将在今年秋天推(tuī)出代(dài)号为“草(cǎo)莓”(Strawberry)的新模型。作为(wèi)核心技术突破,草(cǎo)莓(méi)可能集(jí)成在ChatGPT内 ,帮助解决当前AI聊天机器人难以完成的复杂任务,如数学和编(biān)程问题。此(cǐ)外,草莓更会(huì)“思(sī)考”,在解决强主观性问题(tí)上(shàng)更擅长。
“草莓”是前菜,消息人士透露,OpenAI正在开发下一(yī)代大型语言模(mó)型Orion(猎户座),草莓将为其生成高质量训练(liàn)数据,以(yǐ)帮助减少大模型幻觉问题。能否(fǒu)突(tū)破瓶颈,带(dài)领行业进入(rù)下(xià)一转折点,最 大的可能性还(hái)在OpenAI。
责任编辑:刘万里 SF014
“真(zhēn)正的(de)变革是,什么(me)时间点有一大模型,何时迎来大转折?个(gè)模型可以(yǐ)把(bǎ)错(cuò)误率降低(dī)到个位数。”
在经历了(le)上半年密集的技术和产品发布(bù)后,下半年的(de)AI圈显得有些平(píng)静(jìng),不再(zài)有如Sora这(zhè)样引发轰动的(de)产(chǎn)品(pǐn),在GPT-4o之(zhī)后,行(xíng)业(yè)引领者OpenAI也迟(chí)迟没有大动(dòng)作。不少行业人士认为,技术的(de)迭代放缓了。
在亚布(bù)力企(qǐ)业家夏季年(nián)会上,猎豹移动董事长傅盛(shèng)提(tí)出一个观点,AI浪(làng)潮已出现泡沫迹象(xiàng),从大模型(xíng)出(chū)现在大众视野以来,已过去近(jìn)一年的时间,但最顶级大模(mó)型的(de)模型没(méi)有明显(xiǎn)提(tí)升(shēng)。“客观(guān)来说,谁家(jiā)大模型有什么优势,基本尚属‘一家之言’,用户用起来(lái)没有(yǒu)感觉到太大差别。”他(tā)认为,当前大模型 同质化严重。
在与MiniMax创始(shǐ)人闫俊杰的交流中,关(guān)于瓶颈与转折点(diǎn)他提到,现在所有模型错误率都是(shì)20%的量级,“真正的变革是(shì),什么时间点有一个模型可以把(bǎ)错误率(lǜ)降低到个位数(shù),这会(huì)是一个(gè)非常本质的变化。”未来大模型能(néng)否成功,傅盛也认为,大模型的(de)天花板能(néng)否再上一个台阶很重要。
“至暗时刻觉(jué)得技(jì)术很重要”
这一轮的生(shēng)成式AI是(shì)一场掀起巨大浪潮(cháo)的社会(huì)生产力革命,傅盛(shèng)认为,这波浪潮今天(tiān)已经呈现出明显的(de)泡沫(mò)迹象。
何(hé)为“泡沫”,傅盛认(rèn)为,一方(fāng)面是模型能(néng)力没有明显提升(shēng)。“在一个以科技(jì)为核心的技术浪潮中(zhōng),这是不太正常的。”每次写(xiě)不(bù)同的东西,傅盛都会用好几个大模型互相比较(jiào),“有时候这个大模型更(gèng)好(hǎo)用,有时(shí)那个更好(hǎo)用,当前大模型的(de)同质化很严重。”
其次,说了这么久人工智(zhì)能,“但真正的(de)Killer APP(杀手级(jí)应用)并没有出现,不仅在C端没有出现,B端也未能(néng)出现。很(hěn)多行业大模型都说自己(jǐ)有不少应用,但真(zhēn)正提效的并不多。”傅盛说,想要将大模型真正变成一个明显能提效的应用,还(hái)很有难度。
泼(pō)了盆(pén)冷水的同时,傅盛补充表(biǎo)示,泡(pào)沫不见(jiàn)得会使大(dà)模型发展崩塌,因为(wèi)有点泡沫很正常,互联网早期也曾出(chū)现泡(pào)沫。
在今年6月演讲 时,金沙(shā)江创(chuàng)投主管(guǎn)合伙人朱啸虎(hǔ)曾谈及GPT-5一直(zhí)“跳票”时表示,“硅谷也高度怀疑GPT-5还有没有,即使出来在核(hé)心推理能(néng)力上还有没有显著的提高,这是(shì)很(hěn)不确定的东(dōng)西,今(jīn)年年(nián)底是一个验金(jīn)石。”他判断,大模型演(yǎn)化速度有放缓趋势,而迭代曲线放(fàng)缓以后(hòu),应用层的机会就会更多。
不过,在波(bō)形智能创始人姜昱辰看来,大模型(xíng)技术迭代其实并没有放缓,而是保持着2018年以来(lái)的增速,那(nà)一年基于(yú)Transformer架构的大规模(mó)语(yǔ)言模(mó)型预训练(liàn)开始(shǐ)流行(xíng)。从博士(shì)的自然(rán)语言(yán)处理研究到大模(mó)型创业,姜昱辰更早开始(shǐ)经历这(zhè)轮大模(mó)型(xíng)技(jì)术演化的进程。
“大家之所以有(yǒu)这样的(de)感觉(技术迭代放缓)是因(yīn)为大众是(shì)在2022年(nián)底(dǐ)、2023年初第(dì)一次看到这个技术,做了很多短(duǎn)时间的learning和追(zhuī)赶,追赶当然比较快。”姜昱辰对第一财经表示,把OpenAI做出来(lái)的技术学(xué)一遍,不叫“技术迭代”。
虽然(rán)行业此前有一句“没有应用的大模型一(yī)文不值”广为传播,但在很多从业者看(kàn)来 ,大模型的技术同样重要,因为更好的应用一定建立在(zài)更好的技术之上,技术和应用是一个相互转化的串联关系(xì)。
在MiniMax刚刚过(guò)去的伙伴日(rì)活(huó)动上,闫俊杰在讨论中提到(dào),“至暗时刻会觉得技术很重要。”
很(hěn)多时候做技术时,并(bìng)没有真正意识到技术为什么重要(yào)。闫俊杰举例表示,用户感受到的东西可能来自于(yú)一些产品细节,或者一些品牌(pái),技术本身是好多个环 节在一起 ,尤其在繁荣时期,可能(néng)分不清什么是主,什(shén)么是次,“当在某些时间点遇到(dào)瓶颈的时(shí)候,抛(pāo)开所有的表象东(dōng)西,会意识到技术才是最终提升(shēng)的来源。”
“技术做不好的时候,发现所有东西(xī)都是(shì)问题,当技术做好(hǎo)了(le),似乎所有问题都被掩盖了,”闫俊杰表示,技术是一家科技公(gōng)司最核(hé)心的要素这件事(shì),尽管已深(shēn)刻意识到(dào),偶尔还是在继续犯错误,“这个是我在多次至暗时(shí)刻里最有共性的一(yī)件事。”
做技术也是(shì)一件非常奢侈的事,“如果看一眼我们每个(gè)月的账单还是会非常心疼的。”在采访中 ,说到这话时,闫俊杰几次看向了MiniMax技术 总监韩景涛,也就是“账单的制造者”。
因为做(zuò)技术可能(néng)会失败(bài),研(yán)发投入很大,闫(yán)俊杰(jié)此(cǐ)前很多时候会想要(yào)不要走点捷(jié)径,但实践(jiàn)经验会证(zhèng)明,走捷径就会被“打脸”,“这个事在我这发生可能超过十次了。”
“一个(gè)东西要实验三次才能成功(gōng),第三次实验成(chéng)功的时候,会想前面两次是不是可以不用做(zuò),就像(xiàng)吃(chī)包子(zi)吃三个会(huì)吃饱,就会想是不是前两个不(bù)用吃是一(yī)样的(de)。”闫俊杰表示,这是做技术(shù)时一个比较容易犯的(de)错误(wù)。
在各 种关于(yú)模型(xíng)技(jì)术细节的(de)排行榜上,或许GPT-4o的跑分不常出现在(zài)第一(yī),甚至会在中间,但在MiniMax基于真实客(kè)户的测试集中,OpenAI的(de)GPT-4o是(shì)遥(yáo)遥领先 的。
在大模型时代,如何判断技术的好(hǎo)坏,大众很迷惑(huò),企业(yè)同样(yàng)觉(jué)得很难,但这个点很重要,因为技(jì)术的评价标(biāo)准会决定模型的迭代方向,如果指标本身不对迭代方 向可能就错了。
闫俊杰(jié)提(tí)到,MiniMax目前的一个办法是,基于(yú)MiniMax开发平台的3万多个开发者和付费客户,在他们的场景(jǐng)上构建一个真实(shí)使用的测试集(jí),有些客户对他们的场景(jǐng)非常看(kàn)重,要(yào)求保证产品(pǐn)的效果,基于这些客户真实使用的评测是较为客观的。
“这个测试集上所有国产化模型相比GPT-4o都相(xiāng)差较多,其(qí)他排行榜基本上GPT-4o都要排到中间去(qù)了(le),但是在我们的排行榜上确实GPT-4o排在最靠前(qián)。”闫(yán)俊杰提到,国(guó)内所(suǒ)有模型都与GPT-4o有本(běn)质的差距,且越难的问题差(chà)距越大(dà)。按照这(zhè)个评(píng)估方式,国产模型的提升空(kōng)间还很大。
静待下(xià)一转折点(diǎn)
大模型的下一个转折点在哪(nǎ)里?众多创业者有不同的答案,有人认为是错误率的降低,有人觉得是个性化的模型,有(yǒu)人认为关键(jiàn)在于(yú)小(xiǎo)算力训练出大模型,背(bèi)后或许(xǔ)意味着架构的改(gǎi)进。
朱啸虎曾提(tí)到,今(jīn)年的大模(mó)型本身还(hái)是(shì)有很多错误(wù),且出来的结(jié)果不可控,今天落地最困难的是,场景下怎么解决错误问题、可(kě)控问题。
现在所有的模型错误率(lǜ大模型,何时迎来大转折?)都(dōu)在20%左右,即两位数的错误率,有时惊艳,有时不靠谱,闫俊杰认为,这也是(shì)制(zhì)约模型处理复杂任务的 原因,“真(zhēn)正的变革是 ,什么(me)时间点有一个模型可以将错误(wù)率降低到个(gè)位(wèi)数。”这(zhè)是能增加用户使用深度的核心(xīn)手段。
复杂任务往往需要多(duō)个步骤“相乘”,较高的(de)错误率(lǜ)导致失败率的指数增加。闫俊杰表示,即便(biàn)是GPT-4这样的模型也无法支(zhī)持非(fēi)常灵活的Agent(智能体),这并不(bù)是因为Agent框(kuāng)架写得不够好,产品做(zuò)得不好,最根本的原因是模型本(běn)身不够好。
但(dàn)现在 可 以(yǐ)看(kàn)到的(de)是,每家公司有了算力,无论是OpenAI、谷歌还(hái)是Meta,都在加码算力。Meta CEO扎克伯格曾在社交(jiāo)媒体上表(biǎo)示(shì),要建(jiàn)立一个大规模的计算基(jī)础设施,到2024年 底,这一设施(shī)将包括35万张英伟达H100显卡(kǎ),业(yè)界预估(gū)这或许将(jiāng)耗费近百亿美元。
算法也(yě)在进步,OpenAI在2023年只能做出来GPT-4,但2024年(nián)能 做GPT-4o,虽然性能差不(bù)多,速度快了近10倍(bèi)。
“计算量多了不止10倍,算(suàn)法(fǎ)也快了10倍时,没有(yǒu)道理说训练不出来一(yī)个更好的模型。”闫俊(jùn)杰(jié)提到,“如(rú)果(guǒ)Scaling law(尺度(dù)定律(lǜ))是对的,未(wèi)来这个模型(xíng)一定会出现,标志就(jiù)是个位数(shù)的错误率。”
在傅盛看来,降低错(cuò)误率同样重要。“今天(tiān)的大模型(xíng)有(yǒu)20%-30%的知识幻觉,而且‘它不知道自己不(bù)知道’,这是在企业应用上非常重要的(de)一大卡点。”想要真正落地一个应用,得用大量工程化的手段去解决以(yǐ)前通用人(rén)工智能认为它能干的活,这中(zhōng)间是有差距的。
问及大模型技术(shù)的(de)下一个转折点,姜(jiāng)昱辰给了一个(gè)不一样的答(dá)案(àn),她认为是(shì)“个性化(huà)”的技(jì)术。
“ToB的创业者(zhě)会(huì)觉得错(cuò)误率降低很重(zhòng)要,因为企业级、工业级场景(jǐng)中要(yào)的是极高准确(què)率,而在消费场景中,要的(de)是‘懂你’的(de)个人助手。因此,对(duì)ToC创业者来说,个性化(huà)技术(shù)更重要。”对于不同的(de)答案,姜昱辰解释,ToB和ToC不同的场景下会(huì)有不同的感知。
从难度上(shàng)来说,大模型幻觉(jué)是概(gài)率模型固有的,不容易解决,但个性化(huà)大模型(xíng)确实是技术层面可行(xíng)的(de)。姜昱辰提到,波形智能目前在做的是这个方向,主要的难点是算法,中间需要知(zhī)道(dào)的是,这(zhè)样的个(gè)性化生成式模型需要什么(me)用户信息,如(rú)何用(yòng)于模型自进化。
深思(sī)考创(chuàng)始人杨志明则认为,下一个(gè)转折点是,如何利用小算力训练出大模型、做好大模(mó)型的推理,在这背后,当下(xià)主流的Transformer架构(gòu)需要(yào)堆积算力(lì),“性价比太低”。架构的改进或许是重要的方(fāng)向。
值得期待的是(shì),近日有消息称,OpenAI将在今年(nián)秋(qiū)天推出代号为“草莓”(Strawberry)的新模型。作为核(hé)心技术突破,草莓可(kě)能集成在ChatGPT内,帮助解决当前AI聊天机器人难以完成的复(fù)杂(zá)任务,如数学和编程问题。此外,草莓更会“思考”,在解决(jué)强主观性问题上更擅长。
“草莓”是(shì)前菜,消息人士透(tòu)露,OpenAI正在开发下一代大(dà)型语言模型Orion(猎户(hù)座),草莓将为其生成高质量训练数据,以帮助减少大模型(xíng)幻觉问题。能否突破瓶颈,带领行业进(jìn)入下一转折 点,最大的可(kě)能性还在OpenAI。
未经允许不得转载:橘子百科-橘子都知道 大模型,何时迎来大转折?
最新评论
非常不错
测试评论
是吗
真的吗
哇,还是漂亮呢,如果这留言板做的再文艺一些就好了
感觉真的不错啊
妹子好漂亮。。。。。。
呵呵,可以好好意淫了