【資料圖】

光明網(wǎng)訊?2月17日，毫末智行將人駕自監(jiān)督認(rèn)知大模型正式升級(jí)為“DriveGPT”，這也是全球首個(gè)自動(dòng)駕駛認(rèn)知大模型。目前，毫末DriveGPT已完成模型搭建和第一階段數(shù)據(jù)的跑通，參數(shù)規(guī)模可對(duì)標(biāo)GPT-2的水平。

隨著ChatGPT的火爆出圈，它所采用的Transformer大模型以及“人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）”技術(shù)再次引發(fā)行業(yè)關(guān)注。在自動(dòng)駕駛領(lǐng)域，毫末在國(guó)內(nèi)最早將Transformer大模型引入到數(shù)據(jù)智能體系MANA當(dāng)中。在2023年1月的HAOMO AI DAY上，毫末智行CEO顧維灝介紹，毫末推出的人駕自監(jiān)督認(rèn)知大模型就已借鑒了ChatGPT的實(shí)現(xiàn)思路，采用RLHF（人類(lèi)反饋強(qiáng)化學(xué)習(xí)）技術(shù)，通過(guò)引入真實(shí)人駕接管數(shù)據(jù)，對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。

據(jù)了解，毫末的認(rèn)知決策算法經(jīng)歷了三個(gè)階段的進(jìn)化。第一階段是引入個(gè)別場(chǎng)景的端到端模仿學(xué)習(xí)，直接擬合人駕行為。第二階段是通過(guò)認(rèn)知大模型，引入海量正常人駕數(shù)據(jù)，通過(guò)Prompt的方式實(shí)現(xiàn)認(rèn)知決策的可控、可解釋。第三階段，也就是當(dāng)前階段，通過(guò)引入真實(shí)接管數(shù)據(jù)，并且在大模型中開(kāi)始嘗試使用RLHF算法，對(duì)人駕接管數(shù)據(jù)進(jìn)行學(xué)習(xí)。為此，毫末構(gòu)建了一個(gè)包含“舊策略、接管策略、人工label策略”的Pairwise排序模型?；谶@一排序模型，毫末構(gòu)建了自動(dòng)駕駛決策的獎(jiǎng)勵(lì)模型（reward model），從而在各種規(guī)劃場(chǎng)景情況下做出最優(yōu)的決策。通過(guò)這一大模型，在掉頭、環(huán)島等公認(rèn)的困難場(chǎng)景中，場(chǎng)景通過(guò)率提升30%以上。

接下來(lái)，DriveGPT將持續(xù)引入大規(guī)模真實(shí)接管數(shù)據(jù)，通過(guò)人駕數(shù)據(jù)反饋的強(qiáng)化學(xué)習(xí)，來(lái)不斷提升測(cè)評(píng)效果，同時(shí)也將DriveGPT作為云端測(cè)評(píng)模型，用來(lái)評(píng)估車(chē)端小模型的駕駛效果。毫末DriveGPT最新重要進(jìn)展，將在2023年4月舉行的第八屆HAOMO AI DAY上公布。（柯巖）