10月24日消息,今日,科大訊飛舉辦“2024科大訊飛全球1024開發(fā)者節(jié)”。
會(huì)上,科大訊飛正式發(fā)布汽車端側(cè)星火大模型,相較于云端大模型,汽車端側(cè)星火大模型在無(wú)網(wǎng)環(huán)境下可用,且使用效果與云端相比幾乎無(wú)差異。
科大訊飛介紹,很多用戶在開車經(jīng)過(guò)山洞隧道,或在其他特殊場(chǎng)景下,會(huì)遇到無(wú)網(wǎng)的情況;還有些用戶出于保護(hù)個(gè)人隱私需求,不希望將個(gè)人數(shù)據(jù)同步至云端。
而科大訊飛首發(fā)的汽車端側(cè)星火大模型,將大模型部署在汽車端本地,不依賴云端網(wǎng)絡(luò),完美解決以上用戶的使用痛點(diǎn)和需求。
科大訊飛表示,雖然他們部署的汽車端測(cè)星火大模型,只有1.3B的參數(shù)產(chǎn)出,比現(xiàn)在通用模型降低了兩個(gè)數(shù)量級(jí),但在汽車典型應(yīng)用場(chǎng)景中,這些應(yīng)用場(chǎng)景中的實(shí)際效果只下降了1%,實(shí)用效果幾乎沒有差異。
端側(cè)首響應(yīng)時(shí)間降低到40毫秒,在復(fù)雜場(chǎng)景下還可以調(diào)用云端模型,即便需要調(diào)各種信源,端云融合的響應(yīng)時(shí)間也降低至1.3秒,汽車端側(cè)星火大模型的技術(shù)效果和響應(yīng)速度,屬于全行業(yè)領(lǐng)先的水平。
科大訊飛透露,汽車端側(cè)星火大模型不僅是今天首發(fā)軟硬件一體化的模型,關(guān)鍵是從今年第四季度開始,奇瑞、廣汽、長(zhǎng)城等多款車型,正在陸續(xù)集成上線并開售,用戶很快就能體驗(yàn)到。