詞元,怎麼突然就火了?(有事說事·詞元三問①)
訂閱已訂閱已收藏
收藏最近,“詞元(Token)”這個詞突然火了起來。
相信在不少人心裡,都有一個問號:詞元為啥這麼火?
要解開這個疑惑,不妨先把“詞元”本身弄清楚。
啥是詞元?
詞元,原本只是一個在技術圈流通的專業術語,說的是AI處理文本時的基本單位,是大模型處理信息的最小單元。
這麼說可能有點太過專業,通俗來解釋就是,在AI時代,詞元可以是一個詞、一段代碼,也可以是圖像或視頻中的一個像素區塊。當你向AI工具提問的時候,工具裡的模型會先把你的話分解成一個個小的詞元,在算力“算”完后把結果的相應詞元拼回成答案。
既然是AI時代的產物,為何最近才突然火起來?畢竟AI早已進入大家的視野了。
這裡,不能不提最近爆火的“龍蝦”。
不管是OpenClaw,還是QClaw等諸多版本,“龍蝦”擴散的速度之快超乎想象,越來越多身邊人養上了“龍蝦”。
為何“龍蝦”爆火把詞元也給帶火了呢?
原因一說你就明白了:過去,我們與AI的相處模式主要是人機對話,我們提出諸如“詞元是什麼?”“‘龍蝦’怎麼養?”等等生活中面臨的問題,請AI給出答案。這種情況下,AI對詞元的調用量是“被動”式的,也就是說,隻有我們向AI發問的時候,AI大模型才會思考,才會調用詞元來解答和處理我們的問題。
而現在,各路“龍蝦”的橫空出世,讓局面變得完全不同了。AI不再是被動式響應的對話框,而是長出了智能體,有了“感知—決策—執行”的閉環能力,換句話說,AI能“主動”干活了,這種情況下,詞元的消耗量就大大增加了。
爆火的,不只是“龍蝦”。
各種AI工具不斷出現,觸角不斷延伸到我們生活和工作的方方面面。
AI給大家帶來越來越多的便利,也讓大家養成了使用AI甚至與AI共生的習慣。
各位看官,不妨打開自己的手機看看,裡面是不是多多少少都有了那麼幾款AI工具?就連今年的春晚也充滿了濃濃的AI味道。
現當下,對許多人來說,遇到需要解決的問題,可能不再是“百度”一下,而是問問AI﹔在出差途中,用手機給“龍蝦”下個指令,整理一份需要的材料出來,甚至給“龍蝦”設好鬧鐘,每天定時給自己“匯報”關注的最新動態……小到小學生,大到老年人,這些場景都成為越來越多人的生活日常了。
你提的每一個問題,“龍蝦”的每一次動作,就會有無數個詞元在為你奔跑。
數據為証:2024年初,中國日均詞元調用量為1000億,而到今年3月,日均詞元調用量已超過140萬億,短短兩年多時間,增長了超1000倍。
3月30日,根據機構最新數據測算,上周全球AI大模型總調用量為22.7萬億詞元,環比增長11.2%。其中,中國AI大模型的周調用量上升至9.86萬億詞元,較此前一周上漲33.94%,連續四周實現對美國市場的超越。
所以,最近火起來的“詞元”,並不是新生事物,其實早就默默在背后給你支招、為你干活了。
分享讓更多人看到
- 評論
- 關注
































第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量