
东谈主民网北京3月30日电 (记者赵竹青)跟着东谈主工智能范畴英文名词“token”的使用频率近期激增,其对应的汉文该奈何表述颇受存眷。记者近日从寰球科学本事名词坚硬委员会获悉,在专科范畴内凝华最大共鸣的基础上,空洞考量社会各界的看法提倡,该委优先推选“词元”四肢东谈主工智能范畴名词“token”的汉文名,并面向全社会发布试用。该汉文命名将在设想机科学本事名词常态化坚硬职责中连合社会履走运用情况最终说明。
寰球设想机科学本事名词坚硬委员会行家解读说,词元(token)是东谈主工智能时间智能竖立中信息存储、科罚和交换的具有一定语义的基本标记单元,终点是在大模子中四肢模子科罚和交换信息的最小单元。“词元”的命名准确捕捉了其在东谈主工智能言语模子中四肢“基本遏止标记单元”的推行,又不错通过类比当然延迟至多模态范畴。该命名经寰球设想机科学本事名词坚硬委员会坚硬后,由寰球科学本事名词坚硬委员会批准向全社会发布试用。
国度数据局数据表示,2024年头,中国日均词元(token)调用量为1000亿;至2025年底,跃升至100万亿;本年3月,已冲突140万亿,两年增长超千倍。