중한연구학회
학술지(中韩研究学刊)
 

第18辑(總第35辑)8. 中文大模型语言理解能力测试:思路与实验

작성일 : 25.01.10 12:10 | 조회 : 7
  1. 글쓴이 : 중한연구학…
  2.  08_中文大模型语言理解能力测试:思路与实验--龚波,汪雅欣.pdf (373.9K) [2] DATE : 2025-01-10 12:27:23
  3. 以 ChatGPT 等为代表的生成式语言大模型具有极强的语言运用能力,其流畅的语言表达能力、强大的问题处理能力以及海量的数据库都让人们切身体验了当代人工智能的强大。然而,能熟练运用语言并不意味着大模型真正理解了人类语言。如何测试大模型的语言理解能力,特别是中文理解能力,这是一个亟待解决的问题。汉语相较于印欧语系语言的独特个性使得目前AI界通行的威诺格拉德模式对中文模型测试虽有借鉴意义但并不完全适用。文章在借鉴和改造威诺格拉德测试模式的基础上初步提出的中文大模型语言理解能力测试集包括四大模块:常识和推理模块、语气和情感模块、特殊语体模块以及特殊任务模块。文章用这个测试集对当前通行的几个中文大模型进行了语言理解能力测试实验。

    关键词:中文大模型,语言运用,语言理解,测试

 
 

中韓研究學會(原在韓中國教授學會)是為中國學及韓國學,特別是語言、文學、文化、政治外交、經濟等相關領域的學者提供交流的學術平台。學術於1994年在韓國漢城(現首爾)成立。學會目的為透過定期的國際學術會議、教學方法研討會、文化沙龍等學術文化活動促進韓國學者與中國學者之間的學術交流,進而為與第三國學者建立緊密的學術交流平台。這種學術交流使國內第一線學者能夠及時分享最新的研究成果,從而提高韓國中國學及韓國學研究水平。特別是對提升國際中文教育品質起到了重要作用。

주소 : 서울 종로구 대학로 86(동수동) | 한국 방송통신대학교 331호
TEL : 02-3668-4571 | FAX : 02-3673-0612