上海

上海话版AI来了!上海大学发布沪语大模型“小沪”

文汇网   储舒婷   2024-11-11 10:20:05

undefined

说不好普通话的老人使用各类语音输入时,往往“交流”不畅。对上海老人来说,这一困境有望改变。11月9日,沪语大模型“小沪”在上海大学发布。

undefined

现场视频演示中,一位说上海话的爷叔提问:“小沪、小沪,我最近肚皮不太适宜,哪能办?”卡通形象的智能体“小沪”用上海话回答:“侬最好问问医生,看看消化科,中山医院蛮好呃……”爷叔继续问:“哦,中山医院哪能走啊?”“小沪”答道:“从上海大学,乘7号线,东安路站头下来,大概一个钟头。”

在现有的数字应用中,老年人常遇到诸多不便。比如:智能手机字体小、界面复杂,操作流程不符合日常使用需求。

此次主创团队代表、上海大学文学院丁迪蒙教授表示,“小沪”的出现则降低了AI的使用门槛,让老年人使用AI就像和人对话一样方便。通过简单的语音交互界面,“小沪”能使老年人能够更便捷地使用数字化技术,让不习惯或不擅长使用普通话的老年人群体也能够流畅交流。

截至2023年末,上海全市户籍人口1519.47万人,60岁及以上老年人口568.05万人,占总人口的37.4%;65岁及以上老年人口437.92万人,占总人口的28.8%;80岁及以上高龄老年人口81.64万人,占总人口的5.4%。

为尽早让上海老人用上“小沪”,该模型正迭代升级。

上海大学党委常委、宣传部部长曾军教授介绍,目前,“小沪”1.0版本阶段专注听、说、读,能够开展沪语朗读沪语,沪语朗读普通话,普通话—沪语自由对话等。接下来,2.0版本的“小沪”将实现沪语与沪语之间的自由交流,并开发男生沪语、童声沪语等不同性别和年龄的沪语版本。而3.0版本的“小沪”则依托沪语读写能力开发及应用,并增加歌唱和表演功能。

随着AI技术不断升级,“小沪”应用场景和领域将不断拓展,社会服务功能持续增强,可以广泛用于沪语AI助手——助老语音服务,以及沪语主播、沪语语伴、沪语客服与沪语教学平台,乃至电台电视台的沪语—普通话、外语互转互译等。

曾军表示,让AI学会讲沪语不是目的,让沪语更好地在人类语言中得到传承创新和发展才是目标。

尤其近年来,随着普通话的普及和年轻人接触沪语机会的减少,上海话的使用群体呈下降趋势,特别是年轻一代逐渐不再使用或掌握沪语,保护方言迫在眉睫。在6至20岁年轻人中只有22%会说沪语。

不止上海话,整个吴语语系方言的使用人口都在大幅下降,上海话和吴语面临消失风险。沪语大模型的开发,有利于沪语的方言的传承保护。

那么,训练说上海话的AI有多难?“上海话既蕴含吴语方言的古音,又包括流行至今的音译词。”作为长期致力于上海话推广的朗诵专家,丁迪蒙表示,沪语是代表性的吴方言,使用人数众多,但从计算的角度说,仍然是一种低资源的语言。因此,最大的难点在高质量数据集的建设。

作为上海话研究重镇,以“上海”城市命名的上大长期以来积累了最优质最丰富的沪语语料。 著名语言学家、上海话研究专家钱乃荣教授编撰了《上海话大辞典》,发明了上海话输入法。同时,大学配备了实验语音学实验室、AI集成与部署专家,正集中学科优势攻关地方特色的方言大模型。上海大学文学院中文学科团队构建了高质量文本数据集,采集了书写规范、语法规范沪语文本数据集,使得训练出来的沪语模型表达更加地道。此外,基于高质量文本数据集构建了沪语语音数据集,具有较广的词汇分布,减少了发音歧义,对比评测中在声调语调上取得最佳效果。

书写标准,语法规范的沪语自然语料较少,也限制了模型性能的进一步提升。目前,团队正通过开发语音识别系统、人工转写构建更大规模的高精度沪语语料库,支持沪语模型的训练。不过,训练语料语言进行大量的转写、清洗和标注工作,需要专业人力资源的支持。除了数据,大模型训练也需要大量的算力和技术力量投入。

近期,上海大学还将发布“基于沪语模型的创新创业大赛”的项目,鼓励更多有志青年加入这个项目中来,实现成果转化。


图片来源:受访者供图

责任编辑: 陆芸

2023年上海市民终身学习人文行走网上学习平台