新零售行业决策评价系统
- 项目背景
- 评论文本分类实现方法
项目背景
随着科技的迅速发展和智能设备的普及,AI 技术在新零售行业中得到了广泛应用。其中智能推荐系统是 AI 技术在新零售中最为常见且有效的应用之一。通过分析用户的购买历史、浏览行为以及喜好偏好,推荐系统可以根据个人特征给用户进行个性化商品推荐。这种个性化推荐不仅可以提高用户购买意愿,减少信息过载,还可以带来更高的用户满意度和销量。
在智能推荐系统中,文本分类的应用属于重要的应用环节。比如:某电商网站都允许用户为商品填写评论,这些文本评论能够体现出用户的偏好以及商品特征信息,是一种语义信息丰富的隐式特征。相比于单纯的利用显式评分特征,文本信息一方面可以弥补评分稀疏性的问题,另一方面在推荐系统的可解释方面也能够做的更好。
因此,本次项目我们将以"电商平台用户评论"为背景,基于深度学习方法实现评论文本的准确分类,这样做的目的是通过用户对不同商品或服务的评价,平台能够快速回应用户需求,改进产品和服务。同时,自动分类也为个性化推荐奠定基础,帮助用户更轻松地找到符合其偏好的商品。
评论文本分类实现方法
传统的深度学习方法
- 目前实现文本分类的方法很多,如经典的应用于文本的卷积神经网络(Text-CNN)、循环神经网络(Text-RNN)、基于 BERT 等预训练模型的 fine-tuning 等,但是这些方法多为建立在具有大量的标注数据下的有监督学习。
- 在很多实际场景中,由于领域特殊性和标注成本高,导致标注训练数据缺乏,模型无法有效地学习参数,从而易出现过拟合现象。
- 因此,如何通过小样本数据训练得到一个性能较好的分类模型是目前的研究热点。
模型高效参数微调方法
- 基于前面章节的介绍,我们可以借助 Prompt-Tuning 的技术,来实现模型部分参数的微调(当然如果模型参数较小比如 BERT,也可以全量参数微调),相比传统技术方法,Prompt- Tuning 方法可以实现在较少样本的训练上,就可以达到较好的结果。
- 在本次项目中,我们将分别基于 BERT+PET 以及 BERT+P-Tuning 两种方式实现用户评论文本的分类。重点是理解 prompt 的构造方法,以及 promt-tuning 方法的实现原理。