大模型语料的困境与思考
大模型语料的困境与思考
一、语料采集的流程与来源
1. 语料采集的流程
语料采集是训练大模型的第一步，主要包括以下几个步骤：
- 目标定义：明确模型的目的和应用领域。
- 数据来源识别：列出可能的数据来源，如网页、书籍、社交媒体等。
- 法律和道德考虑：确保遵循数据使用和隐私法律。
- 数据抓取与收集：使用网络爬虫、APIs等工具从在线源抓取数据。
- 预处理：清除无关或低质量的文本，进行格式转换和匿名化处理。
- 数据增强与平衡：采用数据增强技巧，保证语料库的多样性和平衡性。
- 数据存储：使用合适的数据库或文件格式存储数据。
- 评估和反馈：对收集的数据进行初步分析，调整数据收集策略。
- 重复迭代：根据模型的初步训练结果或新的数据需求，调整语料库。
2. 语料采集的来源
语料采集可以来自多种多样的来源，具体来源取决于需求、模型的目的以及可获取数据的许可权等因素。按照语料呈现的方式可以分为线上和线下，按照语料生产者的类型可分为用户生产的语料、专家生产的语料、政府和组织生产的语料。
3. 语料的评价标准
评估语料采集的质量是关键步骤，以下是一些评估语料采集质量的方法和指标：
- 多样性：确保语料涵盖目标领域或应用的各种话题和风格。
- 代表性：语料应真实反映目标领域或应用中的语言使用情况。
- 准确性和真实性：语料中的事实、数据和信息应准确。
- 完整性：文本是否完整，没有被截断或部分丢失。
- 格式和结构：语料应有统一和清晰的格式。
- 语法和拼写：检查语料中的语法错误和拼写错误。
- 噪声水平：评估语料中的噪声，如无关的文本、广告、链接等。
- 偏见和公平性：评估语料是否存在不公正或偏见。
- 时间相关性：评估语料的时效性。
二、语料面临的挑战
1. 认知偏差和错误内容
人类认知过程本身并不完美，通常会受到经验、情绪和知识结构等多种因素的影响。这种不完美会在语料中表现为认知偏差、误导性信息，甚至是错误结论。一旦这样的内容被大模型吸收，便可能“传染”到模型生成的内容中。
2. 主观性与营销性
在语言使用中，主观性和营销性表达十分普遍。这类表述不仅仅在传达事实，更会通过选取特定信息、放大某些细节，或隐去不利方面，以引导受众对内容产生特定理解。这种选择性和诱导性表达在社会、文化、商业等各个领域均有体现。
3. 价值观和文化差异
语料库中的内容通常来自不同的文化背景和价值体系，这种多样性导致了同一主题上可能存在截然不同甚至相互矛盾的观点。人类在面对这些差异时，能够通过理解文化背景和历史脉络来消化和分析冲突。然而，语言模型在处理这些内容时却难以实现类似的平衡。
4. 不可解决的“正确答案”
在语料中，有许多涉及伦理和哲学的内容，这类问题往往没有绝对正确的答案。伦理学问题中，人类价值观和道德取舍往往存在分歧，而在哲学问题上，人类知识的局限性和观点的多样性使得许多问题本质上无法得到定论。
5. 语言的局限——缺乏思维过程
语言模型在学习过程中所缺乏的思考能力是其生成结果的深层次挑战。语言的生成不仅是对已有文本的简单拼接，更是思维与情感的真实表达。每一段简洁的文字背后，蕴藏着作者在思考过程中所经历的推理、逻辑分析和情感波动。
三、解决方案
1. 数据二十条的指导
“数据二十条”的核心思想在于促进数据合规高效流通使用、赋能实体经济，充分实现数据要素价值。应当坚持支持创新的基本立场，顺应加快构建数据基础制度、激活数据要素潜能的政策导向，尽可能在满足产业对个人信息利用需求的前提之下保护个人信息的安全。
2. 基于平衡理念对个人信息保护法的调适
应当对《个人信息保护法》的规定作出有利于生成式人工智能发展的解释，以满足生成式人工智能训练对个人信息数据的利用需求，并在必要时作出例外规定。
3. 个人信息保护请求权的行使
服务提供者应当依法处理个人的权利请求并尽可能予以满足，但是个人信息保护请求权的实现不可避免地受到技术现实的限制。
4. 个人信息安全保护义务与侵权责任
服务提供者应尽到严格的个人信息安全保护义务，以最大程度地降低个人信息风险。具体而言，服务提供者应当采取与信息敏感性相称的措施，保护在生成人工智能的整个生命周期中收集或使用的任何个人信息，并且持续关注可能出现的威胁。