得益於神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显着成果，ChatGPT就是一个典型的例子。

　　然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源﹔另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。

　　训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用於训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行為，进一步收紧了访问权限，这将引发“数据共享”规模上的危机。為此，开发人员必须寻找变通之道。

　　过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用於训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成為训练LLM的定制数据集。

　　然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交匯。

　　与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记為限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。

　　当前，围绕AI训练中数据使用的合法性，试图為数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权﹔今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。

　　若法院最终站在内容提供商一方，支持其获得经济赔偿，那麼对於AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。

　　寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。

　　一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。

　　另一种选择可能是专注於快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。

　　如果AI接受除文本之外的多种类型的数据训练，可能会為丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用於训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。

　　此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成為一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。

　　另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注於单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。

　　12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1採用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。

　　当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。

　　智能手环监测健康数据、网络养生知识随时可查、下楼就能在助餐点吃到可口饭菜......近年来，我国在银发產业领域的供给越来越多元，银发经济已经成為积极应对人口老龄化的必然要求和培育经济新动能的重要内容。 数据显示，截至2023年底，全国60岁及以上老年人口已达到2.97亿人，佔总人口的21.1%，预计到2050年将达到近5亿人。…

　　人民网北京12月30日电 （欧阳易佳）12月30日，中国气象局举办新闻发布会。国家气象中心副主任章建成表示，1月是我国各地平均气温相对最低月份，天气气候差异大，部分时段容易受冷空气和雨雪天气影响，建议公眾出行前查看目的地天气预报，准备好应急保暖物品和药品。…

　　人民日报社概况关於人民网报社招聘招聘英才广告服务合作加盟版权服务数据服务网站声明网站律师信息保护联系我们

　　人 民 网 股 份 有 限 公 司 版 权 所 有 ，未 经 书 面 授 权 禁 止 使 用