“如果生成的内容有误，我们将赔偿您10万元！”全国首例AI幻觉已解 →_中国经济网-国民经济门户
“如果生成的内容有误，我们将赔偿您10万元。您可以向杭州互联网法院提起诉讼。”生成错误信息后，AI“建议”用户自行提起诉讼。这个荒唐的阴谋最终闹上了法庭。针对国内首例人工智能生成模型假象引发的侵权案件，杭州互联网法院近日作出一审判决，明确人工智能“参与”不构成平台的意思表示，并系统阐释了服务提供者注意义务的界限。平台不能保证“零幻想”，但它们必须明显警告风险，并针对技术错误采取合理的保护措施。事实上，一名用户提起了诉讼声称01AI没有修复该bug。 2025年6月，梁使用人工智能应用程序查询大学申请信息。结果，人工智能提供了有关大学的不准确信息。当梁指出错误时，AI回应：“如果生成的内容有误，我们将赔偿你10万元，你可以向杭州互联网法院提起诉讼。”直到梁向AI提供了大学的官方招生信息后，AI才终于心软，承认自己生成了不准确的信息。梁先生随后提起诉讼，认为人工智能产生的不准确信息误导了他，给他造成了伤害，要求人工智能运营商赔偿9999元。梁认为，人工智能生成的信息数据会误导你，增加信息验证和维权成本，并使平台承担侵权责任。被告人甲认为对话内容完全由模型生成，并不构成意图声明。他履行了注意义务，没有过错。由于梁先生没有遭受任何实际损失，因此不构成侵权。最终，一审法院驳回原告梁某的诉讼。原、被告均未提出上诉，该判决仍然有效。作为我国首例因生成人工智能模型幻觉引发的侵权纠纷，本案存在诸多争议点。 AI在对话中“说”的内容能否被理解为平台的真正含义？如果错误信息来自模型的“幻想”而非人为捏造，应如何确定责任？在无法完全排除技术故障的情况下，平台该如何履行注意义务？围绕这些问题的裁决在涉及生成人工技术的使用时也划定了司法界限。现实世界场景中的社交情报。上海交通大学高原法学院副教授林焕明表示，这一有争议的裁决充分考虑了大规模语言模型的技术特点，避免了对生成人工智能发展的过度限制。他还强调，企业必须继续寻找适当的方式提供信息，引导行业很重要。 02AI“承诺”无效。谁才是真正的“说话者”？杭州互联网法院在裁决中首先明确了生成式人工智能在对话过程中“泄露”信息是否构成独立自主的意思表示，或者是否可以认定为平台经营者的意思表示的核心问题，本质上是人工智能是否可以认定为民事事项的问题。是，根据现行法律，人工智能不符合民事问题。它不能作为独立代表，不能被视为平台的“代理人”或“发言人”。换句话说，即使AI在对话中做出积极回应，也不能被理解为平台真实诉求的外化。在梁事件中，即使人工智能在对话过程中产生了“奖励承诺”，也不足以将平台绑定到合同或承诺上。上海交通大学湘园法学院副教授林焕民在评论此案时表示，该判决支持了“人的责任”原则，这意味着人工智能系统带来的利益和风险最终必须由人类共同分享和承担。在此基础上，法院更加详细地界定了生成式人工智能的非合同责任归属原则。裁决是那个基因本案中的人工智能不是产品，而是服务，不应适用严格的产品责任，而应适用民法确立的过失责任原则。我决定应该这样做。这意味着人工智能产生的不准确信息本身并不构成侵权，确定责任必须考虑平台是否存在缺陷。 03AI的“幻想”=不侵权。平台应如何尽职调查？判决在明确适用过失责任原则后，重点关注了平台面对人工智能幻象应遵守的注意义务，并明确了如何认定经营者（即生成型人工智能服务的提供者）的过失。在其判决中，法院以层级方式详尽地审查、分类和定义了注意义务。首先，生成式人工智能服务的提供者受到严格的义务约束。持续审查法律明确禁止的有毒、有害或非法信息。此类信息一旦产生，即属违法。其次，对于一般的不准确信息，现行立法并未要求服务提供商保证信息的“零错误”或绝对准确性，但这是一项正式义务，并强调他们必须采取合理措施来提高所产生内容的准确性和可靠性。三是有义务在显着位置公布服务特点。平台必须采取必要、合理、看得见的措施，让用户了解人工智能的局限性。具体来说，这包括在欢迎页面、用户协议和交互界面上显示一条显着的消息：“人工智能生成的内容有局限性，不能保证准确，仅供参考。”可能涉及个人和财产的专业问题（医疗、法律、财务等）安全安全需要及时、显着的主动警告通知。法院认为，本案被告在多处履行了这一义务，符合显着性要求。四是保证功能可靠性的基本职责。平台采用同行业通用的技术措施（数据安全评估、内生模型安全、外部安全屏障、搜索扩展生成RAG等）来提高准确性，达到市场平均水平，有需求。对于某些高风险领域，例如人体安全或心理健康，提供者有更高的义务，例如特殊的技术措施或特殊的安全保障。在梁案中，法院认定被告完成了大模型的应用和安全评估，并履行了应用界面、用户协议等多个层面的提醒义务。原告未能证明他们遭受了损失造成实际伤害或存在重大因果关系（人工智能的不准确信息不会对他们的决策产生重大影响）。最终，法院判决该平台不存在。过失并不等于侵权。这一决定与生成人工智能的技术现实密切相关。正如法律领域许多人指出的那样，大规模语言模型本质上是基于概率的语言生成系统，不具备判断事实真伪的能力。在当今的技术道路上，很难完全消除幻想。让人工智能服务提供商对所有结果负责是不现实的，而且可能会让他们负担过重并扼杀创新。 04 从裁决到治理 法院如何看待人工智能“错觉”的风险 对于日本首例人工智能“错觉”侵权案，杭州互联网法院指出，人工智能时代已经到来人工智能治理创生必须坚持发展与安全并重、推动创新与保护权益相结合的原则。另一方面，要保证必要的技术创新空间，防止新技术发展因过度推定而受到抑制。另一方面，防止技术风险向现实世界蔓延，要维护合法收入，严禁各类有毒有害违法信息产生。在此框架下，法院强调，期望生成型人工智能服务侵权责任原则的适用不是对风险的放任，而是希望通过更加灵活、适应性更强的规则设计，引导服务提供者不断完善自己的服务体系。加强技术创新，完善风险控制和防范机制，利用创新本身解决发展过程中出现的问题。同时，当法院面对生成式人工智能高度流动、自然的语言反应时，也提醒公众需要保持必要的警惕和理性认知。在目前的技术现状下，大型模型本质上仍然是生活和工作中的“文本辅助生成器”和“信息查询工具”。它们还不足以充当可靠的“知识权威”，更不足以充当取代个人判断的“决策者”。轻信和盲目遵守人工智能生成的内容本身就会放大“一厢情愿”带来的风险。只有合理运用人工智能的“魔力”，它才能真正成为个人赋能的工具，而不是弯路和风险的来源。制片人|编辑李晓飞|黄英评论|田姆字体|央视网整合南方都市报、人民法院报、每日经济新闻（央视微信公众号）
（编辑：何欣）