文｜陈兵

近年来，人工智能技术在社会经济各领域深度扎根，算法逐渐成为企业提升决策效率、优化经营模式的重要技术工具。尽管算法代替人工决策的初衷之一是消除传统意义上的歧视，但从数据采集处理到训练、集群、链接和决策树创建及预测模型开发过程，都离不开程序员的操作和实施，人类的偏见可能已被嵌入各环节之中，而计算机化又强化了歧视与偏见。算法歧视现象在企业决策过程中日益凸显，算法不能再被视为“技术中立”而免责。因此，企业使用人工智能技术进行自动化决策的行为应当被纳入数字技术的法治框架。

算法歧视延伸至多个场景

当今，算法歧视行为已延伸至民生领域多种场景，在招聘筛选、信贷风控、消费定价领域较为集中。亚马逊为实现短期内大规模招募雇员，开发了自动化招聘决策工具。经调查，其全球员工有60%是男性，男性占公司管理职位的74%，2018年因涉嫌性别歧视而停用算法招聘。

在信贷风控领域，金融AI大模型正在重塑信贷行业的风险定价与决策效率，而算法歧视行为严重危害了金融消费者的合法权益。其中低收入群体被系统判定高风险、外卖骑手因GPS轨迹而判定工作波动等信用歧视现象凸显，久而久之，金融普惠目标或将渐行渐远。

在消费定价领域，从“大数据杀熟”到“千人千价”“定制化营销”等，算法歧视逐渐呈现动态化、隐蔽化特征。

算法并非绝对中立，其偏见既源于训练数据记录的社会固有偏见，也来自模型复杂运算中捕捉信息、迭代强化形成的偏差，还与算法设计人员的主观意识、知识背景相关，导致歧视诱因更难追溯。特别是在生成式人工智能等新一代人工智能技术广泛应用的背景下，数据偏见与算法偏差深度交织，隐性歧视被算法化、技术化的倾向越来越严重，且难以被发现。

同时，企业利用算法的方式也更加隐蔽。例如，招聘算法不设置年龄参数，而是嵌入“工作年限”这一隐性的年龄关联参数。又如，金融科技公司利用信贷算法，表面上是以信用为依据，实则暗中将地域、职业作为隐形参数，对欠发达地区、低收入群体设置更高信贷门槛。行为模式的隐蔽性，使得企业借算法“黑箱”以“算法自主决策”“数据偏差导致”为由逃避责任。

算法歧视案件的实务困境

我国目前尚未制定专门的算法法，但已形成以个人信息保护法、电子商务法、反不正当竞争法、劳动法、消费者权益保护法为核心，以部门规章、司法解释为补充的多维度、多层次算法歧视规制体系。我国还通过行业规范的方式，对算法歧视进行了辅助规制，细化了企业合规义务。

但在实践中，由于算法技术具有复杂性、隐蔽性，以及现有法律体系的局限性，使得相关案件仍面临诸多实务难题，制约了算法歧视的治理效果。

（一）数据治理待规范，偏见传导隐蔽且难以管控。

算法训练数据常存在样本失衡、历史偏见等问题，部分数据自带性别、地域、职业等结构性歧视，经算法学习后被进一步放大，形成系统性歧视。同时，数据偏见具有极强隐蔽性，取证难度极大，企业常以商业秘密、技术保密为由，拒绝向司法机关和监管部门提供完整训练数据与清洗流程，导致司法与监管难以核查数据合法性与公平性，加之目前缺乏明确的数据去偏、样本均衡等合规指引，企业数据合规流于形式。

（二）算法规制滞后，技术壁垒难以突破。

算法“黑箱”特性导致监管部门与司法机关无法对其进行穿透式审查，难以知晓其模型逻辑、特征权重等核心内容。现有相关规制条款多为原则性规定，缺乏具体可操作的实施标准，且算法具有动态迭代的特点，与法律的稳定性形成矛盾，进一步加剧了规制的被动性。另外，不同领域的算法歧视场景差异较大，未形成分类分级的规制体系，企业在AI合规过程中缺乏明确依据，难以精准避免歧视风险。

（三）歧视边界难界定，受害者举证难度大。

实践中，如何区分“合理的差别对待”与“违法的算法歧视”，是算法歧视认定的核心难点。如招聘算法根据岗位需求，设置筛选参数，选定符合条件的求职者，属于合理的岗位匹配；信贷算法根据借款人的信用状况、还款能力进行差异化评定，属于合理的风险控制。当上述差别对待超出“合理范围”会形成对特定群体的不公平待遇，而构成算法歧视，但“合理范围”缺乏明确的判断标准，导致司法认定存在较大争议。

算法的“黑箱”特性导致算法歧视案件举证难度远超普通民事案件，给受害者维权带来障碍。一方面，受害者难以获取算法的设计逻辑、参数设置、数据训练过程等商业秘密，作为其维权的相关证据；另一方面，受害者难以证明自身权益受损是由算法歧视导致的。

尽管个人信息保护法规定了“过错推定”原则，但在实践中，该原则适用仍存在局限，企业往往以“算法技术复杂”“数据合法合规”为由，拒绝提供算法相关证据，而法院缺乏有效的强制手段要求企业披露算法信息，导致“过错推定”原则难以落地。同时，有关部门尚未建立统一的算法解释标准，企业在履行透明化义务时，还面临与商业秘密保护的冲突，合规成本较高，导致用户维权陷入困境。

（四）责任划分模糊与责任形式单一。

算法开发、运营、数据提供、使用等相关责任主体多元，各主体的责任边界划分不清晰，难以明确歧视行为的具体责任归属。

对于覆盖群体广、持续时间长的算法歧视行为，若仅要求企业赔偿单个受害者、简单整改算法，无法弥补对整个受害群体的权益损害，也难以倒逼企业从根源上优化算法。

同时，责任形式缺乏层次性，未区分企业故意嵌入歧视与过失导致偏差的责任差异，对恶意歧视行为未设置更严厉的惩戒措施，且未将算法歧视责任与企业信用评价、资质审核挂钩，导致部分企业整改流于形式，难以实现源头治理。

完善算法歧视协同治理体系

破解算法歧视案件的实务困境，需要从完善法治和企业合规两个维度持续发力。

首先应加强数据保护与隐私立法执法，从源头防治算法歧视风险和危害。应完善数据相关法律法规，明确数据收集、存储、处理和共享的规范。《生成式人工智能服务管理暂行办法》对数据安全和隐私保护作出了具体规定，包括数据来源的合法性以及关于训练数据的特性、个人信息与知识产权的保护规定，将相关监督检查和法律责任纳入我国网络安全和数据隐私保护的基础性法律框架内。但仅有这些是不够的，还应加快专项立法工作，明确算法歧视的界定标准和规制规则。通过明确“算法歧视”的定义、构成要件和认定标准等，区分“合理差别对待”与“违法算法歧视”的边界，为实务提供可遵循的法律依据。同时应加大监管执法力度，严厉打击侵犯个人隐私的行为，确保法律的有效实施。

其次，优化算法设计，应要求企业在算法设计、数据训练、参数设置等环节履行合规审查义务，从源头防范算法歧视。其中，重点是落实算法分类分级管理和多元主体利益平衡，细化《互联网信息服务算法推荐管理规定》中的分类标准，并制定相应的风险等级和监管举措。

值得注意的是，立法还需坚持“规制与赋能并重”原则，避免过度监管抑制算法技术的创新应用，实现算法合规与技术创新的良性互动。

实践中，还应优化裁判规则，破解实务困境。通过明确算法歧视的认定标准、举证责任分配规则和算法解释等要求，统一司法裁判的尺度。在举证责任方面，引入举证责任倒置制度，对于算法歧视案件，由算法开发者和使用者对不涉及商业秘密的算法运行原理进行解释。

在算法解释方面，建立专业的算法鉴定机制，组建由法律专家、技术专家组成的鉴定团队，对企业提供的算法解释进行专业审查。同时，加强法院的技术能力建设，组建针对涉人工智能案件的审判团队，培养兼具法律知识和技术知识的复合型法官，提高算法歧视案件审理的专业性和公正性。

推动算法歧视治理提质增效，需要政府、企业、行业协会、技术机构、社会公众等多方主体形成治理合力。行业协会应发挥桥梁作用，结合不同领域算法应用特点制定自律公约，引导企业主动履行合规义务。同时，会同行业内技术机构定期开展算法公平性培训、技术研讨等活动，以提升企业相关人员的合规意识与技术能力。社会公众层面上，应强化监督意识，公众应积极参与算法治理，通过合理表达诉求、提出意见建议等方式，推动算法技术优化。

明确企业AI合规边界

企业在算法应用过程中，应明确行为的合规边界。

在算法设计阶段，企业应树立“公平优先”理念，明确算法的设计目标和公平性要求，杜绝在算法中设置性别、年龄、地域、种族等歧视性参数。还应采用多样化的训练数据，避免数据偏差导致的算法歧视。如在信贷算法的训练数据中，涵盖不同收入、不同地域的用户样本，减少数据偏差对算法决策的影响。

在数据管理环节中，企业应遵守个人信息保护法、数据安全法等相关规定，规范数据收集、存储、使用和销毁全流程。定期对数据进行清洗，及时纠正数据偏差。

在算法运行中，企业应当积极履行透明度义务，保障用户知情权。企业应严格履行个人信息保护法规定的透明度义务，向用户明确披露算法的决策依据、逻辑、参数设置和可能产生的影响。通过通俗易懂的方式，向用户阐释算法决策的过程和结果。

合规审查是必要且重要的环节。企业应当通过建立常态化的合规机制，强化风险防控能力。建立算法合规部门，配备兼具法律知识和技术知识的复合型合规人员，负责算法的合规审查、风险评估和整改落实。在此基础上，建立算法全生命周期合规审查机制，对算法的设计、开发、测试、上线、运行、优化等各个环节进行合规审查，通过自纠自查及时发现并防范算法歧视风险。

关于作者

陈兵，南开大学法学院副院长、教授、博士生导师