刘建业

• 1:北京大学法学院

• 
  

摘要(Abstract)：

算法审计具有技术审计、合规审计、风险审计、责任审计等复合属性。算法规制理念旨在规范“算法权力”，防止因算法滥用产生不良社会影响，实现算法正义。基于算法规制的视角，对算法审计进行法治化建构迫在眉睫且意义重大。算法审计的法治化建构，需要超越算法的技术性定义，关注算法输入数据的质量与评估算法产生的社会影响，遵循包括但不限于以下基本思路：鉴于既有审计类型无法包含算法审计，须规定算法审计独立审计类型；由于算法审计专业性强且市场发育不足，目前阶段应当建立公共机构主导的算法审计模式；为了有效裁决算法纠纷，有必要确立算法审计诉讼类型；面对算法治理存在侵蚀人的自主性倾向，亟待凝聚算法伦理社会共识。

关键词(KeyWords)：算法社会;算法治理;算法审计;算法伦理;法治化构建

基金项目(Foundation):2018年国家社科基金重大项目“大数据时代个人数据保护与数据权利体系研究”(项目编号：18ZDA146)的阶段性成果

作者(Author):刘建业

参考文献(References)：

• [1]令小雄，王鼎民，袁健.ChatGPT爆火后关于科技伦理及学术伦理的冷思考[J].新疆师范大学学报(哲学社会科学版),2023(4):145-158.

• [2]Musiani,F.Governance by Algorithms[J].Internet Policy Review,2013(2):67-89.

• [3]伊格纳斯·卡尔波卡斯.算法治理：后人类时代的政治与法律[M].邱遥堃，译.上海：上海人民出版社，2022:39-52.

• [4]张永忠，张宝山.算法规制的路径创新：论我国算法审计制度的构建[J].电子政务，2022(10):48-61;张欣，宋雨鑫.算法审计的制度逻辑和本土化构建[J].郑州大学学报(哲学社会科学版),2022(6):33-42;Biagio Aragona.Algorithm Audit:Why,What,and How?[M].London:Routledge,2022:10-15.

• [5]Marc Schuilenburg and Rik Peeters.The algorithmic society:Technology,Power,and Knowledge[M].London:Routledge,2021:1-10.

• [6]Cass R.Sunstein.Infotopia:How Many Minds Produce Knowledge[M].Oxford:Oxford University Press,2006:39-42.

• [7]凯斯·桑斯坦.标签：社交媒体时代的众声喧哗[M].陈颀，孙竞超，译.北京：中国民主法制出版社，2022:132.

• [8]张凌寒.算法权力的兴起、异化及法律规制[J].法商研究，2019(4):63-75.

• [9]孙瑞.算法善治：公共领域算法决策的冲突、风险及规制[J].互联网天地，2022(9):38-43.

• [10]虞青松.算法行政：社会信用体系治理范式及其法治化[J].法学论坛，2020(2):36-49;张欣.算法行政的架构原理、本质特征与法治化路径：兼论《个人信息保护法(草案)》[J].经贸法律评论，2021(1):21-35.

• [11][14]王怀勇，邓若翰.算法行政：现实挑战与法律应对[J].行政法学研究，2022(4):104-118,104-118.

• [12]虞青松.算法行政：社会信用体系治理范式及其法治化[J].法学论坛，2020(2):36-49.

• [13]王锡锌.数治与法治：数字行政的法治约束[J].中国人民大学学报，2022(6):17-34.

• [15]Nicholas Diakopoulos.Algorithmic Accountability:On the Investigation of Black Boxes[EB/OL].[2023-02-17].https://www.cjr.org/tow_center_reports/algorithmic_accountability_on_the_investigation_of_black_boxes.php.

• [16]Kroll,J.A.,Barocas,S.,Felten,E.W.,et al.Accountable Algorithms[J].University of Pennsylvania Law Review,2017(165):633-706;丁晓东.基于信任的自动化决策：算法解释权的原理反思与制度重构[J].中国法学，2022(1):99-118.

• [17]马长山.算法治理的正义尺度[J].人民论坛，2022(10):68-76.

• [18]Bryan Casey,Ashkon Farhangi,Roland Vogl.Rethinking Explainable Machines:The GDPR’s “Right to Explanation” Debate and the Rise of Algorithmic Audits in Enterprise[J].Berkeley Technology Law Journal,2019(34):143-188;Maja Brkan.Do Algorithms Rule the World?Algorithmic Decision-Making in the Framework of the GDPR and Beyond[J].International Journal of Law and Information Technology,2019(27):91-121.

• [19]Robert Brauneis,Ellen P.Goodman.Algorithmic Transparency for the Smart City[J].Yale J.L.& Tech,2018(20):176.

• [20]丁晓东.论算法的法律规制[J].中国社会科学，2020(12):138-159,203.

• [21]Kowalski,R.Algorithm = logic + control[J].Communications of the Association for Computing Machinery,1979(2):424-436.

• [22]Rob Kitchin,Tracey P.Lauriault.Towards Critical Data Studies:Charting and Unpacking Data Assemblages and Their Work.in Eckert,J.,Shears,A.and Thatcher,J.(eds)Geoweb and Big Data[M].London:University of Nebraska Press,2016:6-10.

• [23]ESS Standard for Quality Reports (2009Edition).Knowledge Base on Economic Statistics-Methods and Country Practices[EB/OL].[2023-02-17].https://unstats.un.org/unsd/EconStatKB/KnowledgebaseArticle10244.aspx.

• [24]OECD.Exploring Data-Driven Innovation as a New Source of Growth:Mapping the Policy Issues Raised by “Big Data”[EB/OL].[2023-02-15].https://www.oecd-ilibrary.org/docserver/5k47zw3fcp43en.pdf.

• [25]Dillon Reisman,Jason Schultz,Kate Crawford.Meredith Whittaker APRIL 2018[EB/OL].[2023-02-15].https://ainowinstitute.org/aiareport2018.pdf.

• [26]Khari Johnson.Pymetrics open-sources Audit AI,an algorithm bias detection tool[EB/OL].[2023-02-17].https://venturebeat.com/ai/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool.

• [27]Kim,Pauline T.Auditing Algorithms for Discrimination[J].University of Pennsylvania Law Review Online,2017(166):189-204.

• [28]凯西·奥尼尔.算法霸权：数学杀伤性武器的威胁[M].马青玲，译.北京：中信出版社，2018:32.

• [29]Jessi Hempel.Want to Prove Your Business Is Fair?Audit Your Algorithm[EB/OL].[2023-02-17].https://www.wired.com/story/want-to-prove-your-business-is-fair-audit-your-algorithm.

• [30]张欣，宋雨鑫.算法审计的制度逻辑和本土化构建[J].郑州大学学报(哲学社会科学版),2022(6):33-42.

• [31]殷继国.人工智能时代算法垄断行为的反垄断法规制[J].比较法研究，2022(5):185-200;许身健，郜庆.反垄断视阈下的算法价格歧视问题[J].中国法律评论，2022(3):105-116;尚正茂.算法共谋行为的反垄断法规制[J].学习与实践，2022(3):63-71;王文君.算法个性化定价的反垄断法反思[J].甘肃政法大学学报，2021(5):141-156.

• [32]马长山.数字法治政府的机制再造[J].政治与法律，2022(1):17-34.

• [33]Kraemer,F.,van Overveld,K.,Peterson,M.Is There an Ethics of Algorithms[J].Ethics & Information Technology,2011(13):257.

• [34]王仕勇.算法推荐新闻的技术创新与伦理困境：一个综述[J].重庆社会科学，2019(9):123-132;刘培，池忠军.算法歧视的伦理反思[J].自然辩证法通讯，2019(10):16-23.

• [35]赵安琪.ChatGPT席卷全球人工智能面临“伦理转向”[N].中国青年报，2023-02-16;储舒婷.越发“善解人意”的AI,暗藏哪些伦理风险[N].文汇报，2023-02-15;韩丹东，王意天.ChatGPT火爆背后有何法律风险?[N].法治日报，2023-02-13.

• (1)参见赖祐萱《外卖骑手,困在系统里》,网址为“https://baijiahao.baidu.com/s?id=1677231323622016633&wfr=spider&for=pc”,最后访问时间为2023年2月17日。

• (2)《大数据“杀熟”还“杀生”?专家:要推动算法审计》,网址为“https://m.gmw.cn/baijia/2022-11/02/1303184279.html”,最后访问时间为2023年2月10日。

• (3)《推行算法审计大有可为》,网址为“https://baijiahao.baidu.com/s?id=1740757697595155330&wfr=spider&for=pc”,最后访问时间为2023年2月10日。

• (4)《“算法审查”是保证合法合规经营的重要一步》,网址为“https://jw.jwview.com/jwview/content.jsp?id=519117&classify=zw”,最后访问时间为2023年2月10日。

• (5)《滴滴被曝大数据杀熟同样行程6台手机6个价格》,网址为“https://baijiahao.baidu.com/s?id=1694384726352689130&wfr=spider&for=pc”,最后访问时间为2023年2月10日;《网约车玩大数据“杀熟”2.0版》,网址为“https://m.gmw.cn/baijia/2021/04/26/1302256106.html”,最后访问时间为2023年2月10日;《八成受访者认为大数据“杀熟”》,网址为“https://m.gmw.cn/baijia/2021-04/26/1302256106.html”,最后访问时间为2023年2月10日。典型案例参见浙江省绍兴市中级人民法院(2021)浙06民终3129号民事判决书、北京市第四中级人民法院(2022)京04民终195号民事判决书、湖南省长沙市中级人民法院(2019)湘01民终9501号民事判决书。在国外,算法歧视主要表现为种族歧视,尤其是预测性警务中存在的种族偏见。See Jack Smith IV,Crime-prediction tool PredPol amplifies racially biased policing,study shows,Mic,Oct.9,2016,网址为“https://mic.com/articles/156286/crime-prediction-tool-pred-pol-only-amplifies-racially-biased-policing-study-shows#.DZeqQ4LYs”,最后访问时间为2023年2月10日;Andrew G.Ferguson,The Rise of Big Data Policing:Surveillance,Race,and the Future of Law Enforcement,New York:NYU Press,2017.

• (6)《信息茧房如何“破防”》,网址为“https://baijiahao.baidu.com/s?id=1733413204678420442&wfr=spider&for=pc”,最后访问时间为2023年2月10日;《警惕陷入“信息茧房”》,网址为“https://m.gmw.cn/baijia/2021-03/15/1302164921.html”,最后访问时间为2023年2月10日。

• (7)针对行政自动化决策带来的问题,学界提出“技术性正当程序”概念,并希望以此规范算法在行政管理领域的使用。国外代表性研究:Danielle Keats Citron.Technological due process,85 Washington University Law Review 6,2008,pp.1249-1314;Danielle Keats Citron and Frank Pasquale.The Scored Society:Due process for automated predictions,89 Wash.L.Rev.1,2014,p.1;Kate Crawford and Jason Schultz.Big Data and Due Process:Toward a framework to redress predictive privacy harms,55 BCL Rev.93,2014,p.93。国内最新研究:刘东亮《技术性正当程序:人工智能时代程序法和算法的双重变奏》,《比较法研究》2020年第5期,第64-79页;张涛《自动化公共信用评价的程序控制——以技术性正当程序为视角》,《湖北社会科学》2022年第3期,第121-129页;苏宇《数字时代的技术型正当程序:理论检视与制度构建》,《法学研究》2023年第1期,第91-107页。

• (8)《审计人工智能》,网址为“https://github.com/pymetrics/audit-ai”,最后访问时间为2023年2月17日。

• (9)《大数据:关于算法系统、机会和公民权利的报告》,网址为“https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf”,最后访问时间为2023年2月17日。

• (10)黄色代表影响程度轻,即表示算法瑕疵(algorithm flaw)。

• (11)红色表示影响程度重,即表示算法错误(algorithm error)。

• (12)可参考Jessi Hempel,Want to Prove Your Business Is Fair?Audit Your Algorithm,网址为“https://www.wired.com/story/want-to-prove-your-business-is-fair-audit-youralgorithm”,最后访问时间为2023年2月17日。

• (13)如《近年来网络购物、交通出行、在线差旅等诸多平台被曝存在“杀熟”行为》,网址为“https://baijiahao.baidu.com/s?id=1740215713801265730&wfr=spider&for=pc”,最后访问时间为2023年2月10日;又如全国首例微信数据权益认定案,参见浙江省杭州市中级人民法院(2020)浙01民终5889号民事判决书。

• (14)目前国内法学界关于算法伦理的研究极度缺乏。仅有的代表性研究,也是最早的研究是丁晓东教授的研究。丁晓东教授基于对美国大学招生政策中的算法的分析,发现算法并非一种完全价值中立的活动,算法隐含着价值判断,并主张法律解释应当反思算法的伦理基础。参见丁晓东《算法与歧视——从美国教育平权案看算法伦理与法律解释》,《中外法学》2017年第6期。然而,算法伦理是否具有法治意涵,以及具有哪些法治意涵。更进一步,算法伦理的法治意涵如何实现,等等。上述问题是计算法学、数字法学、人工智能法学等领域研究,乃至法学教育的重要议题。

• (15)ChatGPT风靡全球,将给各行各业带来颠覆性影响。关于ChatGPT给法学教育和律师行业带来的影响,可参考Choi,Jonathan H.,Hickman,Kristin E.,Monahan,Amy.,et al.ChatGPT Goes to Law School.网址为“https://ssrn.com/abstract=4335905”,最后访问时间为2023年2月17日。