这两天，雷慢偶然看到一篇文章，某大型互联网信贷平台声称，他们家风控系统纳入了5000多个变量，来对贷款人进行信用评估。对风控系统如何工作，这家平台举了一些例子，比如：

“一个用户打开App，注册时输入身份证号码的时间是个变量，输入自己的号码和输入别人的是不一样的，如果输入时间特别长，还要修改，有80%可能不是自己的身份证号码。”

“一个客户买手机，明明有优惠券，他就是不用，再加上一些其他相对应的行为，检测出来后就要严格审核，正常客户有优惠券就会用，只有骗子才不会用，因为反正也不想还。优惠券只是一个单独的变量，几个相同行为叠加时，风险就会慢慢加大。”

这两个例子，都有很大的逻辑漏洞。

和所谓风控变量类似，一个人注册时间的长短，所受影响的变量也很多，他可能是一个老人行动迟缓；他可能注册时中途做了别的事；他可能一边扣脚一边注册。

有优惠券不用，就判定为骗子，也是一个巨大的逻辑错误。比如笔者，就不常用优惠券，并非不喜欢省钱，而是不常用购物App，平时没有注意优惠券的领取、使用，并且一般时候根本不会意识到优惠券的省钱问题。同样，一个人不使用优惠券，也有几千个变量，他可能是反感优惠券，反感的变量有几千个；他可能是一个电商新手，不知优惠券为何物。

最重要的是，注册时间长、不使用优惠券，不必然得出“不是自己身份证、是骗子”的结论。骗子也不必然不使用优惠券。

A是B的非必要不充分条件。

即使像这家平台所说，这些变量只是其中的1/5000，但只要这些变量得出的是一个确定性判定，比如以80%的比率判定这个人所使用的不是自己身份证、100%判定这个人是骗子。那么，诸多的逻辑错误，就会影响整个信贷评估的准确性，也会影响贷款的价格。

然而，机器学习的算法，并不管这些逻辑是否存在漏洞，它们只执行人的代码指令，按照人错误的逻辑指令运算，在一通“技术黑箱”运算后，得出一个贷款的利率价格。

这就是算法的歧视价格。

2011年4月的一天，在全球最大的电商网站亚马逊上，突然出现了一本标价2369万美元的纸质书，这本书名为《苍蝇的成长》，由一个名为彼得·劳伦斯（Peter Lawrence）的博士撰写。

想购买这本书的一位生物学家找到了亚马逊。亚马逊调查后发现，原来是一家第三方卖家使用了电脑算法程序，自动根据市场供需关系调整了售价，而一周前这本书的标价还是170万美元。

在这里，算法程序并不会估算市场合理的价格，而是根据需求大于供给无限放大追求利润的价格。它像极了那些囤积居奇的贪婪商人。

被问及Google公司如何进行私下操作时，前首席执行官埃里克·施密特(Eric Schmidt)曾经回答：“Google的政策就是和警戒线打擦边球。”

过去几十年，美国民间与政府的博弈过程中，进步人士曾试图要求一些大公司公布其人工智能决策的逻辑与原理，最后都被后者以“商业保密”借口驳回。

在人工智能决策的黑箱里，这些过程最后变得无可奉告。

在金融领域，人为的“逻辑操纵”，让技术黑箱变得可怕。

法学教授弗兰克·帕特洛伊(Frank Partnoy)和普利策奖获得者杰西·艾辛格(Jesse Eisinger)曾于2013年年初共同研究过“美国银行的内幕”，他们在报告中把银行描述为“掩盖了巨大风险的‘黑箱’，这些风险可能会再次击垮经济”。

“现在没有哪家大型金融机构的财务报表能够提供有价值的风险信息。”在报告中，一位对冲基金经理人如是说。

金融科技化之后，越来越多的黑箱产生，并未使得金融科技更加透明。

黑箱的种子与土壤到处都是，如黑产军团、数据倒卖行为、大数据信审、人工智能深度学习、机器决策…

金融科技黑箱使得监管越来越难。

过去十几年里，P2P网贷和互联网信贷的经营者往往津津乐道地拿出他们的大数据风控系统吹嘘一番。

一家借贷平台在他的大数据风控的系统中输入一个人用户数以千计的社交数据、搜索数据、浏览数据、交易数据等，经过深度学习和决策模型的计算，最终可能将一个人的信用定为不及格，但这其中的具体决策过程是什么，企业不会告知你。

更甚至于，这个决策过程中出现程序错误、算法歧视时，电脑试图向程序员解释时，程序员也无法明白。

哥伦比亚大学的机器人学家 Hod Lipson曾说：“这就像是向一条狗解释莎士比亚是谁。”

这意味着，大的互联网信贷平台津津乐道的精准营销获客与大数据风控定价，都在制造一个个黑箱。

互联网信贷、大数据风控都有黑箱化的现象。

《从业经历和教育背景是否能提高借贷成功率？——来自P2P平台的经验证据》一文证实了学历在P2P借贷中的正相关因素，它指出，教育程度在1%的显著水平上与借贷成功率呈正相关关系。此外，性别、领域对借款能否成功产生影响。

中国央行研究局局长徐忠曾表示，如果将客户个人信息用于信用评估时，可能影响信贷的公平性，有一些指标比如性别、地域、职业等可能对客户的还款能力有解释力，但根据这些指标进行放贷，会涉及到对某些人群的歧视。

但在人工智能的决策黑箱里，这些都看不见。

在人工智能的深度学习与决策黑箱里，有一个现象值得说明，比如互联网信贷，人工智能深度学习后的决策系统对有过违约记录的用户往往收取更高的利息，在这一过程中，违约者曾经未能及时还款的原因却是未知的，可能他拒绝支付，也可能是因为家里出了紧急事故，但人工智能决策的歧视性已经出来。

在现金贷平台那里，大数据信审的黑箱歧视性给予借款人过高的利率定价，往往容易导致借款人违约，而违约后的歧视性利率定价，可能再次导致借款人违约，造成恶性循环。

一旦基于人工智能决策对身背污点者的歧视性信审体系成型，就会演变成进行压迫的工具，而受压迫者却丝毫没有还击之力。

黑箱金融造成的一个后果是，互联网理财资产负债表会越来越不透明并复杂化，要维系这个黑箱金融持续下去，就要牺牲拥有现实资金的投资者。

过去几年里，死于、受害于P2P网贷资金池、其他互联网理财的平台和投资人就是这个例子。

面对黑箱， 即使机构告诉用户信息收集者会如何使用这些数据，只要他们同意，隐私也不一定能得到保护。

帕斯奎尔在《黑箱社会：控制金钱和信息的法则》里的大体主张是：放弃知情同意这种形式上的做法，去严格监管实际使用这些数据的企业和政府机构。

2018年，欧盟发布GDPR，它了不起的地方在于它确立了一个原则：即无视利益集团、牺牲科技革新的速度，将科技进步控制在可理解的天花板里，而非放任在失控的黑箱中。

GDPR强化对自然人数据的保护，它将个人敏感数据排除在人工智能的自动化决定之外。

一百年前，路易斯·布兰戴斯(Louis Brandeis)曾经发表言论“阳光是最好的杀毒剂”。

尽管来自美国的批评声音认为，GDPR对欧洲人工智能的开发和使用产生负面影响，带来高昂的创新和生产成本，并将使欧盟企业与北美和亚洲等竞争对手相比处于劣势地位，且对保护消费者没有多大作用。

令人恐惧的是，在人工智能+大数据时代，“知情”具有破解“黑箱”的优势，但“保密”却有相对“知情”更大的优势。

“商业保密”成为企业维持黑箱决策的借口。

在金融黑箱的失控下，对算法的监管必将抬上桌面，厘清算法的逻辑、科技的伦理，打击基于数据和算法闭环所塑造的贷款权威，都将是一个不得不面对的问题。

因为正在为金融黑箱埋单的，就是你我。