监视资本主义：智能陷阱

《the social dilemma》（中译《社交陷阱》）里引用了一段儿新闻报道说，崔斯坦被认为硅谷里勉强有点儿良心的人。这部纪录片以他的一个项目为主线，讲了最近十年勃兴的社交软件对人类个体和整个人类文明的侵蚀。这些社交媒体公司（FB,twitter,wa,insta等，是不是应该感谢上帝，大部分在中国打不开^_^）只有一个目的就是盈利，赚最多的钱。在自由市场下，公平竞争的环境里，发展的硬道理是必须赚更多的钱。在这唯一指挥棒下，硅谷这几家大公司无所不用其极的利用人类的心理弱点，从个人身上攫取最大量的注意力和时间，打包卖给广告投放商以盈利，同时，连自己也没料到，无形中把人类社会推向非黑即白的两极。前半部分注重分析算法（人工智能+大数据）和经营策略对一个个体的影响。后半部分讲了对整体人类文明的影响：民主制度，人和人之间的关系，人和人之间的交流。

首先是人类个体部分。

其中一个硅谷投资人说，上一个世代，硅谷主要产生硬件和工具软件，例如苹果电脑，photoshop等等。她们是靠卖工具给你而盈利的，这个世代，主要收入靠广告投放，有产品吗？有，这个产品就是用户，每个人--你的时间，注意力，你任何的私隐--都被打包卖给了广告商。工具的特征是，工具会耐心的呆着，等你去用它，用完就关了，你用完Photoshop后不会再去把每个ps的菜单都看一遍过瘾的。现在的互联网产品（社交app）的特征是，不停的引诱你去用它，不停的抢占你的注意力，你的时间---简言之，让你上瘾，和烟酒毒品等其它上瘾品一样。结果也一样--短暂的快乐过后，你会感到疲惫空虚沮丧。

这里引述了几个前大厂主要技术和商业推广负责人，深度剖析这些产品的设计初衷，正如崔斯坦所言：一个邮件App的设计有二三十个人参与，大家对于字体，颜色等争论不休，从来没人想过它作为产品的伦理性--即会不会令人上瘾。twitter和FB的产品经理则直言他们背后的设计逻辑的理论基础就是心理学上的成瘾理论--让人上瘾，不停刷下去。trend（相当于微博里的热榜），话题推荐，都是为你量身定做的，目的都是为了把你留住，不停的刷下去。

这里有个值得争论的点，这些大厂可以为自己辩护：自控能力不行不是我的锅啊，和吸烟一样，你愿意吸烟吸死不是我卖烟的初衷啊。FB的产品经理说当初我们发明点赞按钮主要是想传播正能量，但有人因为获得的赞没有别人多得了抑郁症我们真的是没想到啊。其实这个争议正是崔斯坦和本纪录片想要推动的方向：立法。各国都有关于禁烟不同的条例，吸烟年龄，场合等立法积极干预。还有加税这种消极性的控制。社交网络也急需相应的立法。我记得是FB的一个人说，我觉得已经赚了这么多钱了，还干这样的事儿实在是不应该就辞职了--他可以辞职，但公司还必须往前开，别人会填补他位置继续干这种见不得人的事儿。

个人经验里，我记得刚有互联网时，web1.0时代，已经感受到互联网对时间和注意力的影响了。这种场景大家都不陌生，打开浏览器本来是为了查一个问题，最后半个小时过去了，你已经忘了当初为啥要打开浏览器。所以多年来我一直保持着一个习惯：去任何网站都是直接输入网址。google提供的界面也足够简洁，就是想你专心搜索你想要的东西，不要被任何事干扰。打开百度看看，首页已经一堆干扰了。

（以前google连这个也不会放，现在也蠢蠢欲动了）

百度的入口全是干扰，就是不想让你安静的搜你想要的东西

和现在相比，web1.0时代还没有人工智能，还是人类主导的互联网，网页体现的还是编辑意志，没法精确的猜你的好恶，更没法潜移默化的设置议程改变你的想法塑造你。你最后在网上流连忘返的最坏结果不过是杂乱无章的看了一些资讯而已，最多是浪费了点儿时间，没有其它伤害了。

而现在这个算法主导的世界里，你会发现你不仅浪费了时间，把自己的时间和注意力卖给了广告商。还潜移默化的被人工智能变成了个傻逼--这变化非常令人震惊，但的确是事实。把人变成傻逼其实并不难--该片举了”地平说“的例子，pizza门的例子。其实各种阴谋论都有人信的只要你能系统性的长期的接触同一类资讯最后都能自圆其说的被洗脑洗成个傻逼，完全不用逼迫，不用任何权力和金钱控制，就能做到。

后半部分主要说了对社会的影响--社会是由个体组成的，影响了个体必然会影响社会，这部分的展开有点弱，但结论是没问题的。AI导致了新闻农场，假消息的传播速度更快了。阴谋论盛行，人类的表达越来越诉诸情绪，走向非黑即白的极端，商业行为利用这些特点来卖货，政客利用这一点来拉票，这是一个比赛谁更极端的世界，稍微中性一点儿，温和一点儿的理性的声音已经被毁灭的差不多了。关于阴谋论片中举了个“pizza 门”事件，非常经典的阴谋论：指向政府高层（因此绝对保密，你不可能从正常媒体渠道看到），内部员工透露的资料（我是pizza店的XX， 这事儿是真的，我亲眼所见，但不敢说，说了会丢工作等等）。这种阴谋论传播的结果就是把水搅浑，大大削弱正常新闻的传播。这种玩意儿能大行其道主要还是因为社交媒体的”即刻性“属性，黑白两极的对立也是因为时效性--在一天几刷，一刷几个字（140字）的社交媒体上，人们已经失去了深究一个问题，一个人的耐性。诉诸情绪是最便捷的。当年论坛上盖几百层楼诉诸事实的争论不太可能存在了。

在web 2.0， blog，bbs时代，你点开一个人的ID，可以列出他所有的帖子，回复，你可以快速的对此人有个大致全面的认知（起码在一个小范围内比较全面），现在这个时代能翻翻他最近几条140字内的内容已经不错了。这种“活在当下”，是为消费主义，头脑一热买买买设计的，对于了解一件事一个人是有害无益的。以前网上的争论有最基本的几个共识基础：法律框架，逻辑推演框架。这两个框架下的争论又都必须建立在事实基础上。因此的确可以”真理越变越明“。现在的争论，这样的框架不存在了，因为不可能在140字内完成充分的论述以及完备的逻辑推理过程。事实究竟是什么就更没人关心了--搞清楚时间地点人物事件都需要花时间，需要动脑子，这正是社交媒体最不想用户做的。你一学会逻辑思考就会变得理智，不会那么冲动了，我怎么卖（骗）货（你）？

现在仍在发生的一个简单例子就是川粉和反川人士，两边都觉得对方是傻逼（而自己绝对正确），这是大数据和AI运作的结果之一，所谓的俄罗斯黑客助选其实指的就是这些手段。

从广告行业来看，从没见过这样的精确：你投了收效马上呈现，甚至是可控的。以前评定一个媒体广告的效果需要动用调查公司做抽样调查，放进数据模型里计算分析，勉强能得出一个也许大家心里都不是很有数的结论：这个广告投对了还是投砸了。毕竟那个时代，人们还生活在一个真实的社会，影响销售的元素太多了。而现在呢？几乎每个人都生活在自己的朋友圈儿，自己的社交网络上，整个社会已经是个幻象，想要控制幻象改几行代码就行了。像《黑客帝国》里的情节，你想偶遇一个红裙女孩儿吗？改几行代码就能实现--这已经不是天方夜谈和科幻片，只要取得她的地理位置，推送给你你就能“偶遇”。这种全知全能的控制是非常可怕的。

人类毕竟有反思的好习惯，这部纪录片算是揭开了反思的序幕吧，接下来对应的隐私保护立法，数据使用立法可能会艰难的推进。电视媒体刚走进千家万户时，波兹曼写了《娱乐至死》警惕作为大众媒体的电视对社会的影响。和电视时代的消极影响相比，今天主动操控人的网络社交媒体更进一步了。许多人对波兹曼这种批判嗤之以鼻--电视也没把我们怎么样嘛。是的，电视没把人类怎么样，所以，换了个更狠的办法来了。

对个人而言，生活在这个社交网络主导一切的年代，首先必须有自控能力，时刻记着是你在使用工具不是工具在奴役你。需要的时候才用，用完就放下。肤浅的快乐是有代价的，电视和网络都不会使你变得更快乐，更不会把你变成更完整的人而令你人生更有意义。很多时候每个人只不过是这个时代的噪音里微不足道的一个，与其画地为牢生活在社交媒体里，不如离开网络多看书多思考多写超过一百四十字的东西。成长是痛苦的，但成长的快乐也是结结实实的。

其次，珍爱生命远离网络吧，多交一些“真实”的朋友（无论这朋友是从网上来还是生活中来），真实的朋友需要花时间真正的交流，一个真实的朋友胜过一千个点赞之交。

2016年，特里斯坦·哈里斯——这位谷歌的内部道德设计师决定离职，此时的他已经意识到，Facebook、谷歌（YouTube、谷歌搜索）、推特这样的互联网科技公司为了商业利益，利用算法吸引人上瘾的产品设计，是不道德的。这已经成为：

“人类生存的一大威胁”。

他想到了对抗。实际上，特里斯坦·哈里斯任职谷歌期间，谷歌有知名的“不作恶”准则。但这一准则并没有阻挡住算法基于商业利益走向偏路。离职两年后，特里斯坦·哈里斯拉着Facebook和Google等大公司离职或在职的技术专家，建立了一个叫“人道科技中心”（Center for Humane Technology）的组织，这个组织在2018年成立，用来——

对抗硅谷互联网公司让人上瘾的设计理论。

除了特里斯坦·哈里斯，参与这个中心工作的人，还有前Facebook运营经理；苹果公司和谷歌前通讯主管林恩·福克斯；前Facebook高管戴夫·莫林；Facebook早期投资人罗杰·麦克纳米。

纪录片截图：“人道科技中心”（Center for Humane Technology）

2017年前后，很多硅谷公司的高管，感觉到了算法操持的互联网平台，出现了道德伦理危机，纷纷离开了所在公司，2020年，网飞（Netflix）公司拍摄了一部纪录片叫《监视资本主义：智能陷阱》。片中，Pinterest 的前总经理、Facebook的前盈利总监Tim Kkendall说他担心算法操纵的世界最终导致美国内战；一个从谷歌出来的工程师，担心整个互联网产业的道德沦丧……

曾与马克·扎克伯格（Mark Zuckerberg）一起创办了Facebook的克里斯·休斯(Chris Hughes)离职后多年后，批评Facebook说，“扎克伯格是个好人。但令我感到愤怒的是，他对增长的关注导致他为了点击而牺牲了安全和道德底线”。

这样严重的担忧，是什么导致的，问题出在哪儿呢？

纪录片截图：一个前谷歌员工离职的原因

01

2018年，推特CEO Jack Dorsey在一次听证会上说，12年前创办推特时，他没想到推特会变成今天这样……

这段话，与《黑镜》第五季第二集的剧情正相契合，该剧正好也是网飞公司拍摄的。男主Chris Gillhaney因为在一次和女友驾车的过程中看手机社交消息，导致车祸，女友当场死亡。当他恢复过来后，他做了一个类似UBER产品的司机，每天在这家叫“碎片”的社交网站公司楼下接客。终于有一天，他接到了一个这家公司员工，绑架了他，通过要挟这个员工，逐层上接，和“碎片”公司CEO接上了电话，而他只是想告诉这个CEO，社交网站是怎样绑架了人们的生活而导致种种悲剧的。这家CEO的回答和推特CEO的回答很相似：

我当初创办这家公司的时候，没有想到它会变成这样。

“碎片”公司CEO阐述了一种逻辑：一个产品成型后，它的走势就不再是他能决定的，每一次更新和功能改进，都是因为用户喜欢、希望得到的结果，这并不一定是一个CEO想要的。

上瘾，几乎成了所有社交App追求的东西。

《监视资本主义：智能陷阱》采访了很多前硅谷科技公司的前高管和投资人。

作为谷歌前道德伦理设计师的特里斯坦说，当年他在谷歌做邮箱设计时，意识到一个问题，历史上从来没有过50个左右的20-35岁的加州工程设计师做出一个决定，就能影响20亿人，影响他们做出从来没有预想到的想法或决定——当用户早上醒来，谷歌邮箱就告诉他，应该这样工作。工作、文化、生活的意义，都来自一个鬼鬼祟祟的第三方操纵。而谷歌内部，没有一个人想把邮箱做得不那么致瘾。

纪录片截图：特里斯坦·哈里斯——谷歌前内部道德设计师

后来他做了一个呼吁：我们这些工程师，有道德责任去审视、讨论致瘾问题。

特里斯坦发出这个呼吁后，很多工程师都赞同，然后，就没有然后了……

作为Facebook 的早期投资者罗杰·麦克纳米说，硅谷的前50年，IBM、谷歌、英特尔都制造软件或硬件产品卖给顾客，商业模式简单而良好。但过去十年，硅谷最大的公司一直在“贩卖顾客”。

互联网时代以前，人们所发明的东西，都是为大众服务的，自行车、汽车、计算器，它们是简单而中性的工具；当互联网时代兴起后，技术慢慢演变为向人类索取、引诱甚至操纵并从人身上获利的工具，已经由以人为主动型技术环境，转变为以人被动接受的、致瘾操纵型的技术环境。社交媒体不再是等在仓库里等着人去骑行的自行车，或驾驶的汽车，而是会自我学习、分析、操纵、致瘾的东西。

硅谷大公司的高管们就很警惕这个问题，比如比尔·盖茨和史蒂夫·乔布斯的小孩，童年就被要求与电子产品完全隔离。

这正是《纽约时报》2018年的一篇文章所说的，“技术专家知道手机的真面目，所以他们很多人决定让自己的孩子远离这些东西。”

雷慢曾说过，互联网是一个喂养型的社会。这种喂养是经过大数据分析、机器学习决策后，推送给人的。

这也是马克思、弗洛伊德等人对“异化”一次观点所说的，人作为客体被动地接受体验世界和自身；“物凌驾于人之上”。就像系统算法凌驾于外卖快递员之上。机器流水线凌驾于工人之上一样。

02

现在，互联网公司提供了大量的免费产品，FaceBook、微信、抖音、推特，大家都不为使用的社交产品付费。为这些社交App付费的是那些广告商，广告商就是社交App的顾客，而用户成了被销售的商品。这就出现了一种现象：

如果你没有花钱买产品，那你就是被卖的产品。

所以FaceBook、推特这些公司的商业模式就是，怎样让你最大程度的上瘾，花更多的时间在这些App上，付出你人生的时间。

人生值多少钱呢？

哈佛商学院教授Shoshana Zuboff被采访时说，在商业上，FaceBook、推特们为了卖出更多的广告，需要给与顾客确定性，所以，商业广告卖的就是确定性，这个“确定性”就来自用户上瘾背后的“数据分析”。

纪录片截屏：大数据可以记录用户在某张图上停留了多长时间，来判断用户对那种图感兴趣。

这就是纪录片标题所说的核心：监视资本主义。

为了获得数据，这些公司需要监视用户去过的每个地方，每种喜好，每种行为数据，无限追踪、分析、评估，无限逐利。

你喜欢看NBA的视频？好的，在你看下一个同类视频前，给你插播一条篮球鞋的广告。

纪录片截图：算法模型会给用户画像，这个画像是由无数的行为数据建立的。

这些数据不用人看管，机器可以自动深度学习，给出预判，这也是推特CEO所说，为什么这些产品成了当初他们所没想到的样子。

但高管们做了什么呢，预判人们行为轨迹的模型是他们做的，能够自动学习的程序代码是他们写的。

这一切都为了一个确定性：尽可能成功的将用户卖给广告商。Shoshana Zuboff将这个市场称为：

从未出现的、最大的人类期货市场。

过去我们交易猪肉期货、钻石期货，现在人类也成了期货。

上瘾带来的后果是，将你还没想到的部分，用算法推送给你，使它们成为你思想的一部分，还让你觉得这是自己所想的。

FaceBook、UBER等公司的高管都曾在斯坦福大学上过这样一个课程：怎么用技术劝服用户？这类行为被称为：

劝服的艺术。

这是一种极端刻意的、对人们行为进行设计的行为。用户的每一次下拉或上拉刷新，都是一次算法的重新推送。它们深入脑袋里，植入一种无意识的习惯，让人的脑袋更深层次地被编程。

FaceBook曾做过一个“海量规模蔓延实验”，测试用FaceBook上的潜意识信号来让更多人在美国中期选举投票，实验结果是：能。

这种影响并不会触发用户的意识，而是一种潜意识，这意味着用户根本不会察觉。

这种实验，谷歌和FaceBook每年要在用户身上做很多，用户就是实验小白鼠。

03

各种致瘾的大数据分析、算法推送，使美国Z世代的年青人成为了牺牲品。

纽约大学心理学家Jonathan Haidt提供的数据显示，大概在2011年至2013年前后开始，每年因为割腕自残而住院的少女出现了剧烈上升的趋势。

纪录片截图：近20年，美国每年少女因手机上瘾而自残与自杀的趋势

一个常见的现象是，人在孤独、无所事事的时候，总要找点什么事情做。如今这个空隙被算法推送的网络社交、短视频等占据了，人处理情绪的能力就退化了。

Cathy O’neil是一个大数据科学家。她说，算法是内嵌在代码中的观点，它并不是客观的。算法会被成功的商业模式引导、优化。

通常，在一个像FaceBook这样影响数十亿人的公司里，能明白某个程序算法工作逻辑的就几个人，相对于70多亿的人类来说，可以看成：人类失去了对算法系统的控制。

罗杰·麦克纳米说，这就像一个27亿人的《楚门的世界》，每个人都有自己的世界。没有人发现自己所在世界的本质真相。当然，实际上，活在“楚门的世界”里的人可能更多。在中国，类似的产品有今日头条、抖音等。

算法的每一个推送，都代表着一种商业利益。

在中国，中老年人喜欢看的一些鼓吹、煽动的假新闻视频， 并不是制作者一定相信这些事，而是假新闻传播比真新闻更快，流量能给他们带来商业变现，免费看视频的人，才是被卖的商品。

特里斯坦·哈里斯发明了一套理论：技术超越人类的第一个阶段点是超越弱点，其结果就是上瘾，上瘾会激化愤怒、激化虚荣，压制人类天性，挫伤天性。第二个点是超越人类的智慧。

算法喂养的世界里容易出现种种激化的矛盾，每个人的意见越来越不相容，因为每个人都从不同的推送里了解信息，而这些信息、知识又因为推送不同而不同。当两个因为同一个社交网站的鼓吹而同时出现在街上游行的美国人，对同一件事情产生争论的时候，他们容易发现：

哦，原来我们并没有看到相同的信息。

这种激化的分歧的一个知名例子就是“地球是平的”论，这种论调在YouTube上被推荐了几亿次，因为有的人喜欢，算法每天都在变着法地给人们推送“地球是平的”的内容，“地球是圆的”则被他们当作阴谋，而且越来越多的人相信了这种阴谋论。

这个事件的高潮是，今年2月，因为想证实地球是平的，美国发明家迈克尔休斯在用自制的载人火箭进行发射测试后，坠地身亡。

04

算法只推荐给人们感兴趣的东西，它并无道德感，它唯一的动力是商业利益，它可以一而再再而三地给人们推送虚假、阴谋论的信息。今天可以让人相信地球是平的，明天就可以让人相信喝消毒液可以杀死新冠病毒。

2016年，美国有成千上万的民众相信着一个假新闻——一个有民主党高层参与的地下娈童犯罪组织隐藏在一家华盛顿的披萨店，算法在这个事情发酵中，不停地推荐人们加入“披萨门”小组，直到越来越多的人相信它真的存在。

事件的高潮以一个男子拿着枪要进入披萨店仓库去解救“被迫害的孩子”、半路被警察逮捕了而告终。

在美国，疫情期间的谣言，和算法的推波助澜，加剧了谣言传播，个体各自为政。人们在街上游行，有的喊“新冠疫苗是阴谋”，有的喊“人类基因不适合新冠疫苗”。每个人执着于自己看到的信息。一个政府官员将其称为：

新时期的部落主义。

在算法推送的信息浸染下，2017年的一项皮尤研究中心的数据显示，2017年民主党和共和党的政治分歧达到了20年来最高点。

在缅甸，2017年以来FaceBook上出现了前所未有、情绪高涨的煽动性言论，这些言论被不停地推送给那些喜欢看的极端民族主义者，催生了严重的犯罪行为、种族主义迫害，并导致了70万罗兴亚族MSL逃离了缅甸。

纪录片截图：缅甸罗兴亚族MSL大逃离

《崩溃》一书作者贾雷德·戴蒙德阐明了社会是怎样崩溃的：一个社会一起推动一种不稳定、消极状态的前进，最终导致了社会的崩溃。贾雷德·戴蒙德的学生曾向他问出一个非常有意思的问题：

17世纪，复活节岛生态环境崩溃前，砍倒了岛上最后一棵树的那个人，那一刻在想什么？

我们是时候也思考一下这个问题了。

本文来自“新金融洛书”，欢迎关注公众号：