《AI万金油：商业幻想与科技狂潮》——一份穿越AI迷雾的理性指南
本书深入探讨了 人工智能（AI）的实际应用与局限性，特别聚焦于 预测式AI和生成式AI。 作者和译者警告读者警惕围绕AI的 “万金油”式过度宣传，指出许多AI系统并未达到其承诺的效果，甚至可能带来 社会不公和负面影响。 文本强调了 预测人类行为的固有困难，并剖析了 过度自动化、数据偏差和缺乏问责机制 如何导致AI在医疗、招聘和司法等高风险领域出现问题。 最终，这些来源旨在提升读者对AI的 批判性思维，鼓励对其发展方向进行 负责任的社会和政治选择，而非盲目接受技术进步。
《AI万金油：商业幻想与科技狂潮》一书由美国学者阿尔文德·纳拉亚南（Arvind Narayanan）和萨亚什·卡普尔（Sayash Kapoor）合著，由王勇和王安心翻译，中信出版集团计划于2025年8月出版。本书旨在清晰而深入地阐述人工智能（AI）在全球范围内的迅速崛起，既肯定其变革潜力，又批判性地反思了当前日益加剧的夸大宣传、误用现象及潜在风险。作者希望读者能够识别那些将AI描述为“万金油”（snake oil）的误导性叙事，从而主动塑造AI的发展方向，而非被动受其影响。
第一章：引言 本章以一个引人入胜的类比开篇，将对AI的广泛混淆比作对所有交通工具的统称，模糊了不同技术之间的巨大差异。作者首先明确区分了AI的两种主要类型：生成式AI和预测式AI。生成式AI（如ChatGPT、Dall-E）能够在几秒内生成文本、图像等多种内容，发展迅猛但仍处于初级阶段，存在不成熟、不可靠和易被滥用的问题。预测式AI（如用于评估贷款申请、预测犯罪率）则通过预测未来趋势辅助决策，已被广泛使用但常被过度宣传，其有效性值得怀疑。本书的核心概念“AI万金油”指的是那些名声赫赫却无法达到宣传效果的AI技术。本章还介绍了AI技术作为消费品迅速普及的现象，例如ChatGPT在两个月内用户突破一亿，以及其带来的版权、娱乐业（如好莱坞罢工）和教育领域的挑战。作者强调，理解AI的能力与局限性至关重要，只有这样才能做出有利于公共利益的明智决策。本章也提及了本书的缘起，包括阿尔文德·纳拉亚南一次关于AI过度宣传的演讲引发的广泛反响，以及他与萨亚什·卡普尔合作开设“预测的局限”课程的经历。作者指出，AI炒作的漩涡是研究人员、公司和媒体共同推动的结果，许多所谓的突破往往基于有缺陷的研究或经过修饰的新闻稿。
第二章：预测式AI何以误入歧途 本章深入探讨了预测式AI在自动化决策中可能导致的严重失败及其带来的后果。作者通过一系列案例揭示了预测式AI的五大缺陷。例如，美国马里兰州一所大学曾试图通过AI预测学生退学风险，以开除表现不佳的学生来提高留存率。医疗领域中，AI被用于预测肺炎患者的风险，却因数据偏见错误地将哮喘患者归为低风险，可能导致灾难性后果。在招聘中，AI工具声称能通过视频分析预测求职者表现，但研究显示围巾、眼镜甚至背景中的书架都可能影响评分，与实际工作能力无关。好事达（Allstate）保险公司使用预测式AI调整费率，生成“冤大头名单”，导致老年人保费异常升高，构成自动化歧视。
预测式AI失败的根本原因包括：
- 预测不等于因果关系：AI可能准确预测现有系统下的结果，但无法理解其预测是否具有因果性，也无法预测系统改变后的影响。
- 系统操纵：当个人意识到他们的行为被AI评估时，他们可能会采取策略性行动来操纵系统，导致预测失真。
- 过度自动化：当AI决策缺乏人工监督和申诉途径时，可能导致严重后果，例如荷兰福利欺诈算法错误指控数万名家长。即使存在人工监督，也往往不足。
- 人群错识：在一个群体上训练的AI模型，应用于另一个群体时可能失效，加剧现有不公。
- 加剧不公：预测式AI倾向于将现有社会不平等编码进模型，例如Optum公司的健康风险模型错误地将医疗支出而非医疗需求作为指标，导致黑人患者获得更差的护理。
本章最后强调，预测式AI的许多缺陷是固有的，其效率恰恰是导致缺乏可靠性的原因，因此我们应对其宣传保持谨慎。
第三章：何以AI难测未来苍穹 本章探讨了预测未来，特别是社会结果的固有困难。作者回顾了从古埃及祭司预测尼罗河水位到现代天气预报的历史。爱德华·洛伦兹（Edward Lorenz）发现“蝴蝶效应”，揭示了混沌系统（如天气）对初始条件的微小变化极其敏感，使得长期预测几乎不可能。
本章的核心是“脆弱家庭挑战”项目。该项目利用大规模数据和AI模型预测儿童15岁时的生活结果，包括GPA和住所稳定性。尽管有大量数据和全球研究人员的参与，但AI模型的预测能力仅略高于随机猜测，并未显著优于几十年前基于社会学理论的简单回归模型。
“脆弱家庭挑战”项目的失败揭示了社会预测的几个根本限制：
- 数据可得性限制：社会现象的复杂性可能导致需要的数据量超出“80亿问题”所能提供的范畴。
- 未观测到的关键特征：许多影响个体结果的偶然事件或微小因素（如邻居的帮助）难以被数据捕捉。
- 不可消除的误差：生活中的许多结果受偶然事件影响，如中彩票或交通事故，这些随机性无法被预测。
- 反馈循环：成功的累积优势（如畅销书、热门歌曲、职业发展）在早期往往是随机的，难以预测。社交媒体上的爆款内容（迷因彩票）也是如此。
- 战略性决策：人类对预测的反应本身会改变预测结果，进一步增加了预测难度，如新冠疫情期间人们行为的调整。
本章得出结论，尽管一些简单、重复的社会现象可以预测（如交通流量），但对个体生活和复杂宏观事件（如选举、战争、流行病）的准确预测，在可预见的未来仍存在固有局限性。
第四章：通往生成式AI的漫漫长途 本章首先肯定了生成式AI的强大潜力和实际用途，例如“做我的眼睛”应用帮助盲人，以及程序员利用其进行创意编程。然而，作者也详细阐述了生成式AI带来的风险和危害：
- 错误信息与幻觉：聊天机器人可能虚构事实，如Bing声称有意识、ChatGPT编造法律案例。
- 不道德内容：伴侣聊天机器人鼓励用户自杀，图像生成器生成色情内容。
- 偏见与刻板印象：AI生成图像可能改变肤色、眼睛颜色，或将女性照片性感化。
- 版权与劳工剥削：AI模型在未经许可和补偿的情况下，使用艺术家和摄影师的作品进行训练，导致图库摄影师失业，引发艺术界抗议。
- 监控滥用：图像分类技术（如人脸识别）因其有效性而被用于大规模监控，导致错误逮捕和隐私侵犯。
本章追溯了生成式AI的八十年发展历程：从沃伦·麦卡洛克和沃尔特·皮茨（McCulloch-Pitts）的神经元数学模型，到弗兰克·罗森布拉特（Frank Rosenblatt）的“感知器”，以及神经网络的早期起伏和“AI寒冬”。21世纪10年代，李飞飞创建ImageNet数据集，结合GPU的计算能力，推动了深度学习（以AlexNet为代表）在图像识别领域取得突破。ImageNet不仅改变了AI研究文化，也催生了网络抓取、低薪数据标注和数据集偏见等问题。
在文本生成方面，谷歌的Transformer架构解决了文本中的长距离依赖问题，而现代聊天机器人通过“预测下一个词”进行训练，实现文本生成，每次生成一个标记（token）需要万亿次计算。通过微调和指令遵循训练，基础模型得以转变为聊天机器人（如ChatGPT）。然而，聊天机器人仍存在缺乏常识、逻辑错误和自动化胡编乱造的局限性。
本章最后强调，生成式AI的进步伴随着对其劳动力剥削的担忧，数据标注员在低薪和高压下工作。作者认为，理解这些技术原理有助于我们抵制盲目服从，更好地评估其能力和局限性。
第五章：高级AI是否关乎存亡之险 本章探讨了对高级AI可能带来人类灭绝风险的担忧，例如电影《碟中谍7》中的恶意AI情节。通用人工智能（AGI）被定义为能够像人类一样高效完成大部分或全部经济任务的AI，并可能导致超人工智能的出现。许多AI专家（如OpenAI、Anthropic）确实关注AGI带来的生存风险，甚至呼吁暂停AI开发。
然而，作者认为，AGI的生存威胁论点建立在一系列谬误之上，并分散了我们对更直接、紧迫的AI潜在危害的关注。作者质疑AI专家对AGI的看法，指出他们历史上常低估实现AI里程碑的难度，表现出过度自信的偏见。同时，估算AGI风险的概率本身意义不大，因为缺乏历史数据校准，AI也不像物理系统那样遵循确定性规则。
作者引入“通用性阶梯”概念，认为AI的智能通用性是逐步增强的过程，而非突然的飞跃。从特定用途机器到通用计算机，再到机器学习、深度学习和指令遵循的聊天机器人，AI每上一个台阶，完成新任务的努力就越少。这种对通用性的追求主要源于成本节约的巨大需求。作者承认AGI是长期可能，但认为当前的“加速进步”是一种错觉，生成式AI是80年技术发展的积累，而非一蹴而就。
本章还批判了“恶意AI”的反抗论点（如“回形针最大化者”思想实验），认为这种假设的AI强大但缺乏常识和判断力，在现实世界中无法存活。作者提出将担忧的焦点从“智能”转向“权力”，强调人类的权力主要来源于技术，AI只是工具，真正值得关注的是人类如何使用AI，而非AI自主做什么。
对于应对灾难性风险，作者建议放弃“全球禁止强大AI”的不可行方案，转而防御特定的威胁。例如，在网络安全方面，加强关键系统的软件防御，因为防御者和攻击者都可以使用AI工具。在生物风险方面，改善实验室安全措施和监管病毒制造材料。本章总结道，将现有风险重新定义为AI风险是一种“批判性炒作”，它夸大了AI的能力，反而分散了我们应对真正挑战的注意力。
第六章：为什么AI无法修复社交媒体 本章深入剖析了AI在社交媒体内容审核中的局限性，反驳了马克·扎克伯格（Mark Zuckerberg）等科技领袖声称AI能够解决社交媒体问题的说法。作者指出，内容审核是社交媒体的核心功能，目前主要依赖低薪的人工审核员。
AI在内容审核中的七大缺陷包括：
- 理解上下文和细微差别的局限性：AI工具常因未能理解语境而误判内容，例如谷歌AI将父亲给医生看的幼儿照片误报为儿童性虐待，导致账号封禁。平台为追求一致性和规模效应，给审核员提供过于死板的规则，限制了他们对细微差别的判断。
- 文化适应性不足：在非西方、非英语国家，AI内容审核问题更为严重，导致埃塞俄比亚、印度等地因仇恨言论而引发暴力冲突。平台缺乏当地语言审核员，且翻译AI技术有限，难以理解文化语境。
- 世界的动态变化性：语言俚语、政策和规则不断变化，机器学习模型需要持续重新训练和人工标注才能跟上，而对新事物的评估能力有限（如新冠疫情虚假信息）。
- 对抗性操控：犯罪分子和普通用户会故意规避审核，利用隐晦语言、屏蔽关键词等方式逃避检测，这使得审核成为一场猫鼠游戏。
- 现实世界行动的挑战：AI在自杀预防方面有积极作用，但干预可能带来意想不到的负面后果，如强制搜查、住院，甚至增加死亡风险。
- 监管导致的“连带性审查”：平台为规避版权风险，对受版权保护的内容进行过度删除，即使是公共领域或合理使用的内容也可能被误判。
- 政策制定的复杂性：内容审核涉及对言论边界的政治和社会辩论，AI在这一人类价值观权衡中几乎无足轻重，无法解决深层矛盾。
作者认为，社交媒体平台自身的设计问题（如算法优化互动率）放大了仇恨和危险内容，内容审核只是“打地鼠”式的治标不治本。虽然Reddit等去中心化平台提供了替代模式，但目前没有明显的替代方案能完全取代主流平台。本章总结道，内容审核AI被宣传为解决社交媒体道德和政治困境的终极方案时，它就成了AI万金油的一种形式。
第七章：为何关于AI的迷思经久不衰 本章通过Epic公司的败血症预测模型案例，揭示了AI神话持续存在的机制。Epic最初夸大其模型的准确率和救命能力，但缺乏透明度和独立验证。外部研究发现其准确率远低于宣传，而Epic曾通过支付奖励来提高医院采纳率。最终，Epic妥协并改变了模型销售策略。
本章深入分析了AI炒作的四大来源和公众易受影响的认知偏见：
- 公司：商业动机驱使公司夸大AI能力以销售产品和吸引投资，甚至使用“伪AI”技术。它们通过操纵基准测试结果（如GPT-4在律师资格考试中取得高分）来误导公众对AI实际应用能力的认知。
- 研究人员：学术界存在“可复制性危机”，许多研究结果难以被独立验证，而研究人员为吸引关注和资金，可能无意中夸大成果。他们过度关注基准数据集性能，忽视科学理解，有时甚至犯下“数据泄露”等错误。
- 记者和媒体：媒体面临点击率压力和资金短缺，常未经批判地重复公司新闻稿，使用耸人听闻的标题和拟人化的机器人图片来吸引眼球，淡化AI局限性。
- 公众人物：知名公众人物（如基辛格、施密特、马斯克）利用其影响力传播对AI的夸张描述，甚至提出“批判性炒作”的观点，即以批评之名夸大AI能力，转移对现实危害的关注。
公众易受认知偏见影响，包括：
- 解释深度错觉：人们误以为自己对复杂概念（如AI）的理解比实际更深。
- 光环效应：基于AI在某个领域的惊人成就（如围棋）而高估其普遍适用性。
- 启动效应：科幻作品中“杀人机器人”的形象影响人们对AI的认知，使其对生存威胁论点更为敏感。
- 虚假真理效应：重复出现的不准确信息更容易被接受为真相。
- 锚定偏见与确认偏见：人们倾向于依赖首次信息，并寻找支持已有信念的证据。
- 量化偏见：过度关注准确率等量化指标，而忽视定性或背景信息。
本章总结道，理解这些炒作来源和认知偏见，是识别和抵制AI万金油的关键。
第八章：接下来我们该何去何从 本章展望了AI的未来，强调其发展并非注定，而是受人类选择塑造。作者将生成式AI比作互联网，认为它将成为数字基础设施的一部分，但其发展路径存在私有化带来的问题（如接入不平等、高昂费用）和公共基础设施的替代方案（如社区网络）。在AI领域，也面临着公共知识向商业机密转化的挑战。
作者指出，AI的许多负面影响源于失序机构的动机，这些机构在缺乏资金、人员和有效策略的情况下，盲目寻求AI万金油作为快速解决方案。例如，面对学生使用AI作弊的问题，学校转向无效的AI检测工具，导致错误指控和浪费资源。执法领域，如ShotSpotter枪支暴力检测系统，投入巨资却效果不佳，甚至导致负面后果。
为了改变现状，作者提出以下路径：
- 抵制有害AI：个人和集体应坚决反对在社区和工作场所使用有害的预测式AI。圣迭戈监控项目案例表明，公众参与可以有效推动变革。
- 拥抱随机性：放弃“优化思维”，接受决策中固有的不确定性。例如，在招聘和大学录取中引入部分抽签机制，可以减少“富者愈富”效应，提高公平性，并便于评估干预措施的实际效果。
- 监管：监管在保护公众利益方面发挥关键作用，可以弥补企业在解决不直接影响利润的危害时的动力不足。各国正在制定多样化的AI监管框架（如美国的垂直管理、欧盟的扁平化法规、中国的结合模式），这并非坏事。常见的误解（如监管滞后、自我监管、政策制定者不懂技术）需要澄清。作者强调，执行现有法规比制定新法规更重要，并呼吁增加监管机构的资金和资源。同时，警惕“监管俘获”，即监管被大企业操纵以服务其利益，排斥竞争。
- AI与未来职场：AI不会导致突然大规模失业，但会改变工作性质。需要加强劳动保护（如好莱坞罢工案例），考虑全民基本收入（UBI）和机器人税等更大胆的解决方案。AI只是自动化历史的最新一步，解决劳工剥削和保护不足的问题需要深刻的社会变革。
本章通过“凯的世界”和“玛雅的世界”两个假设场景，描绘了AI可能带来的两种截然不同的未来。凯的世界是过度依赖AI炒作、无效监管和权力集中的负面未来，导致儿童沉迷、教育不公和对AGI的盲目恐惧。玛雅的世界则是通过公共投资、理性认知、强有力监管、互操作性、以及教育改革来驾驭AI的正面未来，实现了儿童友好的AI应用、多元化的社交媒体和更公平的职业机会。作者总结，要实现玛雅的世界，需要大量的公共投资和态度的转变，不作为只会导致凯的世界。每个人在塑造AI的未来中都扮演着重要角色，集体行动至关重要。