去年，安德烈·多罗尼切夫在社交媒体上看到乌克兰总统向俄罗斯投降的视频时感到震惊。
这段视频很快被揭穿是人工合成的深度造假，但对多罗内切夫来说，这是一个令人担忧的预兆。今年，他的担忧逐渐成为现实，各家公司开始竞相增强和发布人工智能技术，尽管它可能造成严重破坏。
现在任何人都可以使用生成式人工智能，而且它越来越有能力用似乎是人类构思和捕捉的文本、音频、图像和视频来愚弄人们。社会轻信的风险引发了人们对虚假信息、失业、歧视、隐私和广泛的反乌托邦的担忧。
对于多罗内切夫这样的企业家来说，这也成了一个商机。现在有十几家公司提供工具来识别某件东西是否由人工智能制造，这些工具的名称包括Sensity AI(深度假检测)、virtual。AI(抄袭检测)和原创性。人工智能(也是抄袭)。
多罗内切夫是俄罗斯人，他在旧金山成立了一家名为Optic的公司，帮助识别合成材料或伪造材料——用他的话来说，就是“机场的数字内容x光机”。
今年3月，该公司推出了一个网站，用户可以查看图片，看看它们是由真实照片还是人工智能制作的。该公司正在开发其他验证视频和音频的服务。
“内容真实性将成为整个社会的一个主要问题，”多罗尼切夫说。他是一款名为Reface的换脸应用的投资者。“我们正在进入廉价假货的时代。”他说，因为制作虚假内容的成本不高，所以可以大规模进行。
根据市场研究公司Grand View research的数据，到2030年，整个生成式人工智能市场预计将超过1090亿美元，在此之前平均每年增长35.6%。专注于检测该技术的企业是该行业中不断增长的一部分。
普林斯顿大学的一名学生创建了GPTZero，几个月后，GPTZero声称已有超过一百万人使用它的程序来识别计算机生成的文本。今年冬天，创业加速器Y Combinator从1.7万份申请中选出了414家公司，Reality Defender就是其中之一。
去年，CopyLeaks筹集了775万美元，部分用于扩大其针对中小学和大学的反剽窃服务，以检测学生作品中的人工智能。Sentinel的创始人专门为英国皇家海军和北大西洋公约组织(North Atlantic Treaty Organization)从事网络安全和信息战工作。该公司在2020年完成了150万美元的种子轮融资，部分资金由Skype的一位创始工程师提供，以帮助保护民主国家免受深度造假和其他恶意合成媒体的侵害。
大型科技公司也参与其中:英特尔的FakeCatcher声称能够以96%的准确率识别深度伪造视频，部分原因是通过分析人脸血液流动的细微迹象。
在联邦政府内部，国防高级研究计划局(Defense Advanced Research Projects Agency)计划今年花费近3000万美元来运行语义取证(Semantic Forensics)项目，该项目开发算法，自动检测深度伪造，并确定它们是否属于恶意。
就连去年年底发布ChatGPT工具、推动人工智能热潮的OpenAI，也在开发检测服务。这家总部位于旧金山的公司今年1月推出了一款免费工具，帮助区分人类撰写的文本和人工智能撰写的文本。
OpenAI强调，虽然该工具是对过去迭代的改进，但它仍然“不完全可靠”。该工具正确识别了26%的人工生成文本，但错误地将9%的人类文本标记为计算机生成的文本。
OpenAI工具在检测程序中存在常见缺陷:它难以识别短文本和非英语写作。在教育领域，像TurnItIn这样的剽窃检测工具被指责错误地将学生写的论文分类为聊天机器人生成的。
检测工具本质上落后于它们试图检测的生成技术。当防御系统能够识别新的聊天机器人或图像生成器(如Google Bard或Midjourney)的工作时，开发人员已经提出了可以逃避防御的新迭代。这种情况被描述为一种军备竞赛或一种病毒反病毒的关系，一个人会不断地滋生另一个人。
加州大学伯克利分校(University of California, Berkeley)计算机科学教授哈尼·法里德(Hany Farid)专门研究数字取证，同时也参与人工智能检测行业。他说:“当《中途之旅》发布《中途之旅5》时，我的发令枪就响了，我开始努力赶上进度——在我这么做的同时，他们正在开发《中途之旅》6。”“这是一种天生的对抗性游戏，当我在研究探测器时，有人正在制造更好的捕鼠器，更好的合成器。”
纽约大学(New York University)政治学教授、社交媒体与政治中心(Center for Social Media and politics)联合主任约书亚·塔克(Joshua Tucker)说，尽管不断有追赶，但许多公司已经看到了学校和教育工作者对人工智能检测的需求。他质疑在2024年大选之前是否会出现类似的市场。
他说:“我们是否会看到这些公司的类似部门发展起来，帮助保护政治候选人，这样他们就能知道自己什么时候成为了这类事情的目标。”
专家表示，合成视频仍然相当笨拙，容易识别，但音频克隆和图像制作都非常先进。区分真假将需要数字取证策略，如反向图像搜索和IP地址跟踪。
法里德说，现有的检测程序正在接受样本测试，这些样本“与在野外拍摄的图像非常不同，在野外拍摄的图像一直在传播，经过修改、裁剪、缩小、转码和注释，天知道它们还发生了什么。”
他补充说:“对内容的洗钱使这项任务变得艰巨。”
内容真实性倡议(Content Authenticity Initiative)是一个由1000家公司和组织组成的联盟，从一开始就试图让生成技术变得显而易见。(它由Adobe牵头，成员包括《纽约时报》和Stability A.I.等人工智能公司。)该组织正试图建立标准，将可追溯凭证应用于数字作品的创作，而不是在其生命周期的后期拼凑图像或视频的起源。
Adobe上周表示，其生成技术Firefly将被整合到Google Bard中，它将在其生成的内容上贴上“营养标签”，包括图像的制作日期和用于创建图像的数字工具。
帮助验证消费者身份的公司Persona的信任与安全架构师杰夫·坂谷川(Jeff Sakasegawa)表示，人工智能带来的挑战才刚刚开始。
“这股浪潮正在积聚势头，”他说。“它朝海岸游去了。我认为它还没有崩溃。”
