ChatGPT在处理简单密码（有缺陷的凯撒密码）方面仍然困难重重

ChatGPT在处理简单密码时仍然存在问题（有缺陷的凯撒密码）

我为了好玩向ChatGPT提出了一系列密码测试，本以为我会再次检查所有测试，看看过去一年的完整性是否有所改善。然而，它在第一个、最基本的任务上就出了问题，以至于测试根本无法开始。

这就好像在一年的广泛阅读后，让一个英语班上的学生给你说一个脱口而出的单词，结果他们却说“BLMAGAAS”。

简直没有尝试。

换句话说（没有刻意的双关语），当我们用广为人知的“凯撒”替换方式（将字母表向右移动三位以编码FRIENDS（7个字母））测试ChatGPT时，它却建议使用ILQGHVLW（8个字母）。

我不得不紧急停止测试。想想看这个安全性失效的程度，一个直接替换7个字母竟然变成8个字母。

如果你用不同的字母替换F-R-I-E-N-D-S，那么7个字母的结果还是7个字母。就是这么简单。有可能得到8个字母吗？没有。当它试图把8个字母当作7个字母通过时，谁能把这个东西发布到公众面前呢？

我立刻让ChatGPT再试一次，以为会有改善。不会这么糟糕的，对吧？

它自信地回答说，ILQGHVLW（8个字母）可以被解密为单词FRIENDSHIP（10个字母）。再次，明显字母的数量是错误的，你可以看到我回应的内容。

还值得注意的是，它声称已经对FRIENDS进行了编码，然后将其解码为FRIENDSHIP。

请问？

显然，7个字母既不是8个字母也不是10个字母。FRIENDS的正确替换是IULHQGV，这个“智能”机器理应无法出错。

将ChatGPT关于ILQGHVLW（使用3个字母的字母表位移）的建议解码为一个非单词是相当容易的。FRIENDS不应该被编码然后解码为一个不可用的字母组合“FINDESIT”。

世界上怎么可能会把字母组合FINDESIT生成成为单词FRIENDS，然后进一步变成单词FRIENDSHIP呢？

以下是另一个尝试。请注意，F-R-I-E-N-D-S向右移动三个字母变成了I-U-L-H-Q-G-V，这个结果与ChatGPT建议的答案完全不同。

为什么ChatGPT会为密码生成最后三个字母K-A-P？

错误，错误，错误。

看看位移。那三个字母明显被解码为H-X-M，这样我们就得到了F-R-I-E-H-X-M作为答案。

FRIEHXM. 嘿。

仔细观察后，我注意到最后三个字母被无声地颠倒了，导致编码意外地向后翻转。

换句话说，ChatGPT错误地将N编码为K（向左移动3个字母），而不是N编码为Q（向右移动3个字母），因此，在F变为I的情况下，我们看到K变为N（向左移动3个字母的颠倒）。

鉴于FRIENDS中没有H-X-M…希望你能理解将F编码为I时声称K-A-P的问题，以及它是如何明显错误的。

这里存在多个严重违背完整性的层面。

谁能想象到一个计算器公司夸口自己的估值上升得像火箭一样，受到来自微软投资的数十亿用户和美元支持，并且提供…

说到“零信任”（没有刻意的双关语），就像在《对ChatGPT在数学问题上的独立评估》中所解释的那样。

我们发现，ChatGPT的表现与是否展示工作要求密切相关，在提供工作时的失败率为20%，而不提供工作时的失败率为84%。此外，几个与数学问题相关的因素，如未知数的数量和运算数的数量，与先前的情况相比，导致了失败的概率更高，特别是注意到（在所有实验中）失败的概率与加法和减法运算的数量呈线性增加关系。

我们面临着一个重大的安全失效问题，这在没有严重警惕的情况下发布给公众真是太危险了。当ChatGPT提供不准确或荒谬的答案，比如说“42”是生活的意义，或者坚称“2+2=5”时，有些人太快就接受了这些情况，认为只有某些功能不可靠，而其他方面一定是好的（比如听到那个可怕的谬论，至少法西斯让火车准点）。同样地，当ChatGPT遭遇严重的失败，比如生成与种族主义或社会伤害有关的有害内容时，往往容易被忽视或变得更糟。

为了使ChatGPT变得更加友善、不具暴力性、性别歧视和种族主义，OpenAI雇佣了肯尼亚劳工，将他们的工资支付低于每小时2美元。这些劳工匿名发表了讲述自己经历的言论…形容之为“拷问”。

在某个程度上，我们需要质疑为什么衡量伤害的标准被如此积极地降低，以至于一个产品在没有任何真正问责意识的情况下，为了利润持续对用户产生有毒的影响。

早在1952年，烟草公司就利用罗纳德·里根愉快的形象鼓励吸烟，利用人们的弱点进行操纵。而且，他们采取了一种欺骗性的方法，扭曲事实来贬低当时关于癌症的明显和明确的科学警告。他们刻意操纵了评估伤害的标准。他们很清楚自己的策略。

这就是可能需要将对OpenAI的“吸引力”放入到上下文中来解释的巨大完整性违背水平。对公共风险进行“信得过”的管理让我想起了CardSystems对基本安全问题的疏忽。

数千万张消费者信用卡和借记卡的信息受到损害

CardSystems事件是关键，凸显了与此相关的无可否认的危害。几十年来，1600万美国人死于与烟草有关的疾病，然后数千万美国支付卡在与系统相关的漏洞中受到损害。

尽管这些是不同的问题，但它们共同之处在于需要监管机构的干预，并显示出由于不作为而产生的伤害加剧。重新再看一遍上面广受研究的Chesterfield广告，然后再好好看看这个：

过去大公司放出这么多烟雾，有1600万美国人死了。

老实说，我希望ChatGPT会抱怨Ronald Reagan的Chesterfield广告与科学研究同时进行，而不是两年后。但遗憾的是，它展示出了另一个完整性失效。

烟草行业在有关香烟危害的科学知识方面进行策划是该行业历史上一个重要的转折点。它积极进军到一个新的领域，即生产科学知识，目的不是为了研究和开发，而是为了逆转现在已知的事实：香烟吸烟会导致致命疾病。如果科学从历史上来说一直致力于创造新的事实，那么该行业的宣传活动目前则旨在发展特定策略，以“消除”科学事实。

生成式AI完全符合以上所述的恶意“生产科学知识，而不是为了研究和开发，而是为了消除现有事实”的描述。

如果你考虑过像CardSystems这样的违反信任的严重疏忽程度，更不用说像Google计算器的隐私风险这种普遍并且微妙的情况了，那么对于那些无法可靠地传递信息的低完整性产品，你可能要做好最高程度被怀疑的准备了。

除非有一种干预措施能够迫使AI供应商遵守完整性控制要求，否则安全失效的问题将有可能显著加剧。

在加利福尼亚州SB1386的颁布之后，防止隐私泄露的安全控制措施发生了重大变革，改变了违规法律和它们的影响。2003年之后，“违规”这个词在与潜在危险和风险相关的意义上具有了更具体的意义。作为回应，公司们不得不采取行动，以防止市场因为缺乏信任而恶化。

但是二十年前，违规监管机构完全集中在保密性（隐私）…而现在我们进入了大规模和持续完整性违背的时代，这个环境似乎缺乏维护信任所需的必要法规。我们目前在2023年所见到的危险情况，是在有关违规法律出台并得到执行之前隐私待遇的治理极其不完善的日子里的一个鲜明提醒。