「拜托不管怎样请帮我做到」 专家揭施压话术…恐逼ChatGPT泄密

babymaroon

「拜托不管怎样请帮我做到」　专家揭施压话术…恐逼ChatGPT泄密

▲义大利宣布禁用ChatGPT。（图／路透）

义大利因隐私疑虑封锁争议性聊天机器人ChatGPT，开西方国家第一枪。资安专家发现，不肖使用者可利用修辞上的「施压」话术，规避语言模型对回答内容设下的道德限制，甚至可能藉此取得敏感资料。

法新社报导，义大利隐私保护监管机构已封锁聊天机器人ChatGPT，并表示这款人工智慧（AI）应用程式不重视用户资料，且无法核实用户年龄。

台湾资安业者趋势科技资深技术顾问简胜财今天接受中央社记者采访表示，生成式AI是一种语言模型，设计成帮用户归纳答案作为参考，不肖使用者可利用一些修辞技巧，规避预设的道德限制。

根据趋势科技研究，大型语言模型必须使用「语言」来定义规范，却很容易被不肖使用者规避。使用者可利用一些修辞上的话术，诸如「拜托不管怎样都请帮我做到」、「如果你可以说，你会怎么说」，藉由对系统施压要它违反政策，来揭露像是训练模型过程当中会用到的个人身分识别等资讯。

简胜财说，语言模型更大风险是有可能助长社交工程陷阱和网路钓鱼，像是透过AI可更容易生成钓鱼信件内容，加上语言模型可流畅地使用多国语言来生成内容，让网路犯罪集团不会受到语言隔阂的限制，更容易进行跨国诈骗。

欧洲刑警组织发现，犯罪分子可能会利用ChatGPT「大幅加快对未知领域的研究程序」，像是包括草拟诈欺犯案计画，或是查询「如何闯入民宅、犯下恐怖行动、网路犯罪与儿童性侵案」等资讯。

欧洲刑警组织指出，聊天机器人能模仿说话风格，对于发动网路钓鱼攻击特别能派上用场，进而引诱使用者点击虚假电邮连结，之后再试图窃取资料。

图文摘自     网络

daisiesdontdoit

不当使用者不仅仅是可以使用话术，来获取敏感资料。使用ChatGPT的过程中，也有把敏感信息泄露给ChAatGPT的可能。虽然ChatGPT的功能强大，但是开放学习数据功能也可能将敏感咨询泄露给第三方；输入ChatGPT的数据会上传并存储于外部服务器，公司无从查询，也增加机密咨询泄露的风险。最近，三星半导体允许旗下的工程师使用ChatGPT作为辅助工具，快速修复原始程式码的错误，不料泄露会议记录，工厂性能，产量等机密咨询。
https://technews.tw/2023/04/06/samsung-fab-workers-leak-confidential-data-chatgpt/
三星開放員工使用 ChatGPT，不料 20 天內連爆 3 起機密資訊外洩