你好，欢迎访问个人主页！
擅长密码学，安全分析，数字水印等技术。
你可以联系我通过:findmykexin@gmail.com或者知乎私信。
我的知乎链接：苏迟但到 - 知乎 (zhihu.com)
我的github链接：kexinoh
","icon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/channel-2e54d141ee195646ca12a9d16507a908.jpg","favicon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/favicon-340a2925d02a0386f3b954a032834917.jpg","authors":[{"name":"苏迟但到"}],"language":"zh-cn","items":[{"id":"kyuGWSd_mdT","title":"AI的可解释性和可移植性会不会成为一个安全漏洞？","content_html":"会，这个就是ai后门攻击。
方法有很多，比如在数据集中就投毒，在输入中我们就(有倾向性的)错误标定，或者添加一些不可见的特征来影响输出结果。
比如我把所有的狗的照片的左上方添加一个黑色像素，那么AI很可能把黑色像素的这个特征学习进去，从而我拿出一张猫的照片并添加黑色像素依然有效。
还有我们可以通过修改ai生成的模型来实现特定输入的结果不准确甚至操作输出结果。
目前的白盒或者黑盒方法都是通过梯度法，既我设定一个攻击目标，然后修改参数，寻找梯度，最终满足特定目标。
最关键的是这种AI后门很难被发现。
理论上我们可以通过覆盖全部的测试集来获取真实情况，但是在很多时候我们很难对所有的情况进行遍历。
目前这还是AI安全的前沿课题。
对于必然性我认为是参数量达到一定层面的时候就必然无法完全解释，就和linux的内核一样，代码庞大到一定程度的时候，飞马就可以轻松植入后门而大家很难很找到。
只能通过模糊测试或者静态分析等等辅助方法来减少后门的可能性。
","content_text":"会，这个就是ai后门攻击。\n\n方法有很多，比如在数据集中就投毒，在输入中我们就(有倾向性的)错误标定，或者添加一些不可见的特征来影响输出结果。\n\n比如我把所有的狗的照片的左上方添加一个黑色像素，那么AI很可能把黑色像素的这个特征学习进去，从而我拿出一张猫的照片并添加黑色像素依然有效。\n\n还有我们可以通过修改ai生成的模型来实现特定输入的结果不准确甚至操作输出结果。\n\n目前的白盒或者黑盒方法都是通过梯度法，既我设定一个攻击目标，然后修改参数，寻找梯度，最终满足特定目标。\n\n最关键的是这种AI后门很难被发现。\n\n理论上我们可以通过覆盖全部的测试集来获取真实情况，但是在很多时候我们很难对所有的情况进行遍历。\n\n目前这还是AI安全的前沿课题。\n\n对于必然性我认为是参数量达到一定层面的时候就必然无法完全解释，就和linux的内核一样，代码庞大到一定程度的时候，飞马就可以轻松植入后门而大家很难很找到。\n\n只能通过模糊测试或者静态分析等等辅助方法来减少后门的可能性。","date_published":"2023-11-06T10:43:09.000Z","_microfeed":{"web_url":"https://kexohproject.pages.dev/i/ai-kyuGWSd_mdT/","json_url":"https://kexohproject.pages.dev/i/kyuGWSd_mdT/json/","rss_url":"https://kexohproject.pages.dev/i/kyuGWSd_mdT/rss/","guid":"kyuGWSd_mdT","status":"published","itunes:title":"New Article Title for iTunes","date_published_short":"Mon Nov 06 2023","date_published_ms":1699267389000}}],"_microfeed":{"microfeed_version":"0.1.2","base_url":"https://kexohproject.pages.dev","categories":[{"name":"Education","categories":[{"name":"Language Learning"}]},{"name":"Technology"}],"subscribe_methods":[{"name":"RSS","type":"rss","url":"https://kexohproject.pages.dev/rss/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/rss.png","enabled":true,"editable":false,"id":"4KlfbtkEfzy"},{"name":"JSON","type":"json","url":"https://kexohproject.pages.dev/json/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/json.png","enabled":true,"editable":false,"id":"DVFm7TYiNSq"}],"description_text":"你好，欢迎访问个人主页！\n\n擅长密码学，安全分析，数字水印等技术。\n\n你可以联系我通过:findmykexin@gmail.com或者知乎私信。\n\n我的知乎链接：苏迟但到 - 知乎 (zhihu.com)\n\n我的github链接：kexinoh","copyright":"©2024","itunes:type":"episodic","items_sort_order":"newest_first"}}