你好，欢迎访问个人主页！
擅长密码学，安全分析，数字水印等技术。
你可以联系我通过:findmykexin@gmail.com或者知乎私信。
我的知乎链接：苏迟但到 - 知乎 (zhihu.com)
我的github链接：kexinoh
","icon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/channel-2e54d141ee195646ca12a9d16507a908.jpg","favicon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/favicon-340a2925d02a0386f3b954a032834917.jpg","authors":[{"name":"苏迟但到"}],"language":"zh-cn","items":[{"id":"Geerbh9XKFr","title":"导师让我搞gpt方向，我该怎么去学？","content_html":"我给你提一点建议。
不知道你有没有卡，有卡有有卡的玩法，没卡有没卡的玩法。
首先，介绍一下没卡的玩法，
1.对gpt测评和出测试集
对gpt进行各种能力测试，比如知识获取能力或者网络安全能力，医药能力，安全分析等等。
对gpt出各种各样的测评集，这就是上面的前置部分，你先准备好测评集，然后把各种各样的大模型都测一遍，证明一下gpt4遥遥领先。
这两个玩法已经持续一年了，我自己都搞了一个能力测试，我导说这篇论文如果发出去太水了，叫停了我。
最近的gpt4-v又增加了图片语义能力，大家又开始测试了（水论文了），你也可以搜搜。
想要往这方面水的话，必须动作要快，等下次gpt更新吧，如果要求不高，现在还是可以发一些一般的期刊。
2.研究gpt的弱点
gpt的绕过攻击，奶奶攻击等等，这个和网安比较接近，你可以去了解一下，没兴趣就别做了。
3.gpt与专业知识的结合
就指添加专业知识库以及一系列prompt，让gpt做一个某某助手，医药，学习等等。
然后证明这个助手提到了什么什么效率，遥遥领先。
这个一般会用开源llm，不过难度是一样的，llm也有api可以直接访问。
4.gpt插件
这一部分也很容易理解，当然你最好和robot或者其他自动化靠（其他的也不是不行，你得自己好好想想，像操作Excel啥的已经是上个世纪的工作了。），这样听上去高大上一点。比如某个支持gpt4-v的机器人听到声音之后抓取苹果，这科技感就上来了，对吧。一下子就是2050了，可以搞大新闻。
但是本质就是一个gpt插件，做起来也不难，因为gpt太聪明了。
下面是有卡的玩法
1.最简单的思路就是咱们也做一个llm。
你可能要问了，我们做的llm又比不上别人，这能发论文吗？
这你可以问一下当年发图像识别论文的学长或者老师，是如何跑了一个既没有别人的网络识别效果好，也没有别人速度快，但是成功发论文。
当年的历史还会重演，发论文技巧还可以沿用下来。我说一些，简单点的就是往一个方向优化，模型变小，速度变快，支持长度变大，甚至某一方面的能力，比如数学能力等等。测评分数包括把测试集泄露进去，找个合理的（较低的）baseline等等。
2.整理数据集
这一部分虽然工作简单（也不简单），但是对社区特别有意义。
你可以使用爬虫或者ocr来获取网页或者论文，或者电子图书馆的内容，或者某一行业的数据集。
当然还有数据清理的能力，这一部分的技巧非常多。我最近看见的好像有用gpt来清理数据的。
数据集整理完之后，可以选择直接发表，也可以自己跑一个llm，证明效果遥遥领先。
3.对llm的优化或者白盒破解
指蒸馏，微调等等技术，其中白盒破解是上面提到的llm漏洞破解的加强版。
还有很多需要高深深度学习知识的方法我就不提了（知道的也不多）。
","content_text":"我给你提一点建议。\n\n不知道你有没有卡，有卡有有卡的玩法，没卡有没卡的玩法。\n\n首先，介绍一下没卡的玩法，\n\n1.对gpt测评和出测试集\n\n对gpt进行各种能力测试，比如知识获取能力或者网络安全能力，医药能力，安全分析等等。\n\n对gpt出各种各样的测评集，这就是上面的前置部分，你先准备好测评集，然后把各种各样的大模型都测一遍，证明一下gpt4遥遥领先。\n\n这两个玩法已经持续一年了，我自己都搞了一个能力测试，我导说这篇论文如果发出去太水了，叫停了我。\n\n最近的gpt4-v又增加了图片语义能力，大家又开始测试了（水论文了），你也可以搜搜。\n\n想要往这方面水的话，必须动作要快，等下次gpt更新吧，如果要求不高，现在还是可以发一些一般的期刊。\n\n2.研究gpt的弱点\n\ngpt的绕过攻击，奶奶攻击等等，这个和网安比较接近，你可以去了解一下，没兴趣就别做了。\n\n3.gpt与专业知识的结合\n\n就指添加专业知识库以及一系列prompt，让gpt做一个某某助手，医药，学习等等。\n\n然后证明这个助手提到了什么什么效率，遥遥领先。\n\n这个一般会用开源llm，不过难度是一样的，llm也有api可以直接访问。\n\n4.gpt插件\n\n这一部分也很容易理解，当然你最好和robot或者其他自动化靠（其他的也不是不行，你得自己好好想想，像操作Excel啥的已经是上个世纪的工作了。），这样听上去高大上一点。比如某个支持gpt4-v的机器人听到声音之后抓取苹果，这科技感就上来了，对吧。一下子就是2050了，可以搞大新闻。\n\n但是本质就是一个gpt插件，做起来也不难，因为gpt太聪明了。\n\n下面是有卡的玩法\n\n1.最简单的思路就是咱们也做一个llm。\n\n你可能要问了，我们做的llm又比不上别人，这能发论文吗？\n\n这你可以问一下当年发图像识别论文的学长或者老师，是如何跑了一个既没有别人的网络识别效果好，也没有别人速度快，但是成功发论文。\n\n当年的历史还会重演，发论文技巧还可以沿用下来。我说一些，简单点的就是往一个方向优化，模型变小，速度变快，支持长度变大，甚至某一方面的能力，比如数学能力等等。测评分数包括把测试集泄露进去，找个合理的（较低的）baseline等等。\n\n2.整理数据集\n\n这一部分虽然工作简单（也不简单），但是对社区特别有意义。\n\n你可以使用爬虫或者ocr来获取网页或者论文，或者电子图书馆的内容，或者某一行业的数据集。\n\n当然还有数据清理的能力，这一部分的技巧非常多。我最近看见的好像有用gpt来清理数据的。\n\n数据集整理完之后，可以选择直接发表，也可以自己跑一个llm，证明效果遥遥领先。\n\n3.对llm的优化或者白盒破解\n\n指蒸馏，微调等等技术，其中白盒破解是上面提到的llm漏洞破解的加强版。\n\n还有很多需要高深深度学习知识的方法我就不提了（知道的也不多）。\n\n","date_published":"2024-03-17T09:55:47.000Z","_microfeed":{"web_url":"https://kexohproject.pages.dev/i/gpt-Geerbh9XKFr/","json_url":"https://kexohproject.pages.dev/i/Geerbh9XKFr/json/","rss_url":"https://kexohproject.pages.dev/i/Geerbh9XKFr/rss/","guid":"Geerbh9XKFr","status":"published","itunes:title":"New Article Title for iTunes","date_published_short":"Sun Mar 17 2024","date_published_ms":1710669347000}}],"_microfeed":{"microfeed_version":"0.1.2","base_url":"https://kexohproject.pages.dev","categories":[{"name":"Education","categories":[{"name":"Language Learning"}]},{"name":"Technology"}],"subscribe_methods":[{"name":"RSS","type":"rss","url":"https://kexohproject.pages.dev/rss/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/rss.png","enabled":true,"editable":false,"id":"4KlfbtkEfzy"},{"name":"JSON","type":"json","url":"https://kexohproject.pages.dev/json/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/json.png","enabled":true,"editable":false,"id":"DVFm7TYiNSq"}],"description_text":"你好，欢迎访问个人主页！\n\n擅长密码学，安全分析，数字水印等技术。\n\n你可以联系我通过:findmykexin@gmail.com或者知乎私信。\n\n我的知乎链接：苏迟但到 - 知乎 (zhihu.com)\n\n我的github链接：kexinoh","copyright":"©2024","itunes:type":"episodic","items_sort_order":"newest_first"}}