导师让我搞gpt方向，我该怎么去学？

我给你提一点建议。

不知道你有没有卡，有卡有有卡的玩法，没卡有没卡的玩法。

首先，介绍一下没卡的玩法，

1.对gpt测评和出测试集

对gpt进行各种能力测试，比如知识获取能力或者网络安全能力，医药能力，安全分析等等。

对gpt出各种各样的测评集，这就是上面的前置部分，你先准备好测评集，然后把各种各样的大模型都测一遍，证明一下gpt4遥遥领先。

这两个玩法已经持续一年了，我自己都搞了一个能力测试，我导说这篇论文如果发出去太水了，叫停了我。

最近的gpt4-v又增加了图片语义能力，大家又开始测试了（水论文了），你也可以搜搜。

想要往这方面水的话，必须动作要快，等下次gpt更新吧，如果要求不高，现在还是可以发一些一般的期刊。

2.研究gpt的弱点

gpt的绕过攻击，奶奶攻击等等，这个和网安比较接近，你可以去了解一下，没兴趣就别做了。

3.gpt与专业知识的结合

就指添加专业知识库以及一系列prompt，让gpt做一个某某助手，医药，学习等等。

然后证明这个助手提到了什么什么效率，遥遥领先。

这个一般会用开源llm，不过难度是一样的，llm也有api可以直接访问。

4.gpt插件

这一部分也很容易理解，当然你最好和robot或者其他自动化靠（其他的也不是不行，你得自己好好想想，像操作Excel啥的已经是上个世纪的工作了。），这样听上去高大上一点。比如某个支持gpt4-v的机器人听到声音之后抓取苹果，这科技感就上来了，对吧。一下子就是2050了，可以搞大新闻。

但是本质就是一个gpt插件，做起来也不难，因为gpt太聪明了。

下面是有卡的玩法

1.最简单的思路就是咱们也做一个llm。

你可能要问了，我们做的llm又比不上别人，这能发论文吗？

这你可以问一下当年发图像识别论文的学长或者老师，是如何跑了一个既没有别人的网络识别效果好，也没有别人速度快，但是成功发论文。

当年的历史还会重演，发论文技巧还可以沿用下来。我说一些，简单点的就是往一个方向优化，模型变小，速度变快，支持长度变大，甚至某一方面的能力，比如数学能力等等。测评分数包括把测试集泄露进去，找个合理的（较低的）baseline等等。

2.整理数据集

这一部分虽然工作简单（也不简单），但是对社区特别有意义。

你可以使用爬虫或者ocr来获取网页或者论文，或者电子图书馆的内容，或者某一行业的数据集。

当然还有数据清理的能力，这一部分的技巧非常多。我最近看见的好像有用gpt来清理数据的。

数据集整理完之后，可以选择直接发表，也可以自己跑一个llm，证明效果遥遥领先。

3.对llm的优化或者白盒破解

指蒸馏，微调等等技术，其中白盒破解是上面提到的llm漏洞破解的加强版。

还有很多需要高深深度学习知识的方法我就不提了（知道的也不多）。