<?xml version='1.0' encoding='UTF-8'?>
<?xml-stylesheet href="/rss/stylesheet/" type="text/xsl"?>
<rss xmlns:content='http://purl.org/rss/1.0/modules/content/' xmlns:taxo='http://purl.org/rss/1.0/modules/taxonomy/' xmlns:rdf='http://www.w3.org/1999/02/22-rdf-syntax-ns#' xmlns:itunes='http://www.itunes.com/dtds/podcast-1.0.dtd' xmlns:googleplay="http://www.google.com/schemas/play-podcasts/1.0" xmlns:dc='http://purl.org/dc/elements/1.1/' xmlns:atom='http://www.w3.org/2005/Atom' xmlns:podbridge='http://www.podbridge.com/podbridge-ad.dtd' version='2.0'>
<channel>
  <title>苏迟但到的主页</title>
  <language>zh-cn</language>
  <generator>microfeed.org</generator>
  <itunes:type>episodic</itunes:type>
  <itunes:explicit>false</itunes:explicit>
  <atom:link rel="self" href="https://kexohproject.pages.dev/rss/" type="application/rss+xml"/>
  <link>https://kexohproject.pages.dev</link>
  <description>
    <![CDATA[<p>你好，欢迎访问个人主页！</p><p>擅长密码学，安全分析，数字水印等技术。</p><p>你可以联系我通过:findmykexin@gmail.com或者知乎私信。</p><p>我的知乎链接：<a href="https://www.zhihu.com/people/su-chi-dan-dao" rel="noopener noreferrer" target="_blank">苏迟但到 - 知乎 (zhihu.com)</a></p><p>我的github链接：<a href="https://github.com/kexinoh" rel="noopener noreferrer" target="_blank">kexinoh</a></p>]]>
  </description>
  <itunes:author>苏迟但到</itunes:author>
  <itunes:image href="https://kexohcdn.gptapi.cyou/kexohproject/production/images/channel-2e54d141ee195646ca12a9d16507a908.jpg"/>
  <image>
    <title>苏迟但到的主页</title>
    <url>https://kexohcdn.gptapi.cyou/kexohproject/production/images/channel-2e54d141ee195646ca12a9d16507a908.jpg</url>
    <link>https://kexohproject.pages.dev</link>
  </image>
  <copyright>©2024</copyright>
  <itunes:category text="Education">
    <itunes:category text="Language Learning"/>
  </itunes:category>
  <itunes:category text="Technology"/>
  <item>
    <title>导师让我搞gpt方向，我该怎么去学？</title>
    <guid>Geerbh9XKFr</guid>
    <pubDate>Sun, 17 Mar 2024 09:55:47 GMT</pubDate>
    <itunes:explicit>false</itunes:explicit>
    <description>
      <![CDATA[<p data-pid="y0XYkPND">我给你提一点建议。</p><p data-pid="c2Cs9ONz">不知道你有没有卡，有卡有有卡的玩法，没卡有没卡的玩法。</p><p data-pid="SlYwCbcB">首先，介绍一下没卡的玩法，</p><p data-pid="lBYhKc2x">1.对gpt测评和出测试集</p><p data-pid="-UEKBYGm">对gpt进行各种能力测试，比如知识获取能力或者网络安全能力，医药能力，安全分析等等。</p><p data-pid="X1is6-c3">对gpt出各种各样的测评集，这就是上面的前置部分，你先准备好测评集，然后把各种各样的大模型都测一遍，证明一下gpt4遥遥领先。</p><p data-pid="7Hwcmqxl">这两个玩法已经持续一年了，我自己都搞了一个能力测试，我导说这篇论文如果发出去太水了，叫停了我。</p><p data-pid="fCP2_OUP">最近的gpt4-v又增加了图片语义能力，大家又开始测试了（水论文了），你也可以搜搜。</p><p data-pid="daBPNUvg">想要往这方面水的话，必须动作要快，等下次gpt更新吧，如果要求不高，现在还是可以发一些一般的期刊。</p><p data-pid="kKTMdFb-">2.研究gpt的弱点</p><p data-pid="iDLB7Fg9">gpt的绕过攻击，奶奶攻击等等，这个和网安比较接近，你可以去了解一下，没兴趣就别做了。</p><p data-pid="W1ud9vlw">3.gpt与专业知识的结合</p><p data-pid="TBQOECjK">就指添加专业知识库以及一系列prompt，让gpt做一个某某助手，医药，学习等等。</p><p data-pid="tVgq_cUd">然后证明这个助手提到了什么什么效率，遥遥领先。</p><p data-pid="_83BquY3">这个一般会用开源llm，不过难度是一样的，llm也有api可以直接访问。</p><p data-pid="RrgwjIsW">4.gpt插件</p><p data-pid="QbFb-gVr">这一部分也很容易理解，当然你最好和robot或者其他自动化靠（其他的也不是不行，你得自己好好想想，像操作Excel啥的已经是上个世纪的工作了。），这样听上去高大上一点。比如某个支持gpt4-v的机器人听到声音之后抓取苹果，这科技感就上来了，对吧。一下子就是2050了，可以搞大新闻。</p><p data-pid="0CIUoCMO">但是本质就是一个gpt插件，做起来也不难，因为gpt太聪明了。</p><p data-pid="hWtgMxgO">下面是有卡的玩法</p><p data-pid="HRbqt_0u">1.最简单的思路就是咱们也做一个llm。</p><p data-pid="z0ur10nN">你可能要问了，我们做的llm又比不上别人，这能发论文吗？</p><p data-pid="nDFJpA0c">这你可以问一下当年发图像识别论文的学长或者老师，是如何跑了一个既没有别人的网络识别效果好，也没有别人速度快，但是成功发论文。</p><p data-pid="56E73fTo">当年的历史还会重演，发论文技巧还可以沿用下来。我说一些，简单点的就是往一个方向优化，模型变小，速度变快，支持长度变大，甚至某一方面的能力，比如数学能力等等。测评分数包括把测试集泄露进去，找个合理的（较低的）baseline等等。</p><p data-pid="Kf7NnlVG">2.整理数据集</p><p data-pid="Oc6bp0t_">这一部分虽然工作简单（也不简单），但是对社区特别有意义。</p><p data-pid="m8yTXOME">你可以使用爬虫或者ocr来获取网页或者论文，或者电子图书馆的内容，或者某一行业的数据集。</p><p data-pid="OpOAxTEK">当然还有数据清理的能力，这一部分的技巧非常多。我最近看见的好像有用gpt来清理数据的。</p><p data-pid="tv_P4aGj">数据集整理完之后，可以选择直接发表，也可以自己跑一个llm，证明效果遥遥领先。</p><p data-pid="Jv4wYjYw">3.对llm的优化或者白盒破解</p><p data-pid="eGMOlPkh">指蒸馏，微调等等技术，其中白盒破解是上面提到的llm漏洞破解的加强版。</p><p data-pid="GUkY-4NA">还有很多需要高深深度学习知识的方法我就不提了（知道的也不多）。</p><p data-pid="9eEPtFjo"></p>]]>
    </description>
    <itunes:title>New Article Title for iTunes</itunes:title>
  </item>
</channel>
</rss>