{"version":"https://jsonfeed.org/version/1.1","title":"苏迟但到的主页","home_page_url":"https://kexohproject.pages.dev","feed_url":"https://kexohproject.pages.dev/json/","description":"<p>你好，欢迎访问个人主页！</p><p>擅长密码学，安全分析，数字水印等技术。</p><p>你可以联系我通过:findmykexin@gmail.com或者知乎私信。</p><p>我的知乎链接：<a href=\"https://www.zhihu.com/people/su-chi-dan-dao\" rel=\"noopener noreferrer\" target=\"_blank\">苏迟但到 - 知乎 (zhihu.com)</a></p><p>我的github链接：<a href=\"https://github.com/kexinoh\" rel=\"noopener noreferrer\" target=\"_blank\">kexinoh</a></p>","icon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/channel-2e54d141ee195646ca12a9d16507a908.jpg","favicon":"https://kexohcdn.gptapi.cyou/kexohproject/production/images/favicon-340a2925d02a0386f3b954a032834917.jpg","authors":[{"name":"苏迟但到"}],"language":"zh-cn","items":[{"id":"O6laq4jZ-Q2","title":"向GPT问两次相同的问题，GPT的回答完全相同的概率可以估计吗？","content_html":"<p data-pid=\"O6Zb8_kW\">这个值是可以被精确计算出来的，但是你要拿到具体的模型。</p><p data-pid=\"9bIPZlNU\">在语言模型（如GPT系列）中，&#34;温度&#34;是一个超参数，它控制模型生成文本时的随机性。温度参数在softmax函数的应用中起到关键作用，softmax函数用于将模型的原始输出（通常被称为logits）转化为概率分布。</p><p data-pid=\"Y5_hWl45\">tmax函数获得对应的概率分布p，公式如下：</p><p data-pid=\"G4byysr4\"><img src=\"https://www.zhihu.com/equation?tex=%24%24p%28i%29+%3D+%5Cfrac%7Be%5E%7Bz%28i%29%2FT%7D%7D%7B%5Csum_j+e%5E%7Bz%28j%29%2FT%7D%7D%24%24\" alt=\"$$p(i) = \\frac{e^{z(i)/T}}{\\sum_j e^{z(j)/T}}$$\" eeimg=\"1\"/> </p><p data-pid=\"3swhkC_6\">这里T就是温度参数。如你所见，当T的值变化时，分母和分子都会受到影响，从而改变概率分布p。</p><p data-pid=\"j9n1TUGg\">如果T接近0（但不能为0，因为这会导致除数为0的问题），模型会变得非常确定性，总是选择最可能的输出。这可能会导致生成的文本过于一致，缺乏多样性。</p><p data-pid=\"uWaTaDY0\">如果T大于1，模型的输出会变得更加随机。当T很大时，所有输出的概率几乎相等，这就像是在所有可能的输出中随机选择。</p><p data-pid=\"v-YQM7pX\">因此，通过调整温度参数，我们可以控制模型生成的文本的多样性和确定性。较低的温度会导致更确定性的输出，而较高的温度会导致更随机的输出。</p>","content_text":"这个值是可以被精确计算出来的，但是你要拿到具体的模型。\n\n在语言模型（如GPT系列）中，\"温度\"是一个超参数，它控制模型生成文本时的随机性。温度参数在softmax函数的应用中起到关键作用，softmax函数用于将模型的原始输出（通常被称为logits）转化为概率分布。\n\ntmax函数获得对应的概率分布p，公式如下：\n\n$$p(i) = \\frac{e^{z(i)/T}}{\\sum_j e^{z(j)/T}}$$\n[https://www.zhihu.com/equation?tex=%24%24p%28i%29+%3D+%5Cfrac%7Be%5E%7Bz%28i%29%2FT%7D%7D%7B%5Csum_j+e%5E%7Bz%28j%29%2FT%7D%7D%24%24]\n\n这里T就是温度参数。如你所见，当T的值变化时，分母和分子都会受到影响，从而改变概率分布p。\n\n如果T接近0（但不能为0，因为这会导致除数为0的问题），模型会变得非常确定性，总是选择最可能的输出。这可能会导致生成的文本过于一致，缺乏多样性。\n\n如果T大于1，模型的输出会变得更加随机。当T很大时，所有输出的概率几乎相等，这就像是在所有可能的输出中随机选择。\n\n因此，通过调整温度参数，我们可以控制模型生成的文本的多样性和确定性。较低的温度会导致更确定性的输出，而较高的温度会导致更随机的输出。","date_published":"2024-01-22T14:03:10.000Z","_microfeed":{"web_url":"https://kexohproject.pages.dev/i/gptgpt-O6laq4jZ-Q2/","json_url":"https://kexohproject.pages.dev/i/O6laq4jZ-Q2/json/","rss_url":"https://kexohproject.pages.dev/i/O6laq4jZ-Q2/rss/","guid":"O6laq4jZ-Q2","status":"published","itunes:title":"New Article Title for iTunes","date_published_short":"Mon Jan 22 2024","date_published_ms":1705932190000}}],"_microfeed":{"microfeed_version":"0.1.2","base_url":"https://kexohproject.pages.dev","categories":[{"name":"Education","categories":[{"name":"Language Learning"}]},{"name":"Technology"}],"subscribe_methods":[{"name":"RSS","type":"rss","url":"https://kexohproject.pages.dev/rss/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/rss.png","enabled":true,"editable":false,"id":"4KlfbtkEfzy"},{"name":"JSON","type":"json","url":"https://kexohproject.pages.dev/json/","image":"https://kexohproject.pages.dev/assets/brands/subscribe/json.png","enabled":true,"editable":false,"id":"DVFm7TYiNSq"}],"description_text":"你好，欢迎访问个人主页！\n\n擅长密码学，安全分析，数字水印等技术。\n\n你可以联系我通过:findmykexin@gmail.com或者知乎私信。\n\n我的知乎链接：苏迟但到 - 知乎 (zhihu.com)\n\n我的github链接：kexinoh","copyright":"©2024","itunes:type":"episodic","items_sort_order":"newest_first"}}