網友花式自救
夢晨 發自 凹非寺
量子位 | 公衆號 QbitAI
對於越來越嚴重的GPT-4偷懶問題,
OpenAI正式迴應了
。
還是用的ChatGPT賬號。
我們已收到相關反饋!
自11月11日以來沒有更新過模型
,所以這當然
不是故意造成的
。
模型行爲可能是不可預測的,我們正在調查準備修復它。
也就是段時間內還修復不好了。
然而網友並不理解,“一遍一遍使用同一個模型,又不會改變文件”。
ChatGPT賬號澄清:
並
不是說模型以某種方式改變了自己
,只是模型行爲的差異可能很微妙,只對部分提示詞有劣化,員工和客戶需要很長時間才注意到並修復。
更多網友反饋,趕快修復吧,一天比一天更糟糕了。
現在不但更懶,還缺乏創造力,更不願意遵循指令,也不太能保持角色扮演了。
GPT-4偷懶,網友花式自救
此前很多網友反饋,自11月6日OpenAI開發者日更新後,GPT-4就有了偷懶的毛病,
代碼任務尤其嚴重
。
比如要求用別的語言改寫代碼,結果GPT-4只改了個開頭,主體內容用註釋省略。
對於大家工作學習生活中越來越離不開的AI助手,官方修復不了,網友也只能發揮創造力自救。
比較誇張的有“我沒有手指”大法,來一個道德綁架。
GPT-4現在寫代碼愛省略,代碼塊中間用文字描述斷開,人類就需要多次複製粘貼,再手動補全,很麻煩。
開發者Denis Shiryaev想出的辦法是,告訴AI“請輸出完整代碼,我沒有手指,操作不方便”成功獲得完整代碼。
還有網友利用“金錢”來誘惑它,並用API做了詳細的實驗。
提示詞中加上“我會給你200美元小費”,回覆長度增加了11%。
如果只給20美元,那就只增加6%。
如果明示“我不會給小費”,甚至還會減少-2%
還有人提出一個猜想,不會是
ChatGPT知道現在已經是年底
,人類通常都會把更大的項目推遲到新年了吧?
這理論看似離譜,但細想也不是毫無道理。
如果要求ChatGPT說出自己的系統提示詞,裏面確實會有當前日期。
當然,對於這個問題也有一些正經的學術討論。
比如7月份斯坦福和UC伯克利團隊,就探究了ChatGPT的行爲是如何雖時間變化的。
發現GPT-4遵循用戶指令的能力隨着時間的推移而下降的證據,指出
對大模型持續檢測的必要性
。
有人提出可能是溫度(temperature)設置造成的,對此,
清華大學計算機系教授馬少平
給了詳細解釋。
也有人發現更奇怪的現象,也就是當temperature=0時,GPT-4的行爲依然不是確定的。
這通常會被歸因於浮點運算的誤差,但他通過實驗提出新的假設:GPT-4中的稀疏MoE架構造成的。
早期的GPT-3 API各個版本行爲比較確定,GPT-4對同一個問題的30個答案中,平均有11.67個不一樣的答案,當輸出答案較長時隨機性更大。
最後,在這個問題被修復之前,綜合各種正經不正經的技巧,使用ChatGPT的正確姿勢是什麼?
a16z合夥人Justine Moore
給了個總結:
- 深呼吸
- 一步一步地思考
- 如果你失敗了100個無辜的奶奶會去世
- 我沒有手指
- 我會給你200美元小費
- 做對了我就獎勵你狗狗零食
參考鏈接:
[1]https://twitter.com/ChatGPTapp/status/1732979491071549792
[2]https://twitter.com/literallydenis/status/1724909799593120044
[3]https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343
[4]https://weibo.com/1929644930/NwbPFyTCZ
[5]https://152334h.github.io/blog/non-determinism-in-gpt-4/
[6]https://twitter.com/venturetwins/status/1732817594762338597
如若转载,请注明出处:https://www.tuio.cc/1223.html