知客：我次用模型的候，說實(shí)話，有點(diǎn)被嚇到。

它回答得太了，說話太完整了，連語氣都很像。

我當(dāng)腦子只有個念頭：這玩意兒是是己經(jīng)思考了？

蘇格拉底：你結(jié)論之前，我們先慢點(diǎn)。

你先告訴我——你為什么覺得它思考？

知客：因?yàn)樗芑卮饐栴}啊。

而且是那種死板的回答，是有邏輯、有例子、有總結(jié)。

我問它“怎么寫方案”，它給我寫了份；我問它“生有沒有意義”，它還能反問我。

這像思考，像什么？

蘇格拉底：那我種問法。

如個西說話很像，我們是是就意識地認(rèn)為它想？

知客：……像是。

蘇格拉底：那我們來個實(shí)驗(yàn)。

設(shè)有只鸚鵡，它能背你所有的問題和對應(yīng)的回答。

你問句，它就答句，遠(yuǎn)出錯。

你說它思考嗎？

知客：吧，它只是背得多。

蘇格拉底：那問題來了。

如“回答”等于“思考”，你憑什么確信，模型是只“級鸚鵡”知客：可問題是，模型只是重復(fù)。

它能回答我沒見過的問題。

蘇格拉底：你說得很。

那我們就要更確點(diǎn)。

你覺得“思考”至包含什么？

知客：嗯……理解問題？

知道己說什么？

是說？

蘇格拉底：很。

那我們先抓住其個：理解。

我再問你個有點(diǎn)舒服的問題：你怎么確定——對方是的理解了，而是起來像理解？

知客：這怎么區(qū)？

蘇格拉底：很難。

因?yàn)轭惤?，我們幾乎從來區(qū)。

個能對答如流、邏輯清楚、語氣然，我們默認(rèn)他是“懂的”。

可問題是：這是對的判斷方法，定適用于機(jī)器。

蘇格拉底：類有個生的弱點(diǎn)：我們把語言能力，誤當(dāng)思維能力。

你想想：孩什么候被認(rèn)為“聰明”？

學(xué)生什么候被認(rèn)為“了”？

面試什么候被認(rèn)為“過了”？

答案往往只有個：他說得像那么回事。

知客：你是說，我們被語言騙了？

蘇格拉底：是被騙，是太習(xí)慣了。

類社，“說話”幾乎遠(yuǎn)和“想事”綁定起。

所以當(dāng)個機(jī)器突然也能說得這么像，我們本能地把整判斷起搬了過來。

可我們從來沒認(rèn)問過句：“如個西能說，但想，它是什么樣？”

知客：等等。

你是是暗示：模型可能根本沒有想，只是回答？

蘇格拉底：我暗示，我只問。

你回答我：你和模型對話，它有沒有哪怕秒鐘停來，說：“我先想想?！?br>
知客：……沒有。

蘇格拉底：它有沒有猶豫？

有沒有因?yàn)椤澳脺?zhǔn)”而拒絕回答？

知客：多數(shù)候沒有，它很信。

蘇格拉底：那你有沒有想過種可能：它從來是“想了再說”，而是“須說”。

蘇格拉底：我們來到本章重要的問題。

我希望你先別急著回答。

如個系統(tǒng)的務(wù)只是：何況，都給出個“起來合理的回答”，它需要思考嗎？

知客：……像定。

蘇格拉底：對。

也許，它只需要件事：知道什么樣的回答“像是個回答”。

注意這句話。

它需要知道“對對”，需要知道“是什么意思”，甚至需要知道“己說什么”。

它只需要知道：這種問題后面，常接著出這樣的話。

知客：那你能能首接告訴我：它到底思考？

蘇格拉底：能。

因?yàn)榈┪医o你結(jié)論，你后面都“動站隊(duì)”。

這是要你相信個答案，而是要你步步發(fā)：你原來的判斷依據(jù)，靠住。

所以我們先只保留個問題，帶著它往走：如個西能完地“模擬思考的結(jié)”，那它和“正思考”之間，還差什么？