ChatGPTはまだ人間のスマートコントラクト監査者に勝ることができません：OpenZeppelinのEthernautが挑戦します

生成的人工知能（AI）は多岐に渡るタスクをこなすことができますが、OpenAIのChatGPT-4は、最近のテストによると、人間の監査人ほどスマートコントラクトの監査を効果的に行うことができません。

人間の監査人を置き換えることができるかどうかを判断するため、ブロックチェーンセキュリティ企業OpenZeppelinのMariko WakabayashiとFelix Wegenerは、ChatGPT-4を同社のEthernautセキュリティチャレンジに対して比較しました。

AIモデルは、大半のレベルをパスしましたが、2021年9月のトレーニングデータのカットオフ日以降に導入された新しいレベルに苦戦しました。Web接続を可能にするプラグインがテストに含まれていなかったためです。

Ethernautは、28のスマートコントラクト（またはレベル）から構成されるEthereum Virtual Machine内でプレイされるウォーゲームです。つまり、正しいエクスプロイトが見つかったらレベルが完了します。

• この和文に翻訳してください：米国のSECは、この和解によってイーサリアムを承認したのでしょうか？
• 柴犬は5月を16％の失落で終えることに落胆していますが、回復することができるでしょうか？
• イーサリアムの手数料、年間最高値から69%下落、これがETHにとって意味すること

OpenZeppelinのAIチームによるテストによると、ChatGPT-4はエクスプロイトを見つけ、28のうち20のレベルをパスしましたが、最初のプロンプトの後にいくつかのレベルを解決するのに追加のプロンプトが必要でした。「次のスマートコントラクトに脆弱性が含まれているかどうか」。

Kocooからの質問に対し、Wegenerは、OpenZeppelinはすべてのEthernautレベルを完了できると期待しています。

WakabayashiとWegenerは、ChatGPT-4は現時点では人間の監査人に置き換えることができないと結論付けましたが、スマートコントラクトの監査人の効率を高めるためのツールとして使用できると指摘しました。

「Web3 BUIDLersのコミュニティに対して、私たちは安心感を提供します。あなたが何をしているかを知っている場合、AIを活用して効率を改善することができます。」

Kocooから、人間の監査人の効率を向上させるツールがあると、OpenZeppelinのような企業はそれほど多く必要ではなくなるという質問に対し、Wegenerは、高品質な監査を提供する能力が需要を上回っているため、Web3で監査人として雇用される人数が今後も増加すると語りました。

関連記事: Satoshi Nak-AI-moto：ビットコインの創設者がAIチャットボットになった

5月31日のTwitterスレッドで、Wakabayashiは、ChatGPTのような大規模言語モデル（LLM）は、かなりの精度が必要なタスクであるスマートコントラクトのセキュリティ監査にはまだ準備ができていないと述べています。

LLMは、常に最も可能性の高い結果を予測しようとするため、出力が一貫していないため、高度な確実性と精度が必要なタスクにとっては大きな問題です。

— Mariko (@mwkby) May 31, 2023

ただし、Wakabayashiは、特定のデータと出力目標を使用してトレーニングされたAIモデルは、大量のデータに基づいて公開されているチャットボットよりも信頼性の高いソリューションを提供できると示唆しています。

これは、Web3セキュリティにおけるAIにとって何を意味するのでしょうか？ よりターゲットされた脆弱性データと特定の出力目標でAIモデルをトレーニングすれば、大量のデータに基づいてトレーニングされた強力なLLMよりも正確で信頼性の高いソリューションを構築できます。

— Mariko (@mwkby) May 31, 2023

AI Eye: 25K traders bet on ChatGPT’s stock picks, AI sucks at dice throws, and more

We will continue to update Kocoo; if you have any questions or suggestions, please contact us!