GPT-4でGPT-4のエラーを見つける「CriticGPT」

OpenAIは、ChatGPTが出力するエラーを発見するため、GPT-4をベースとした「CriticGPT」を開発した。

AIを使ってAIのミスを発見するのを支援するツール。GPT-4シリーズのモデルは、RLHF(人間からのフィードバックによる強化学習)を使って訓練されているが、AIモデルが高度化するのに伴い、その間違いを人間のAIトレーナーが指摘するのは困難になりつつある。

CriticGPTの指摘が常に正しいわけではないが、AIトレーナーがCriticGPTを活用することで、より多くの問題を見つけることが可能になる。たとえば、GPT-4が出力したコードのエラーを発見しようとする場合、CriticGPTを使ったほうが60％パフォーマンスが向上するとしている。

AIはトレーナーのスキルを補完し、人間が単独で作業するよりも包括的なレビューが可能で、モデルが単独で作業するよりもハルシネーション(誤ったもっともらしい回答)が少なくなる。実験では、AI無しで行なったレビューよりも、CriticGPTを使った人間が行なったレビューのほうが60％以上の人に支持されたという。

ただし、CriticGPTを使ってもハルシネーションを完全に排除することはできない。また、タスクが非常に複雑な場合は、CriticGPTの助けがあっても、正しいレビューを行なえるとは限らないという。今後、より複雑になるAIシステムを整合するためには、より良いツールが必要になるとしている。