ニュース

Apr 24, 2024

AI は「悪化している」 | AI は「インドの雇用を失うだろう」 (おそらくそうではない | おそらくそうではない)

投稿者: Richi Jennings、2023 年 7 月 20 日 The Long View へようこそ。 そこでは、今週のニュースを熟読し、要点だけを取り除きます。 本当に重要なことは何かを考えてみましょう。 今週の難問:

投稿者: リッチ・ジェニングス、2023 年 7 月 20 日

The Long View へようこそ。そこでは、今週のニュースを熟読し、要点だけを取り除きます。 ワークアウトしましょう本当に大切なことは何なのか。

今週は難問です。研究者らは一方で、ChatGPT は計画を失っていると言っています。 もう一方では、インドでは外部委託されたコーディングの仕事が AI に取って代わられると聞きました。

今週の最初の記事: 研究者らは、OpenAI の LLM が数カ月前よりもはるかに悪い結果をもたらしていると述べています。 注目すべきは、バグのあるコード。

研究の査読者は、研究の方法論上の問題を指摘しています。 しかし、もっと大きな問題はそれかもしれない「オープン」AI は決してそうではありません。

ベンジ・エドワーズ：ChatGPT の機能が失われていると研究が主張

「暗闇の中でつまずいて放置された」スタンフォード大学とカリフォルニア大学バークレー校の研究者は、GPT-4 の出力の変化を示すと主張する論文を [プレプリントをアップロード] しました。 … API アクセスを使用して、彼らはこれらのモデルの 2023 年 3 月と 6 月のバージョンをコード生成などのタスクでテストしました。… [これは、AI 言語モデルは、コーディングや構成タスクにおいては 2023 年よりも劣っているという、一般的だが証明されていない信念を助長します。ここ数ヶ月。 …その理由についての一般的な理論には、OpenAI が計算オーバーヘッドを削減するためにモデルを「蒸留」すること、…有害な出力を減らすためのトレーニング、[および] OpenAI が GPT-4 のコーディング機能を削減するため、より多くの人が GitHub Copilot にお金を払うことになるなどの陰謀論が含まれています。 OpenAIはGPT-4の能力が低下したという主張を一貫して否定してきた。 [しかし] GPT-4 のようなクローズドなブラック ボックス モデルでは、研究者は、安全フィルターや、最近噂になっている 8 つの「専門家」モデルが連携して作業します。

カティアナ・クワッチ:LLM は愚かになってきている

「気をつけてください」チームは、LeetCode セットから抜粋した 50 の簡単なプログラミングの課題のリストに基づいて、両方のモデルのコーディング能力を調べました。 正しい答えを与えるバグのないコードを含む応答は、直接実行可能なコードとみなされます。 GPT-4 によって生成された直接実行可能なスクリプトの数は、同じ期間で 52% から 10% に減少しました。…微調整や変更が他の場所にも波及する場合に備えて、モデルの動作を定期的にテストするよう開発者に警告しています。それらに依存するアプリケーションとサービス。 …自社の製品やサービスを強化するために OpenAI のテクノロジーなどのソフトウェアに依存している企業は、…時間の経過とともに自社の行動がどのように変化する可能性があるかについて警戒する必要があります。

コーディングは確実に悪くなっている、とr3trohack3rは考えています。

早期アクセス プログラム中、私は定期的に GPT-4 にプログラミング タスクを与えました。 [しかし] 私が今使用している GPT-4 は、[当時] 使用していた GPT-4 の影のように感じます。 当時の GPT-4 は、dirbuster を名前だけで POSIX 準拠のマルチスレッド C に移植しました。 それには 3 つのプロンプトが必要でした。私が取り組んだほとんどのプログラミング タスクは、少しのガイダンスでうまくいくことができました。 …さて、些細な問題を超えて、プログラミング作業を手助けするのには基本的には価値がありません。

GPTが陰謀に負けているかどうかに関係なく、サイモン・ウィリソンはより大きな問題を指摘しています。

正直に言うと、リリースノートと透明性の欠如がここでの最大の話題かもしれません。 完全に文書化されていない謎の方法で数か月ごとに変更されるプラットフォーム上に、信頼できるソフトウェアを構築するにはどうすればよいでしょうか?

「自然言語処理」の誇大広告を信じないでください、とマシュー・スライマンは言います。

OpenAI/ChatGPT は、数多くある AI NLP システムの 1 つにすぎません。 彼らの製品は優れていますが、より優れたシステムが存在します。 あなたの視野を広げます！ これらのシステムは、(約 70 年間の事前研究から) 約 10 年間開発中です。 進歩はますます加速しています。テクノロジーの数世代ごとに、AI/ML システムに新しい機能が登場することになります。 それ以外の場合、進捗は段階的に増加します。 私たちは、NLP におけるこの種の段階的な変化を目の当たりにしたところです。 最後に大きな「段階的変化」があったのは10年前。 [しかし] 私たちが約束していた自動運転車はどこへ行ったのでしょうか?…いいえ、ChatGPT によって 90% の仕事が 6 ～ 12 か月以内に陳腐化することはありません。 … AI/ML の専門家や「思想的リーダー」としてソーシャル メディアでサービスを宣伝している人のほとんどはペテン師です。