GPT-5 は AIME 2025 で 94.6% の精度を達成し、人間に近い数学的推論を示唆しています。 しかし、データベースにクエリを依頼すると、成功率は10代にまで急落します。 Spider 2.0 ベンチマークでは、AI 機能に大きなギャップがあることが明らかになりました。Spider 2.0 は、現実世界のデータベース全体の自然言語の質問から正確な SQL クエリを生成する AI モデルの能力をテストする包括的なテキストから SQL へのベンチマークです。 大規模言語モデルは数学、コーディング、推論の知識作業を征服しましたが、テキストからSQLへの変換は依然として頑固に困難です。 3 つの Spider 2.0 ベンチマークは、さまざまな環境にわたる実際のデータベース クエリをテストします。Spider 2.0-Snowは、547のテスト例を持つSnowflakeデータベースを使用し、ピーク時の精度は59.05%です。 Spider 2.0-Lite は、BigQuery、Snowflake、SQLite にまたがっており、さらに 547 の例があり、わずか 37.84% に達しています。Spider 2.0-DBT は、68 の例を使用して DuckDB に対するコード生成をテストし、最高値は 39.71% でした。 このパフォーマンスのギャップは、努力不足によるものではありません。2024年11月以降、12のモデルファミリーから56件の応募作品がこれらのベンチマークで競い合っています。 Claude、OpenAI、DeepSeek などはすべて、これらのテストに対して自社のモデルをプッシュしています。過去9か月間で、約2%から約60%まで着実に進歩しています。 SQLの制約を考慮すると、パズルはさらに深まります。SQL は、600,000 語の英語や、知っておくべき構文やライブラリがはるかに広いプログラミング言語に比べて語彙が限られています。さらに、トレーニングできるSQLはたくさんあります。 どちらかといえば、これは、モデルが現在優れている自由形式の推論タスクよりも簡単なはずです。 しかし、完璧なSQL生成でさえ、実際のビジネス上の課題を解決することはできません。「収益」の定義は企業ごとに異なります。 マーケティングはキャンペーン費用によって顧客獲得コストを測定し、営業はアカウントエグゼクティブコストを使用して計算し、財務にはフルロードされた従業員費用が含まれます。これらのセマンティックな違いは、技術的な正確さでは解決できない混乱を引き起こします。 Spider 2.0の結果は、データ作業に関する基本的な真実を示しています。SQL 構文の技術的習熟度は、単なる入り口です。 本当の課題はビジネスのコンテキストにあります。データの意味、チームごとに指標の定義方法、エッジケースが重要な場合を理解する。Semantic Cultivators で書いたように、生データとビジネスの意味の間の架け橋には、現在の AI では再現できない人間の判断が必要です。

GPT-5 は AIME 2025 で 94.6% の精度を達成し、人間に近い数学的推論を示唆しています。 しかし、データベースにクエリを依頼すると、成功率は10代にまで急落します。 Spider 2.0 ベンチマークでは、AI 機能に大きなギャップがあることが明らかになりました。Spider 2.0は、現実世界のデータベース全体の自然言語の質問から正確なSQLクエリを生成するAIモデルの能力をテストする包括的なテキストからSQLへのベンチマークです。 大規模言語モデルは数学、コーディング、推論の知識作業を征服しましたが、テキストからSQLへの変換は依然として頑固に困難です。 3 つの Spider 2.0 ベンチマークは、さまざまな環境にわたる実際のデータベース クエリをテストします。Spider 2.0-Snowは、547のテスト例を持つSnowflakeデータベースを使用し、ピーク時の精度は59.05%です。 Spider 2.0-Lite は、BigQuery、Snowflake、SQLite にまたがっており、さらに 547 の例があり、わずか 37.84% に達しています。Spider 2.0-DBT は、68 の例を使用して DuckDB に対するコード生成をテストし、最高値は 39.71% でした。 このパフォーマンスのギャップは、努力不足によるものではありません。2024年11月以降、12のモデルファミリーから56件の応募作品がこれらのベンチマークで競い合っています。 Claude、OpenAI、DeepSeek などはすべて、これらのテストに対して自社のモデルをプッシュしています。過去9か月間で、約2%から約60%まで着実に進歩しています。 SQLの制約を考慮すると、パズルはさらに深まります。SQL は、600,000 語の英語や、知っておくべき構文やライブラリがはるかに広いプログラミング言語に比べて語彙が限られています。さらに、トレーニングできるSQLはたくさんあります。 どちらかといえば、これは、モデルが現在優れている自由形式の推論タスクよりも簡単なはずです。 しかし、完璧なSQL生成でさえ、実際のビジネス上の課題を解決することはできません。「収益」の定義は企業ごとに異なります。 マーケティングはキャンペーン費用によって顧客獲得コストを測定し、営業はアカウントエグゼクティブコストを使用して計算し、財務にはフルロードされた従業員費用が含まれます。これらのセマンティックな違いは、技術的な正確さでは解決できない混乱を引き起こします。 Spider 2.0の結果は、データ作業に関する基本的な真実を示しています。SQL 構文の技術的習熟度は、単なる入り口です。 本当の課題はビジネスのコンテキストにあります。データの意味、チームごとに指標の定義方法、エッジケースが重要な場合を理解する。Semantic Cultivators で書いたように、生データとビジネスの意味の間の架け橋には、現在の AI では再現できない人間の判断が必要です。

Perplexity AI は、Google の Chrome ブラウザに対して $34.5b の一方的なオファーを行ったばかりで、Google がブラウザ事業の売却を余儀なくされる可能性のある係争中の独占禁止法判決を利用しようとしました。 Chromeの経済性をGoogleの既存のSafari契約と比較すると、$34.5bがブラウザを過小評価している理由が明らかになります。 Googleは、Safariのデフォルトの検索エンジン¹であり続けるために、年間18〜20bドルをAppleに支払い、約850mのユーザーにサービスを提供しています²。これは、ユーザーあたり年間 21 ドルに相当します。 Perplexity オファーでは、Chrome の価値を $32b と評価しており、これは 3.5b ユーザーの場合、ユーザーあたり年間 9 ドルです³。 ChromeユーザーがGoogle/Apple Safariの契約と同じ条件を命じた場合、ブラウザの年間収益の可能性は$73bを超えるでしょう。 このデータは公的な推定値に基づいていますが、概算です。 これは、Google が Chrome の新しい所有者に、デフォルトの検索プレースメントに対して同様のスケーリング料金を支払うことを前提としています。時価総額と収益の倍率が5倍から6倍であることを考えると、Chromeの価値は$172bから$630bの間であり、$34.5bのオファーとはかけ離れています。 Chrome は 65% のシェア⁴で市場を支配していますが、Safari は 18% です。売却は検索広告市場を激動に陥らせるだろう。広告主の予算を維持することの価値は、広告エコシステムにおけるGoogleの時価総額と地位にとって、どれだけ強調してもしすぎることはありません。 Chromeの売却を余儀なくされた場合、Googleは存続に関わる選択に直面することになる。デフォルトの検索エンジンであり続けるために必要なことは何でも支払うか、競合他社が最も価値のある流通チャネルをそれに対する棍棒に変えるのを見てください。 その価値はいくらですか?単純な収益倍数に対する大幅なプレミアム。 ¹ ブルームバーグ:GoogleのAppleへの支払いは2022年に200億ドルに達しました( ² ZipDo: 2024 年の重要な Apple Safari 統計 ( ³ Backlinko: 2025 年の Web ブラウザ市場シェア ( ⁴ Statcounter: ブラウザの世界市場シェア (

1999年、ドットコムはトラフィックで評価されました。IPOの指標は目玉を中心に展開しました。 その後、Googleはクリックを前提とした広告モデルであるAdWordsを立ち上げ、2024年に$273bのビジネスを構築しました。 しかし、それはすべて変わろうとしているかもしれません : ピュー・リサーチの2025年7月の調査によると、ユーザーが検索結果のクリック率は、AIサマリーがあるとわずか8%であるのに対し、クリック率は15%で、47%減少していることが明らかになりました。AI 要約内からクリックスルーしたのはわずか 1% です。 Cloudflareのデータによると、AIプラットフォームはトラフィックをリピートバックするよりもはるかに多くのコンテンツをクロールしています:Anthropicは1件の紹介ごとに32,400ページをクロールしますが、従来の検索エンジンは送信された訪問者ごとにコンテンツをスキャンするだけです。 AI クローラーにコンテンツを提供する費用は、ほとんどがテキストの場合、それほど大きくない可能性があります。 より大きなポイントは、AI システムがユーザーとパブリッシャーの関係を仲介解除することです。ユーザーは、Web サイトをクリックして回答を見つけるよりも、集約された AI の回答を好みます。 ほとんどの Web サイトがトラフィックが少ないことを期待するのは論理的です。あなたのウェブサイトとあなたのビジネスはそれをどのように処理しますか? ソース： - ピュー・リサーチ・センター - アテナ・チャペキス、2025年7月22日( - Cloudflare: 紹介が崩壊する前のクロール ( - Cloudflare Radar: AI Insights - クロールから参照までの比率 ( - ポッドキャスト: AI 時代におけるコンテンツの価値の変化 (

GPT-5 は昨日発売されました。AIME 2025 では 94.6%。SWEベンチで74.9%。 これらのベンチマークの上限に近づくと、ベンチマークは死んでしまいます。 GPT-5 と次世代モデルを革命的なものにしているのは、彼らの知識ではありません。それは行動する方法を知ることです。GPT-5 の場合、これは 2 つのレベルで発生します。まず、使用するモデルを決定します。しかし、第二に、そしてより重要なことは、ツール呼び出しです。 私たちは、LLM が知識の検索と再構成を習得した時代に生きてきました。最初のキラーアプリケーションである消費者検索とコーディングは、基本的に知識検索の課題です。どちらも既存の情報を新しい方法で整理します。 私たちはそれらの丘を登り、その結果、競争はこれまで以上に激化しています。Anthropic、OpenAI、Google のモデルも同様の機能に収束しています。中国のモデルとオープンソースの代替手段は、最先端に近づき続けています。誰もが情報を取得できます。誰でもテキストを生成できます。 競争の新たな軸?ツール呼び出し。 ツールコールは、LLM をアドバイザーからアクターに変えます。これは、純粋な言語モデルでは克服できない 2 つの重大なモデルの弱点を補います。 まず、ワークフローのオーケストレーションです。モデルはシングルショット応答に優れていますが、マルチステップのステートフルプロセスには苦労します。ツールを使用すると、長いワークフローの管理、進捗状況の追跡、エラーの処理、数十の操作にわたるコンテキストの維持が可能になります。 第二に、システム統合。LLM はテキストのみの世界に住んでいます。ツールを使用すると、データベース、API、エンタープライズ ソフトウェアなどの外部システムと予測どおりに連携し、自然言語を実行可能なアクションに変換できます。 先月、私は 58 種類の AI ツールを構築しました。 電子メールプロセッサ。CRMインテグレーター。Notion アップデーター。研究助手。各ツールは、モデルの機能を新しいドメインに拡張します。 AI にとって最も重要な機能は、適切なツールを迅速かつ正確に選択することです。ステップのルーティングを間違えるたびに、ワークフロー全体が停止します。 私が「Y Combinator からのこのメールを読んで、CRM にないすべてのスタートアップを見つけてください」と言うと、最新の LLM は複雑なシーケンスを実行します。 英語の 1 つのコマンドがワークフロー全体を置き換えます。そして、これは単なる単純なものです。 さらに良いことに、適切なツールを使用して適切にセットアップされたモデルは、タスクが時間通りに完了したことを独自の作業で検証できます。この自己検証ループにより、他の方法では達成が困難なワークフローの信頼性が生まれます。 これを何百人もの従業員に掛け合わせます。何千ものワークフロー。生産性の向上は指数関数的に複合的に増加します。 将来の AI の世界での勝者は、ツールのオーケストレーションと適切なクエリのルーティングに最も精通している人になるでしょう。いつも。これらのワークフローが予測可能になったら、そのとき私たちは皆、エージェントマネージャーになります。

2025 年はエージェントの年であり、エージェントの主な機能はツールの呼び出しです。 Claude Codeを使用すると、AIにニュースレターをふるいにかけ、スタートアップへのリンクをすべて見つけ、CRMに存在することを確認するように、1つのコマンドで指示できます。これには、2 つまたは 3 つの異なるツールが呼び出される場合があります。 しかし、ここに問題があります:これに大規模な基盤モデルを使用すると、コストがかかり、多くの場合、レートが制限され、選択タスクには圧倒されます。 ツール呼び出しでエージェントシステムを構築する最良の方法は何ですか? 答えは小さなアクションモデルにあります。NVIDIA は、「小言語モデル (SLM) は、エージェント システムでの多くの呼び出しに十分に強力で、本質的により適しており、必然的により経済的である」と主張する説得力のある論文を発表しました。 私は、コスト削減の演習を検証するために、さまざまなローカルモデルをテストしてきました。私はQwen3:30bパラメータモデルから始めましたが、これは機能しますが、その300億のパラメータのうち30億しか一度にアクティブではないにもかかわらず、非常に大きなモデルであるため、非常に遅くなる可能性があります。 NVIDIA の論文では、ツール選択用に特別に設計された大規模アクション モデルと呼ばれる別のアーキテクチャである Salesforce xLAM モデルを推奨しています。 そこで、各モデルがツールを呼び出して Asana のタスクを一覧表示する独自のテストを実行しました。 その結果は驚くべきもので、xLAMは2.61秒でタスクを完了し、100%の成功率を達成し、Qwenは9.82秒で92%の成功率を要し、ほぼ4倍の時間でした。 この実験では速度の向上が示されていますが、モデルとツール自体にどれだけのインテリジェンスが存在するかというトレードオフがあります。この限定 Qwen のような大規模なモデルでは、モデルのエラー許容度が高く、設計が不十分なインターフェイスを回避できるため、ツールをよりシンプルにすることができます。このモデルは、総当たり推論を通じてツールの制限を補います。 モデルが小さいほど、モデルは間違いから回復する能力が低くなるため、ツールはより堅牢で、選択ロジックはより正確である必要があります。これは制限のように思えるかもしれませんが、実際には機能です。 この制約により、LLM チェーン ツールの複合エラー率が排除されます。大規模なモデルが順次ツール呼び出しを行うと、エラーは指数関数的に蓄積されます。 小さなアクション モデルでは、LLM の長所を維持し、特殊なモデルと組み合わせて、より優れたシステム設計が強制されます。 このアーキテクチャは、より効率的で、より高速で、より予測可能です。

1/8 📊 ローンチされたばかり:Hyperliquidの取引量、ビルダーと紹介の指標、損益などを追跡するためのリアルタイムダッシュボード。 @AlliumLabsによって構築されました 飛び込んで🧵みましょう

500万ドル未満のシードラウンドが縮小しているのはなぜですか? 10年前、これらの小規模なラウンドはスタートアップ資金調達のバックボーンを形成し、すべてのシード取引の70%以上を占めていました。現在、PitchBookのデータによると、その数字は半分以下にまで激減しています。 数字は厳しい物語を物語っています。$5M未満の取引は、2015年の62.5%から2024年には37.5%に減少しました。この29.5%ポイントの低下は、スタートアップが最初の機関投資家の資金調達方法を根本的に再構築しました。 この変革を推進したのは3つの力でした。減少を分解して、何がスモールシードラウンドを減少させたのか、そしてなぜそれが今日の創業者にとって重要なのかを理解することができます。

マリオ、これはとても楽しかったです。市場で起こっているすべてのことについて話すために番組に出演してくれてありがとう!

OpenAIは、アメリカ人1人あたり1日平均1問合せを受け取ります。 Google は、アメリカ人 1 人あたり 1 日に約 4 件のクエリを受け取ります。 それ以来、Google検索クエリの50%にAIの概要が搭載されており、これは米国の検索の少なくとも60%がAIであることを意味します。 これが起こるまでには、予想よりも少し時間がかかりました。2024 年には、消費者検索の 50% が AI 対応になると予測しました。( しかし、AIが検索に登場しました。 Google の検索パターンが何らかの兆候であるとすれば、検索行動にはべき乗則があります。SparkToro による Google 検索行動の分析によると、検索を行うアメリカ人の上位 3 分の 1 は、すべての検索の 80% 以上を実行しており、これは AI の使用が将来と同様に均等に分布している可能性が高いことを意味します。 ウェブサイトや企業はこの影響を感じ始めています。エコノミスト誌の記事「AIはウェブを殺している。何かがそれを救うことができるでしょうか?」という見出しで時代精神を捉えています。( 現在、アメリカ人の大多数が AI で検索しています。検索パターンの変化による二次的な影響は今年の後半に現れ、さらに多くの人が「私のトラフィックはどうなったのか?」と尋ねるでしょう。( AIは新しい流通チャネルであり、それをつかむ者は市場シェアを獲得するでしょう。 - ウィリアム・ギブソンはもっと遠い未来を見据えていました。 - これはSparkToroチャートの中点分析に基づいており、非常に単純な分析であり、結果として多少の誤差があります。