どうも、もふもふです。
ここ最近ある結び目理論のシニア研究者の博士の方が運営する研究所に所属することになりました。研究論文はもちろん論文雑誌に送ってるのですがあまり最近の動きはなしです。
最近はAIが進化しすぎて数学研究が脅かされてるらしいです。でもプライドが許せないので数学研究は続けたい。
ただ、数学だけではもちろん社会に通用しないのと、前述通り人工知能の進化がバグりつつあるので淘汰されないために自分の研究成果をダイレクトにいかせる競プロコンペを色々調べてました。
それで今はNumeraiという、自分で好きなようにモデルを組めるKaggleに似てるやつをやっているのですが、初めて知ったこのNumeraiが過去データを参考にできない、つまりKaggleより難関なんです。
それでもやはりNumeraiは慣れてきてるのと純粋にドーパミンが出てしまうので依存してます。が、やはり社会にウケがいいのはKaggle、Atcoderです。
Atcoderにはすこし縁があります。去年くらいに、当時の彼氏がAtcoderに誘ってくれたのを覚えてて、それで一回No Ratingの過去問をやらされたのでアカウントはあり、図形系の難問が多く、例えばボーリングのピンを無理やり図形として捉える図形問題がすごく苦手で難しい。またそもそも自分はメインが数学研究であるからこそVibeCoding(AIのコード支援の元理論を実装するって事)勢なのでこれまたお恥ずかしい。それですぐやめたんを覚えてます。
ではKaggleはどうだろうか こちらも調べたところ良いところと悪いところがある。良いところはKaggleは就活にダイレクトに通じるところ。間違いなくKaggleGrandmasterは伝説級でしょうし畏れ多い存在。ただ悪いところはほぼ何も考えずにAIの作るそれっぽいコードで上位になれる人が社会問題になりつつあるともきく。
ではNumeraiはどうだろうか。Numeraiは過去のデータが参考にできないし全て暗号化されるので純粋に数理モデルの独自性が求められる。資金を入れたら失うが、ノーステーキングでも充分戦う権利はあるしできる。そしてさらにNumeraiの強いところはMMC(独自性)とCORR(正解率)という2つの基準があり、MMCは自分の予測値からメタモデル（全参加者のステーク加重平均）の成分を完全に削ぎ落とした後、残った独自成分がターゲットの正解ラベルとどれだけ相関しているか測るやつで、これがでかいとcorrを逆転できます。またmmcがでかいやつほど長期にロバストなモデルであることが多く、corrも改善しやすくなるそうです。
ただこの3大巨頭、どれが一番いいのかわからない。自分はもちろんNumeraiが大好きではありますが、日本では少数です。とはいえ今すぐそのKaggleも併用して始めるのはしんどいでしょう。
そこで今回の議論として、Numerai、Kaggle、Atcoderどれが良いか考えていきます。
Kaggleの最近の動向、および過学習
データサイエンスの世界において、Kaggleは間違いなく最高峰の聖地であり、王道にして極致です。
世界中の超一流の頭脳がリアルタイムでしのぎを削り、企業が抱えるガチのリアルデータ（画像、テキスト、テーブルデータなど）を泥臭く、かつ洗練された技術で解き明かしていく。その熱量とレベルの高さは、他の追随を許しません。
特にKaggle Grandmaster（KGM）の方々は、私にとって伝説級であり、畏れ多くも神のような存在です。
単に予測精度が優れているだけでなく、データの背景にあるビジネスのドメイン知識を深く理解し、汚い実データを美しく前処理し、最新の論文を瞬時にキャッチアップしてモデルに組み込む。その総合的な「課題解決力」と「圧倒的な実務力」は、エンジニアとして最も美しく、社会にダイレクトに価値を提供する姿そのものです。
私が将来「この企業で一緒に働きたい！」と強く惹かれる最先端企業には、必ずと言っていいほど素晴らしいKaggleコンペを主催していたり、社内に優秀なカグラーの方がゴロゴロいたりします。あの打てば響くような、圧倒的なデータ分析の戦場には、純粋な憧れしかありません。
現在のKaggleは、AI（LLM）の進化によって「テンプレート化されたコードを回すだけである程度のスコアが出てしまう」という、ある種のハックが横行しつつあります。
しかし、実務やハイレベルなコンペで本当に差がつくのはどこでしょうか？
それは、「過去のデータや公開コード（Notebook）に依存せず、いかに未知のデータ（Private Test）に対して牙を剥かない、頑健（ロバスト）なモデルを設計できるか」という一点です。
Public LBだけに最適化して、最後の最後で順位が大幅に落ちる「シェイクダウン」を経験したことのあるKaggleerの方も多いらしいです。これこそが過学習の恐怖です。
…と、未経験の自分がKaggleに口を出すのは自分のキャリアに影響出そうで怖いですけど、Kaggleerの友達がネットにいて彼女がまさにこう言ってたのでそうなんだなぁと思いました。(最初の褒めてるんはガチで自分の本心です)
Numeraiの投資対効果
NumeraiがKaggleよりも圧倒的に難関であり、かつ人間の投資対効果（ROI）が高い理由は、データが全て暗号化・抽象化されている点、そして過去の予測値を使わずリアルタイムに動いてる市場を予測する点にあります。ドメイン知識や、Web上の過去データに基づくAIのテンプレートコードは1ミリも通用しません。
ここで機能するのが、Numeraiの根幹をなす評価指標であるMMC（Meta-Model Contribution：独自性貢献度）です。
数学的に表現すると、Numeraiでは全参加者の予測値のステーク加重平均である「メタモデル（平均的なAIの予測成分）」が常に算出されています。人間の役割は、自分の予測モデルからこのメタモデルの成分を完全に削ぎ落とした直交補空間（独立した独自のシグナル）において、どれだけ正解ターゲットと相関（CORR）を持たせられるかを競います。
数式にすると
予測モデル=𝛼(メタモデル・AIの平均値)+𝛽(独自数理モデル)
この β （独自性）を追求するプロセスこそが、AI時代において最もROIが高い理由なんでしょう。
特に自分は数学研究で得た定理や定義そのものを中立からやアンサンブルはもちろんした上でモデルに応用しており、現在はまだ参加2ヶ月目でMMC60 Rankが1,215th of 2,812、MMC20 Rankが 1,096 th of 2,812
という感じでまだお雛です。ただ今後の計画としてmmc20を先に極限まで上げてそこから用意してるmmc20が弱くmmc60に強いモデルを段階的に入れるつもりです。
AtcoderのAIなし縛りの投資対効果
はじめに告白させてください。私は、Atcoder勢の皆さんを心から尊敬しています。
外部のAI（LLM）や支援ツールに頼ることなく、制限時間という極限のプレッシャーの中で、自らの脳内リソースだけをコンパイラにしてアルゴリズムの深淵に挑み続ける姿。あの圧倒的な思考のスピードと正確性は、エンジニアとして、そして一人の数理研究者として、純粋な憧れであり畏敬の対象です。
定型的なアルゴリズムの実装だけであればLLMが瞬時に最適解を出力できる現代において、あえて外部の支援を一切受けずに自らの脳内リソースのみで挑む「AIなし縛り」のAtcoderには、異次元のROIが存在します。
AIなしでアルゴリズムを極限までこねくり回してきたAtcoder勢は、AIの限界を超えてシステムを100万倍高速化するプログラムをつくることができます。このブレイクスルー力は、AIがどれだけ進化しようともコモディティ化しない、人間にしか到達できない領域です。
まとめ
やっぱり自分にはNumeraiがお似合いだとは再認識できました。やはりどのPFでも関係なく単に各々の数理設計能力が証明できるのがこの3つなんだと思います。
それではさよなら
もふもふ
