計算より、運ぶほうが高かった。光をそのまま AI のトークンに変える1,024画素のセンサーが、画像データの転送ごと省いた電力

この記事には広告（Amazon アソシエイトのリンク）を含みます。

いまの画像認識 AI には、写真を一枚の絵としてではなく、小さなタイルの並びとして読むものがあります。たとえば縦横224画素の画像なら、16×16画素のタイルに切り分けて196枚にし、1枚ずつ数値の並び（トークン）に変換してから、言葉を読むのと同じ仕組み（Transformer）に流し込みます。このタイル化と数値化を「トークン化」と呼びます。カメラのセンサーが光を受けてから AI がトークンを受け取るまでには、デジタル化、一時保存、別のチップへの転送、タイルへの分割、数値への変換と、いくつもの段階があります。

中国の南京大学を中心とするチームは、このトークン化をセンサーの画素の中で、光を電気に変えたそのままの状態（アナログ）でやってしまう試作チップを作り、2026年8月19日に学術誌 Nature Sensors に発表しました。チップの通称は LightTok。「光が入って、トークンが出る」からです。画素は縦横32個ずつの1,024個しかありませんが、論文が付けた見積もりは、トークン化に使う電力が従来の14.3分の1というものでした。

なお、この記事は AI の Claude を使って書いています。今回の研究は AI が画像を読む仕組みそのものを扱う内容ですので、その点はお含みおきください。

光を覚えて、掛け算と足し算までする画素

チップの中身は、二硫化モリブデンという材料を1層だけ敷いた光トランジスタの並びです。二硫化モリブデンは原子1個ぶんの厚さの膜として作れる材料で、光によく反応します。それぞれの光トランジスタには「浮遊ゲート」と呼ばれる、電気的に孤立した小さな部屋が組み込まれていて、光が当たると電荷がその部屋に閉じ込められます。光を消しても電荷は残るので、画素は受けた光の強さを覚えたままになります。試作機では、明るさを41段階に分けて覚えられることを確かめています。

ここからがトークン化です。画素の外側に置いた制御回路が、覚えさせた画像から1枚ぶんのタイルにあたる画素のまとまりを選びます。そして、あらかじめ学習しておいた「重み」の値に合わせた電圧を、画素ごとに掛けます。各画素を流れる電流は、覚えている明るさと掛けた電圧の積になり、タイルの画素ぶんの電流を1本の線に集めると、足し合わされた電流が出てきます。この電流の値が、トークンを作る数値の1つです。AI がデジタルで行っている掛け算と足し算を、電流の性質に肩代わりさせたわけです。デジタルの数値に変換するのは、足し算が終わったあとの1回だけで済みます。

実験では、画像認識の定番の練習問題集 CIFAR-10 に入っている飛行機の画像を白黒2値にしてチップに覚えさせ、3×3画素のタイルで数値化してみせました。パソコンで同じ計算をした結果と同じ傾向の値が出て、電流が落ち着くまでの時間は4マイクロ秒でした。そのうえで、実際に測った素子の性質を組み込んだ画像認識モデル（Vision Transformer）を動かすと、CIFAR-10 の分類の正答率は87.3%で、ソフトウェアだけで処理した場合と同程度だったと論文は述べています。

電力の4分の3は、計算ではなく「運ぶ」ことに消えていた

この研究でいちばん目を引くのは、14.3分の1という数字の中身です。論文の補足資料には、16×16画素のタイル1枚からトークンの数値を1つ作るのに要る電力の見積もりが、従来方式とチップ方式の両方について載っています。

従来方式の合計は24,918ピコジュールでした（ピコジュールは1兆分の1ジュール）。その内訳を見ると、センサーのチップから計算用のチップへ画素のデータを送る転送だけで19,225ピコジュール、全体の77%を占めています。一方で、計算用のチップが行う掛け算と足し算そのものは、高性能な GPU の性能から見積もると26.8ピコジュールほどで、小さすぎるとして合計からは省かれています。デジタル変換も256回ぶんで256ピコジュールです。つまり、AI が画像を読む「下ごしらえ」で電気を食っているのは計算ではなく、データを別のチップへ運ぶ工程でした。

LightTok 方式の合計は1,743.9ピコジュールで、転送の項目はそもそもありません。光を受けた場所でトークンまで作ってしまうので、画素の生データを外へ出す必要がないからです。残っているのは、画素に電圧を掛ける回路や、出てきた電流を1回だけデジタルに変える回路の電力です。この2つの合計の比が14.3倍で、従来方式のデジタル変換を一般的な8ビットに置くと差は20.5倍に広がります。

ただし、この比較は設計段階の見積もりで、完成した2つの装置を並べて測ったものではありません。周辺回路の電力は、部品の仕様や回路シミュレーションから出しています。著者らは従来方式に有利になるよう、転送時にビットが切り替わる割合を5割に抑え、GPU の計算を合計から外すといった前提を置いています。その前提の上で、転送がいかに重いかを示した数字です。

1,024画素から、どこまで大きくできるか

試作チップは縦横32画素ずつで、スマートフォンのカメラが数百万から数千万の画素を持つのとは桁が違います。覚えられる明るさも41段階で、一般的なカメラの256段階には届きません。動いている物や、明るさが変わる屋外での撮影も、まだ試されていません。論文の補足資料では、画素ごとのばらつきや配線による電圧の低下が、配列を大きくするほど効いてくることを課題として挙げています。

それでも研究チームは、広げられる見込みがあると考えています。論文を率いた南京大学の繆峰（ミャオ・フォン）教授は、この方式が一般的な半導体の製造工程（CMOS）と相性がよく、二硫化モリブデンをウエハー全面に成長させる技術が進めば、既存のカメラに近い画素数まで持っていけると話しています。設計の着想は人間の網膜で、網膜は光を受けた段階で情報の下処理を済ませてから脳へ送っています。

用途として挙がっているのは、ドローン、小型の人工衛星、電池で動く小さなロボットのように、電力に余裕がないのに画像を見続けなければならない機械です。画像の下ごしらえに使う電力が減れば、そのぶん長く飛べる、長く動けるという考え方です。Live Science の取材に応じた、インフラ向けのセンサーを手がける企業の経営者は、今回の成果を「小規模な実証」と呼びつつ、センサーが見たものを AI が使える形に変える工程の電力こそが、現場で動く AI の本当の課題だと述べています。あわせて、問題の全部を解決するものではない、とも付け加えています。

画像認識の電力を減らす話は、多くは計算用のチップの側の話でした。今回の論文は、光が電気に変わる場所にトークン化を引き寄せることで、計算ではなく転送を削るという別の入り口を示しました。1,024画素の試作機がどこまで大きくなるかは、二硫化モリブデンの製造技術しだいです。

このブログを検索

メモ帳