わずか5MBのAIモデルをウェブサイトに組み込んでユーザーにローカル操作させられる「ternlight」が登場、ウェブサイトにAIを活用した検索機能などを追加可能

「ternlight」はウェブサイトに軽量な埋め込みモデルを組み込めるパッケージです。埋め込みモデルのサイズは5～7MBで、ウェブサイト訪問者は自分のCPUで埋め込みモデルを実行することができます。

GitHub - soycaporal/ternlight · GitHub
https://github.com/soycaporal/ternlight

ternlightは小型の埋め込みモデル「all-MiniLM-L6-v2 」を蒸留した超小型モデルをウェブサイトに含めることができるパッケージです。「@ternlight/base」と「@ternlight/mini」の2種類に分かれており、baseは7MB、miniは5.5MBのメモリを使用します。ウェブ開発者はternlightを用いてウェブサイトに「埋め込みモデルを活用したセマンティック検索機能」などを追加することができます。

@ternlight/base - npm
https://www.npmjs.com/package/@ternlight/base

@ternlight/mini - npm
https://www.npmjs.com/package/@ternlight/mini

ternlightのデモサイトは以下のリンク先で公開されています。

ternlight · semantic search · React docs
https://ternlight-demo.vercel.app/

デモサイトにアクセスしたら下方向にスクロール。

ページの下部に「Reactのドキュメント内を埋め込みモデルで検索する」というデモが配置されています。アクセスと同時に埋め込みモデルの読み込みが始まっているのでしばらく待ちます。

読み込み完了。検索バーが表示されました。

検索バーに語句を入力すると関連するページを検索できます。埋め込みモデルの計算処理は訪問者のCPUで実行される仕組み。ノートPCで実行しても数ミリ秒の遅延で処理できました。

ternlightの開発者であるWen Shu Tang氏はパフォーマンスと品質の向上を目指しており、貢献者を募集しています。