ポケットに収まるAIスーパーコンピューター「Tiiny AI Pocket Lab」のご紹介です。
AIはここ数年で大きく進化しました。しかしその多くはクラウドに依存しています。クラウドAIは便利ですが、同時に新しい問題も生みました！
- データを外部サーバーへ送る必要があること。
- トークン料金やサブスクリプションが増え続けること。
- そしてインターネット接続がなければ使えないこと。
Tiiny AI Pocket Lab は、この前提そのものを変えるために生まれました。
これはポケットサイズのAIコンピューターです。PCやノートPCに接続するだけで、あなたのデバイスを「ローカルAIターミナル」に変えます。
クラウドも、高価なGPUも必要ありません。すべてのAI処理をローカルで実行します。
ポケットサイズのAIスーパーコンピューター
Tiiny AI Pocket Lab は、手のひらサイズのハードウェアに大規模AIの処理能力を凝縮したデバイスです。
サイズは約142 × 80 × 22 mm、重量は約300g。それでも内部にはAI推論専用のハードウェアスタックが搭載されています。
- 80GB LPDDR5Xメモリ
- 1TB PCIe 4.0 SSD
- Arm v9.2 CPU
- 160 TOPSのdNPU
この構成により、通常はデータセンター級の環境で動作する大規模モデルをローカルで実行できます。
最大120BパラメータのLLMをローカルで実行
Tiiny AI Pocket Lab の最大の特徴は、大規模言語モデルをローカルで実行できることです。
最大で約120B（1200億）パラメータのLLMに対応しており、これは通常クラウドGPU環境が必要になるクラスのモデルです。
AIは常に手元のデバイス上で動作し、あなたのデータは外部サーバーへ送信されません。 ([PR Newswire][1])
TurboSparse と PowerInfer
この小さなデバイスが巨大なモデルを動かせる理由は、独自の推論最適化技術にあります。Tiiny AI は、TurboSparse と PowerInfer という独自技術を開発しました。
TurboSparse はスパース計算を利用して不要な計算を削減し、PowerInfer はCPUとNPUの処理を動的に分散することで推論処理を高速化します。
これにより、巨大モデルを効率よく処理できるローカルAI環境を実現しています。
サーバー級のAI体験
Tiiny AI Pocket Lab は、単なるローカルチャットボットではありません。
- テキスト生成
- コード生成
- 画像解析
- 音声処理
- データ分析
など、さまざまなAIワークロードをローカルで処理できる設計になっています。
推論速度はおよそ18〜40 tokens/second。最初のトークン生成までの時間は約0.5秒とされています。これはポータブルデバイスとしては非常に高速な応答性能です。
オープンAIエコシステム
Tiiny AI Pocket Lab は、オープンソースAIエコシステムと連携するよう設計されています。50以上の主要オープンソースモデルに対応し、100以上のAIエージェントをワンクリックで導入できます。などのモデルが利用可能で、Hugging Faceの .gguf モデルもインポートできます。
世界最小のAIスーパーコンピューター
Tiiny AI Pocket Lab は、2025年にギネス世界記録で「100BクラスLLMをローカルで実行できる最小のMini PC」として認定されています。
データセンターのAIを、ポケットへ。
詳しくはこちら
※外部サイトへ移動します。
