cue とは？画面共有非表示のAIコパイロット — Cluelyのオープンソース無料代替

GitHubで急上昇中のcue（868スター）は、画面の上に透明なパネルとして浮かんでいつでもAIの助けを受けられる、オープンソースのAIコパイロットです。Zoom会議中に「次に何を言えばいいか」を教えてくれたり、コーディング問題をスクリーンショットで送って解法を即返してくれたりする機能が話題を集めています。Cluelyの無料・セルフホスト版として位置づけられており、自分のOpenAI・Anthropic・Google GeminiのAPIキーを持ち込んで使えるのが最大の特徴です。

cue とは？3つのAI入力で「見える・聞こえる」コパイロット

cueはElectronアプリとして動作し、次の3つの入力を同時に処理してリアルタイムAIサポートを提供します。

• スクリーンショット — desktopCapturerでフル解像度の画面キャプチャを取得し、コーディング問題や資料の内容をAIに送信
• マイク（自分の声） — getUserMediaで取得後、16kHzにダウンサンプリングしてWhisperまたはGeminiで文字起こし
• 会議音声（相手の声） — getDisplayMediaでシステム出力音声をループバックキャプチャし「相手が何を言ったか」を別チャンネルで解析

この3入力が分離されているため、AIは「今の会話の流れ」と「画面の内容」を組み合わせて、状況に合った回答を生成できます。サーバーへのデータ送信はなく、すべての処理はローカルで完結し、選択したAIプロバイダへのAPI呼び出しのみが外部通信となります。

cue AI コパイロット — 主要機能一覧

機能	呼び出し方	使用入力
Assist（なんでもやって）	Cmd+Enter（変更可）	画面 + 会話履歴
何を言えばよいか	ボタン	会議音声 + マイク
フォローアップ質問	ボタン	会話全体
リキャップ	ボタン	会話全体
なんでも質問	テキスト入力 + Enter	画面 + 会話
コーディング問題を解く	Cmd+H	画面のみ

モデル切り替えとカスタマイズ

Smartトグルをオンにすると、高精度だが低速なモデル（例: Claude Opus、GPT-4o）に切り替わります。オフにすると高速・低コストモデルが使われるため、会議のリアルタイム用途はオフ、深いコーディング分析はオンと使い分けが可能です。ショートカットキーはSettings → Keyboard shortcutsで自由にカスタマイズできます。

プロバイダ別の特性と使い分け

3つのAIプロバイダにはそれぞれ特性があります。OpenAIはWhisperによる音声文字起こしが最も安定しており、会議中の「相手の発言→テキスト化→AIアドバイス」の流れにベストマッチします。AnthropicのClaudeは画面解析・コーディング支援に強く、音声認識はできないためOpenAIかGeminiとの併用が必要です。Google GeminiはAPIキー1つでチャットとSTTの両方に対応しており、1キーで完結したい場合の最有力候補です。

インストールと初期設定 — 非エンジニアでも2分で完了

Option A: ダウンロードインストール（推奨）

1. GitHubのReleasesページからcue-...-arm64-mac.zipをダウンロード
2. ダブルクリックで解凍し、cue.appをApplicationsフォルダにドラッグ
3. ダブルクリックで起動（Apple Developer IDで署名・公証済みのため警告なし）

プログラミング知識は不要です。macOS 13以降であれば初回起動時のチュートリアルに従うだけで設定が完了します。

Option B: ソースから実行（開発者向け）

git clone https://github.com/Blueturboguy07/cue.git
cd cue
npm install
npm start

Node.js 18以上が必要ですが、Xcodeは不要です。ビルドする場合はnpm run packでdist/mac-arm64/cue.appが生成されます。ただしアドホック署名となるため、再ビルドのたびにmacOSのマイク・画面録画権限の付与が必要になります。

Zoom設定（Zoom利用時のみ）

Zoomで画面共有中にcueを非表示にするには、Zoom → Settings → Share Screen → Advanced → Screen capture mode → 「Advanced capture with window filtering」 を選択する必要があります。Google Meet・Microsoft Teams・QuickTimeは追加設定なしで非表示になります。

cue Cluely オープンソース 代替ツールとの違い・なぜ今このツールか

cueはREADMEで「Cluelyのオープンソース版」と明言されています。Cluelyは同様の画面非表示AIアシスタント機能を有料SaaSとして提供していますが、cueの最大の差別化点は次の3つです。

1. 完全無料・セルフホスト — cueにはサブスクリプション料金が存在しません。かかるコストはAIプロバイダのAPI利用料のみで、GPT-4o miniであれば会議1時間あたり数円〜数十円程度です。
2. プロバイダ自由選択（BYOK） — OpenAI・Anthropic・Geminiを状況に応じて切り替え可能。Cluelyは特定モデルに固定される場合がありますが、cueは新しいモデルが登場次第すぐに利用できます。
3. GPL-3.0ライセンスでコード完全公開 — セキュリティ・プライバシーに懸念があるユーザーがソースコードを自分で検証できます。Cluelyはクローズドソースであるため、データの扱いをユーザー側で確認できません。

また、Interview Codeやpickle-com/glass、sohzm/cheating-daddyなどの類似ツールと比較すると、cueは会議支援とコーディング支援の両方を1ツールに統合しており、コントリビューター6名・スター数868という急成長の勢いもあります。Cluely論争（採用面接中のAI使用を巡る倫理議論）が注目される中で「自前でコントロールできる代替ツール」への需要が高まり、2026年7月のリリース直後からトレンド入りしました。

こんな人に向いている — 職種別活用シナリオ

ソフトウェアエンジニア・コーディング面接準備者

LeetCode問題や技術面接のコーディング課題に取り組む際、Cmd+Hで画面をキャプチャするだけでアルゴリズム解法・時間計算量・サンプルコードを即取得できます。「自分で解こうとしたが詰まった箇所だけヒントをもらう」という練習スタイルに最適です。

営業マネージャー・カスタマーサクセス担当

商談や顧客オンボーディング中に相手の発言をリアルタイム文字起こしし、「次の切り返し」や「提案すべき追加サービス」をAIがサジェストします。会議後のリキャップ機能で議事録作成コストも削減できます。

英語会議に参加する非ネイティブ担当者

相手の英語音声を自動文字起こしして日本語でアドバイスを受け取る使い方も可能です（出力言語はプロンプトで指定）。ZoomのScreen capture modeを正しく設定すれば相手には一切見えません。

画面共有 非表示 AIアシスタント 無料 — 使う前に知っておきたいこと

プラットフォーム制限

• macOS 13以上（Apple Silicon / arm64） がフル対応。Intel Macはコミュニティ対応中で公式は未対応
• Windows はv0.2.0以降で正式サポート
• Linux は「未テスト」のステータスで公式サポート外。コントリビューションは歓迎されています

画面非表示の信頼性に注意

setContentProtection(true)によりウィンドウサーバーへの「キャプチャ対象外」フラグを立てる仕組みですが、macOS 15.4以降では一部のキャプチャツールがこのフラグを無視できるとREADMEに明記されています。スマートフォンのカメラには当然映ります。これは技術的な制限であり、cueのバグではありません。

ライセンスと倫理的利用

GPL-3.0ライセンスで商用利用・改変・再配布に一定の制限があります。また、プロクター付き試験・採用面接・録画会議での使用は規約違反または一部の国で法律違反となる可能性があるとREADMEが警告しています。個人学習・メモ取り・アクセシビリティ目的での利用を強く推奨します。

APIキーのコスト管理

APIキーを使い放題にすると予期せぬコストが発生する可能性があります。各プロバイダのダッシュボードで月次利用上限を設定することをお勧めします。音声文字起こし（Whisper）はチャットAPIより高コストになりやすいため、長時間の会議には注意が必要です。

まとめ — Cluelyの無料代替として注目のAIコパイロット

cueは「画面共有に映らないAIコパイロット」という独自のポジションを持つ、急成長中のオープンソースプロジェクトです。BYOK設計でランニングコストをコントロールしながら、会議支援からコーディング問題解決まで幅広く対応します。GPL-3.0でコードが完全公開されているため、プライバシーを重視する方やCluely/Interview Coderの代替を探している方に特に向いています。macOS 15.4以降の制限や倫理的利用方針を理解した上で、日常のエンジニアリング作業や英語会議の生産性向上ツールとして活用してみてください。

---

関連ツール・おすすめサービス

• Perplexity AI — cueと組み合わせて使えるAI検索エンジン。会議中にリアルタイムで情報確認が可能

---

この技術を学ぶ

AIコパイロット・LLMエンジニアリングに興味を持った方には、UdemyのAIコース（セール時最大90%OFF）もおすすめです。

• 🎓 AI・LLM関連コース一覧 — 実務で使えるプロンプトエンジニアリングから始めよう