Llama 3 & Oobaboogaで作るローカルLLM - AI入門者向けガイド
ポスト30秒まとめ
最近Meta(旧Facebook)の ラマ 3MS(マイクロソフト)のPhi-3等 オープンソース生成型AIモデルが注目受け取っています。しかし、このようなモデルを使用するには、インターネットに接続された状態で使用することができます。 しかし、もしインターネット接続に問題が発生した場合、このようなサービスを使用することができますか？
もちろんできません。しかし、今回の記事で可能な方法をご紹介します。 ウバブガ(Oobabooga)というオープンソースプログラムと最新のAIモデルであるラマ3(Llama 3)の韓国語対応モデルを利用して、ローカル環境で人工知能システムを利用できるソリューション。をご紹介します。
ウバブーガの概要と設置
概要
Oobagoogaは、AIモデルをローカルコンピュータに構築した後、インターネットがなくても人工知能システムを利用できるように支援するオープンソースプログラムです。 シンプルなユーザーインターフェースで インタラクティブなAIモデルをロードして実行することができます。 必要な使用オプションさえ知っていれば 初心者でもそれなりに簡単にアクセスできます。
Oobagoogaは様々な設定オプションを提供し、モデルの性能と出力をカスタマイズすることができます(この部分は少し難しい部分があるので、別のポストで説明します)。
インストール(macOSをメインに)
それではまず、以下の手順でウバブーガをパソコンにインストールします。
1. インストールファイル ダウンロード
上記のタイトルの'ダウンロード'をクリックしてDownloadsフォルダに'text-generation-webui-snapshot-2024-04-28.zip'ファイルをダウンロードします。 そのファイルを右クリック後'Open'して解凍します。
* Windows OSの場合、解凍したフォルダ内の 'start_windows.bat'ファイルをダブルクリックすると、一気にウバブーガがインストールされます。インストール画面の最後に 下記の「5.Oobaboogaスレッド行'段階でのlocal urlを確認することができます。
2. インストールファイルの実行
command(⌘) + spacebarを押して'terminal'を検索し、ターミナルウィンドウを実行します。し、下記のように該当フォルダへ移動してインストールコマンドを実行します(各種パッケージと環境設定を自動で実行します)。
#ターミナルでcdコマンドでフォルダを移動した後、フォルダを移動します。
cd downloads/text-generation-webui-snapshot-2024-04-28
#のインストールコマンドを実行。
sh start_macos.sh</kbd3. 仮想環境接続
下の画面が2回目の実行結果として表示されますが、'conda activate ~中略~/env'をターミナルで実行して仮想環境に入ります。
# この環境を有効化するには
# $ conda activate /Users/*******/downloads/text-generation-webui-snapshot-2024-04-28/installer_files/env
# アクティブな環境を非アクティブ化するには、次のようにします。
# $ コンダを非アクティブ化します。 もし、No module named 'yaml'などのメッセージが出たら、pip install PyYAMLコマンドを実行してパッケージをインストールします。初めて実行した結果、rich、accelerate、gradio、markdown、transformers、numbaなどをpip installコマンドで追加でインストールする必要があります。ワンクリックでインストールされると書いてありますが、(この部分は他の方法があると思います。今後、追加でアップデートします。)
4.requirementsインストール
下記のコマンドを実行してmacOSに必要な各種パッケージをインストールします。コンピュータの仕様によって時間が少し違いますが、5分以内でインストールされます。
pip install -r "requirements_apple_silicon.txt"5.Oobaboogaの実行
次のコマンドを実行してOobaboogaを起動します。正確には'text generation web UI'です。すると、下の図のようにターミナルウィンドウにlocal URLが表示されますが、URLをコピーしてウェブブラウザのアドレスバーに入力して接続します。 そうすると、下の2番目の図のようにウェブブラウザを通してOobaboogaが実行されます(私のコンピュータの中で独自にサーバーを動かすことになります)。
./start_macos.sh
Llama 3モデルのダウンロード
UbabuのWebUIの上部のModelタブをクリックした後、Downloadボタンの上の2つの入力欄にそれぞれ以下のテキストを貼り付けます。 そしてDownloadボタンを押してLlama3韓国語対応モデルをダウンロードします。
teddylee777/Llama-3-Open-Ko-8B-Instruct-preview-gguf
Llama-3-Open-Ko-8B-Instruct-preview-Q8_0.gguf.
このモデルは イ・ジュンボム(beomi)さんがMeta-Llama-3-8Bをベースに事前学習したモデルであるLlama-3-Open-Open-Ko-8Bを 이경록(teddylee777)さんが低スペックコンピュータで実行できるように作ったGGUF形式のモデルです。
下の図のように該当モデルのダウンロードを開始します。なんと8GBを超えるモデルなので、インターネット環境によって時間が多少かかります。構築アパートの悲哀(?)のために10分以上の時間がかかってラマ3モデルファイルがダウンロードされました。
ラマ3 オオバブーガ ロード＆チャット
モデルをダウンロードしたので、今度はOobaboogaがこの状況を認識させる必要があります。1️⃣ リフレッシュ(?)ボタンを押すと、ダウンロードしたラマ3モデルを認識します。2️⃣ ドロップダウンボタンを押してラマ3モデルを選択します。3️⃣ LoadボタンをクリックしてOoobaboogaにラマ3を装着します。
上部の'Chat'メニューをクリックして下の図のようにラマ3と会話が可能です。 '世宗大王のMacBookを投げた事件'について聞いてみます。 何を答えるか気になりますね。
これは何ですか。 ハングルでもなく、英語で無言の大宴会が繰り広げられていますね。 何かちゃんとしたものをお見せしなければならないのに。私の古いiMacの性能のせいで、少しもたつくのも影響があるようです。
以下の諸元を持つWindowsOSベースのゲーミングノートパソコンで回してみた結果を見てみましょう。 それでも、一度ハングルで応答が来ました。 しかし、無言大宴会をしています。 とりあえず今回はローカルLLMの構築に意味を置くことにした方が良さそうです。
# Windows OSを搭載したゲーミングノートパソコンの仕様
CPU: AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
グラフィックス: AMD Radeon RX 6600M
Memory: 16.0 GB
OS: Windows 11 Home
整理する
以上、ローカルLLMの構築方法をお伝えしました。 これで、皆さんは少なくとも上位1%生成型AI活用能力保有者になりました。 おめでとうございます。
Oobaboogaのインストールで少し集中力が必要でしたが、それ以外の部分では難しい部分はあまりないかと思います。 今、インターネットがない環境でもラマ3を起動して 人工知能の遊びが可能になりました。
もちろん、AIモデルのパラメータが8Bなので、性能がそれほど優れているわけではありません。 サーバー級のコンピュータを保有している方であれば、70Bを利用すれば、ある程度満足できると思います。
今後は、各分野別に細分化された専門AIがインストールされたローカルLLMコンピュータが販売され、外部インターネット網と分離され、セキュリティが確保された状態で自由にAIサービスを利用する日も近いです。 一つの大きなビジネス、いや、ニッチ市場になるのではないでしょうか？
'secondlife.lol'のすべてのコンテンツは著作権法の保護を受けています。無断転載やコピー、配布などを禁じます。
