用 Llama 3 和 Oobabooga 创建本地 LLM - 人工智能入门指南
员额 30 秒摘要
最近，Meta（前身为 Facebook）宣布 拉马 3微软 (MS) 的 Phi-3 等。 开源生成式人工智能模型占据中心位置从互联网上下载。但是，这些模式都要依靠互联网连接才能工作，如果您没有互联网连接怎么办？
显然，您不能这样做。不过，在本篇文章中，我们将向您展示如何做到这一点。 利用名为 Oobabooga 的开源程序和支持韩语的最新人工智能模型 Llama 3，在本地环境中使用人工智能系统的解决方案。在本文中。
Ubabuga 概述和安装
概述
Oobagooga 是一个开源程序，可以让你在本地计算机上建立人工智能模型，并在没有互联网的情况下使用人工智能系统。 通过简单的用户界面 您可以加载和运行交互式人工智能模型，使您能够 您只需知道使用哪些选项即可 它对初学者来说相当容易上手。
Oobagooga 提供多种设置选项，可自定义模型的性能和输出（这有点棘手，将在另一篇文章中介绍）。
安装（以 macOS 为主）
首先，我将按照以下步骤在电脑上安装 Ubabuga。
1. 安装文件 下载
单击上方标题中的 "下载"，将文件 "text-generation-webui-snapshot-2024-04-28.zip "下载到下载文件夹。 右键单击文件并单击 "打开 "进行解压缩。
* 在 Windows 操作系统中，在解压缩的文件夹中选择"......"。start_windows.bat'文件，Ubabuga 将一步安装完成。在安装界面的最后 请参阅下面的 "5.Oobabooga "主题。检查 "行 "步骤中的本地 URL你可以
2. 运行安装文件
按命令 (⌘) + 空格键搜索 "终端"，启动终端窗口并在文件夹中运行安装命令，如下图所示（它会自动安装各种软件包和配置）。
1 在 TP5T 终端中输入 cd 命令移动文件夹
cd downloads/text-generation-webui-snapshot-2024-04-28
执行 # 安装命令<kbd
sh start_macos.sh3. 访问虚拟环境
下图显示的是第二次执行的结果，在终端执行 "conda activate ~else~/env "即可进入虚拟环境。
# 要激活此环境，请使用
# $ conda activate /Users/*******/downloads/text-generation-webui-snapshot-2024-04-28/installer_files/env
# 要停用活动环境，请使用
# $ conda deactivate 如果收到类似 No module named 'yaml' 的信息，请运行 pip install PyYAML 命令来安装软件包。第一次运行时，我不得不用 pip install 命令安装 rich、accelerate、gradio、markdown、transformers、numpa 等。尽管它应该是一键安装，但我还是这样做了（我相信还有其他方法，我会在以后更新）。
4. 安装要求
运行以下命令安装 macOS 所需的各种软件包。根据你的电脑规格，安装时间应该不超过五分钟。
pip install -r "requirements_apple_silicon.txt"5. 启动 Oobabooga
运行以下命令启动 Oobabooga。准确地说，是 "文本生成网络用户界面"。这将在终端窗口中显示本地 URL（如下图所示），复制 URL 并将其输入网络浏览器的地址栏即可访问。 然后，Oobabooga 将通过网络浏览器运行，如下图所示（它将在计算机内运行自己的服务器）。
./start_macos.sh
下载 Llama 3 模型
单击 Ubabuga WebUI 顶部的 "型号 "选项卡，将以下文本粘贴到 "下载 "按钮上方的两个字段中，然后单击 "下载 "按钮下载 Llama3 韩国支持型号。
teddylee777/Llama-3-Open-Ko-8B-Instruct-preview-gguf
Llama-3-Open-Ko-8B-Instruct-preview-Q8_0.gguf
该模型使用 Junbeom Lee (beomi)您已经在 Meta-Llama-3-8B、Llama-3-Open-Ko-8B 上预先训练了一个模型。 Kyungrok Lee (teddylee777)创建了一个 GGUF 格式的模型，可在低端计算机上运行。
它将开始下载模型，如下图所示。模型超过 8GB，因此可能需要一些时间，具体取决于您的网络连接。由于我的建筑公寓的原因，喇嘛 3 模型文件的下载时间超过了 10 分钟。
Llama 3 Oobabooga 装载和聊天
现在您已经下载了模型，需要确保 Oobabooga 意识到这一情况。转到 1️⃣，按刷新（？）按钮来识别下载的 Llama 3 模型。2️⃣按下拉按钮选择 Llama 3 型号。3️⃣点击 "加载 "按钮，将 Lama 3 加载到 Ooobabooga 上。
点击顶部的 "聊天 "菜单，与 3 号喇嘛聊天，如下图所示。 我要问他关于 "世宗大王扔 Macbook 事件 "的问题，他会怎么说？
这是一场用英语而不是韩语进行的语言盛宴，我应该能给你展示一些有用的东西。我觉得是我那台老 iMac 的性能有点问题，导致它有点卡顿。
让我们来看看在一台基于 Windows 操作系统的游戏笔记本电脑上运行它的结果，它的规格如下，但首先，我得到了一个韩文回复，不过这有点开玩笑。 现在，我们将重点讨论如何建立本地 LLM。
# 配备 Windows 操作系统的游戏笔记本电脑规格
中央处理器：AMD Ryzen 7 5800H，带 Radeon 图形处理器 3.20 GHz
显卡： AMD Radeon RX 6600M
内存：16.0 GB
操作系统：Windows 11 家庭版
组织起来
这就是如何建立本地法学硕士的方法，现在你至少已经是前 11 名 TP3T 生成式人工智能的通晓者了。 恭喜你！
安装 Oobabooga 需要集中精力，但除此之外，我不觉得有什么特别之处。 我现在可以在没有互联网的环境中运行 Lama 3，并使用 玩转人工智能现在可以实现了。
当然，人工智能模型的参数是 8B，所以性能不是那么好。 如果你有一台服务器级计算机，我想你会对 70B 感到满意。
今后，将出售配有各领域专用人工智能的本地 LLM 计算机，您将可以自由、安全地使用人工智能服务，并与外部互联网络隔离。 那岂不是一个大企业，或者说是一个利基市场？
'secondlife.lol'上的所有内容均受版权法保护。未经授权，禁止复制、拷贝、传播等。
