-
Centos7基于vllm安装deepseek: nvidia显卡驱动升级，CUDA安装，Pytorch安装，vllm安装
最近准备deepseek比较火，准备本地搭建一下。 注意：需要vpn，vpn的流量要足够大，足够下载模型文件及相关的软件。如果没有可以看评论区推荐。 一、环境查看 提供了一台独立的机器配置很高，说是还有一块80G的A100显卡。这台机器之前有人在上面已经安装过机器学习、深度学习的软件了，但是可能有问题。 搭建deepseek环境前，一定不要着急马上安装，要先搞清楚每个软件都使用什么版本后，再开始安装，防止后面要安装的软件前面按照的软件版本不支持。 安装前，要先查看机器： 1.1.操作系统 是：CentOS 7.9.2009 x86_64 # 查看操作系统版本： CentOS 7.9.2009 (base) root@ydpslave141:/home/81097864/gup-driver# (base) root@ydpslave141:/home/81097864/gup-driver# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.9.2009 (Core) Release: 7.9.2009 Codename: Core (base) root@ydpslave141:/home/81097864/gup-driver# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) (base) root@ydpslave141:/home/81097864/gup-driver# uname -a Linux ydpslave141.yonghui.cn 3.10.0-1160.95.1.el7.x86_64 #1 SMP Mon Jul 24 13:59:37 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux (base) root@ydpslave141:/home/81097864/gup-driver# (base) root@ydpslave141:/home/81097864/gup-driver# 1.2.GPU硬件 说是A100，但是看不到具体是什么型号，只能看到参数NVIDIA Corporation Device 20b5 (rev a1) # 查看是否已经安装GPU 及GPU的型号 及是否安装GPU驱动 已经CUDA (base) root@ydpslave141:/home/81097864/gup-driver# (base) root@ydpslave141:/home/81097864/gup-driver#……
SE_You
2025-03-06
406 0 0 -
RedHat7切换YUM源
1、下载所需要的rpm安装包 https://mirrors.aliyun.com/centos/7/os/x86_64/Packages wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-metadata-parser-1.1.4-10.el7.x86_64.rpm wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-3.4.3-168.el7.centos.noarch.rpm wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-plugin-fastestmirror-1.1.31-54.el7_8.noarch.rpm wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-utils-1.1.31-54.el7_8.noarch.rpm wget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/python-urlgrabber-3.10-10.el7.noarch.rpm 注：截止目前安装包是上述版本，如果发现报404错误可以去对比一下最新安装包。 2、安装rpm包 查询yum包和删除yum现有rpm包，删完以后再查看一下，是否删除干净，删除完成后安装刚刚下载好的rpm包，yum包安装时必须取消依赖关系和强制安装。 rpm -qa | grep yum rpm -qa | grep yum | xargs rpm -e --nodeps rpm -ivh python-urlgrabber-3.10-10.el7.noarch.rpm rpm -ivh yum-* --force --nodeps 3、准备CentOS-Base.repo 现有的redhat .repo的包重命名，再下载阿里云的.repo到/etc/yum.repos.d目录下。 mv /etc/yum.repos.d/redhat.repo /etc/yum.repos.d/redhat.repo.bak wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 4、编辑CentOS-Base.repo 修改刚下载的.repo文件，将里面所有$releasever替换为7。 vim /etc/yum.repos.d/CentOS-Base.repo :%s/$releasever/7/g 替换完输入wq保存一下文件。 5、yum源重构及升级 yum clean all yum makecache #update可执行可不执行，根据实际环境操作。 yum update &……
SE_You
2025-03-05
143 0 0 -
ollama部署本地大模型，Linux以及python调用
导读 环境：oricle Linux 9.4、Windows 11、WSL 2、python 3.12.3、qwen2.5、ollama 背景：工作需要，测试本地部署与线上调用接口使用差别 时间：20241221 说明：本地测试apikey的接口，通过后，再调用部署本地接口 一、本地调用接口 官方文档：阿里云百炼 - 示例代码 - 地址 import os from openai import OpenAI client = OpenAI( # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx", api_key=os.getenv("DASHSCOPE_API_KEY"), base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", ) completion = client.chat.completions.create( model="qwen-plus", # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models messages=[ {'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '你是谁？'}], ) # print(completion.model_dump_json()) # 此处改为返回ai的响应内容 print(completion.choices[-1].message.content) 响应如下： (venv) [jack@Laptop-L14-gen4 test_img]$ /home/jack/test_img/venv/bin/python /home/jack/test_img/ollm_test.py 我是阿里云开发的一款超大规模语言模型，我叫通义千问。 二、本地部署大模型 1、Windows 安装 Linux子系统 Windows 安装Linux子系统 配置python3 2、安装ollama sudo curl -fsSL https://ollama.com/install.sh | sh 开始执行如下图（等待即可）： 完成如下图：。。。暂略 3、启动ollama ollama serve [jack@Laptop-L14-gen4 ~]$ ollama serve 2024/12/21 18:10:12 routes.go:1259: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false O……
SE_Meng
2025-02-28
525 0 0 -
浏览器常见报错及解决方法（包括 400、401、403、404、405、408、500、502、503、504 和 505）
浏览器报错通常发生在用户访问网页时，显示的不同错误代码反映了服务器或客户端的不同问题。在这篇博客中，我们将介绍常见的浏览器报错，包括 400、401、403、404、405、408、500、502、503、504 和 505，并提供简单的解决方法，帮助你快速定位和解决问题。 1. 400 Bad Request - 错误的请求 说明： 400 Bad Request 错误通常发生在客户端请求有误时，服务器无法理解或处理该请求。可能是请求头错误、请求体格式不符合要求，或者请求参数问题。 解决方法： 检查请求参数：确保发送到服务器的请求参数正确。例如，URL参数、表单提交的数据等。 清理浏览器缓存和Cookie：有时不正确的缓存和Cookie可能导致请求错误，尝试清理它们并重新访问页面。 检查请求头：某些请求可能缺少必要的头信息（如Content-Type、Authorization等），需要根据API文档进行检查。 2. 401 Unauthorized - 未授权 说明： 401 Unauthorized 错误表示客户端请求未经过身份验证，或身份验证已过期。服务器要求提供有效的认证信息。 解决方法： 登录账户：确保你已正确登录，且会话未过期。 检查认证信息：如果使用的是API接口，确保请求头中包含有效的认证令牌（如Token或Bearer Token）。 3. 403 Forbidden - 禁止访问 说明： 403 Forbidden 错误表示服务器理解请求，但拒绝执行该请求。常见原因包括权限不足或访问控制限制。 解决方法： 检查权限：确保你有权限访问请求的资源。比如登录系统时，确认是否有相应的权限。 清理Cookie：有时缓存的身份验证信息可能已失效，清除Cookie并重新登录可能解决问题。 4. 404 Not Found - 页面未找到 说明： 404 Not Found 错误表示浏览器无法找到用户请求的页面。这通常发生在用户访问了一个不存在的URL，或者网页被删除或重命名。 解决方法： 检查网址拼写：确保输入的网址正确无误，尤其是路径和域……
SE_Yang 2025-02-28
1.2K+ 0 1 -
Windows 系统错误代码解析
Microsoft Windows 系统错误代码简单分析： 0000 操作已成功完成。 0001 错误的函数。 0002 系统找不到指定的文件。 0003 系统找不到指定的路径。 0004 系统无法打开文件。 0005 拒绝访问。 0006 句柄无效。 0007 存储区控制块已损坏。 0008 可用的存储区不足， 无法执行该命令。 0009 存储区控制块地址无效。 0010 环境错误。 0011 试图使用不正确的格式加载程序。 0012 访问代码无效。 0013 数据无效。 0014 可用的存储区不足，无法完成该操作。 0015 系统找不到指定的驱动器。 0016 无法删除该目录。 0017 系统无法将文件移到其他磁盘驱动器上。 0018 没有其他文件。 0019 媒体写保护。 0020 系统找不到指定的设备。 0021 设备尚未准备好。 0022 设备无法识别该命令。 0023 数据错误（循环冗余检查）。 0024 程序发出命令，但是该命令的长度错误。 0025 驱动器在磁盘上无法定位指定的区域或磁道。 0026 无法访问指定的磁盘或软盘。 0027 驱动器找不到所请求的扇区。 0028 打印机缺纸。 0029 系统无法写入指定的设备。 0030 系统无法读取指定的设备。 0031 与系统连接的设备不能正常运转。 0032 其他进程正使用该文件，因此现在无法访问。 0033 另一进程已锁定该文件的某一部分，因此现在无法访问。 0034 驱动器中的软盘不正确。请将 %2 （卷标序列号: %3）插入驱动器 %1。 0036 打开共享的文件太多。 0038 已到达文件结尾。 0039 磁盘已满。 0050 不支持此网络请求。 0051 远程计算机无法使用。 0052 网络中存在重名。 0053 找不到网络路径。 0054 网络正忙。 0055 指定的网络资源或设备已不可用。 0056 已经达到网络命令的极限。 0057 网络适配器出现错误。 0058 指定的服务器无法执行所请求的操作。 0059 网络出现意外错误。 0060 远程适配器不兼容。 0061 打印机队列已满。 0062 服务器上没有存储等待打印……
129 0 0 -
win7系统无法正常启动
情况1： 如果报错是： 由于硬件改变无法启动 报错码：0xcooooof 报错码：缺少windows/system32/drivers/partmgr.sys 解决方法： 1.按F8选择安全模式，如果能进入系统，它会自己安装驱动，然后就可以进入你的正常系统了。 2.按F8，选择最近一次启动，进入系统 3.使用u盘启动，进行系统盘修复 4.以上三不都无效，可以直接从另一台电脑上拷贝你缺少的文件，根据报错信息，我需要拷贝windows/system32/drivers/partmgr.sys文件，重启即可（本人推荐直接使用这招）
102 0 0 -
启用计算机到计算机网络适配器,Win7网络适配器无法启动怎么办？
在平时的工作，我们常常会遇到很多问题，不过比较常见的要数网络问题了。相信不少用户都遇到过网络适配器无法启动但是又不知道怎么办？其实很简单，下面就由小编教大家Win7网络适配器无法启动的解决方法吧！ 方法/步骤： 1、进入电脑“设备管理器” 打开我的电脑，右击鼠标，选择最下面的属性点击，进入控制面板，控制面板左侧第一个导航就是“设备管理器”。 2、查看“网络适配器”情况 进入“设备管理器”后，查找“网络适配器”然后点击即可看到网线网卡相关情况。 3、更新驱动软件程序 通常这样的情况可能是驱动程序有问题，如果在电脑可以接网线的情况下，接上电脑如何点击“更新驱动软件程序”更新到最新的驱动一般问题就可以解决。 4、卸载无线网卡 如果你没有网线，电脑没有办法可以上网，这时候选择“卸载无线网卡”。 5、加载无线网卡 卸载无线网卡后，再重新加载下无线网卡，正常情况下也能解决这个问题。 6、重启电脑 进行以上操作后，最好重启下电脑比较容易解决问题。 以上就是Win7网络适配器无法启动的解决方法了，方法很简单，我们首先打开网络适配器，之后更新网卡或者卸载网卡重装，最后记得重启电脑就行了。
108 0 0 -
Ubuntu22.04 apt 安装 ROS1 ROS Noetic Ninjemys
简介 众所周知ROS2还有很多功能没有移植，而ROS1官方不再支持 Ubuntu20.04 之后的版本。另一方面Ubuntu22.04 更新了很多对新硬件的驱动，有更好的兼容性和体验，这就变的很纠结。 如果想在 22.04 使用最新版本的 ROS Noetic 只有自己编译一个办法。编译整套ROS。 对于初学者来说是个不小的挑战， 需要解决数量众多的库依赖和 C++ 版本兼容问题。 今天偶然发现 Autolabor 官方编译的一个ROS Noetic Ninjemys 安装包，经测试可用，并且还包含 navgation stack，针对学习机器人导航和 SLAM 的需要可以直接安装使用. 安装步骤 步骤 1: 添加软件源 echo "deb [trusted=yes arch=amd64] http://deb.repo.autolabor.com.cn jammy main" | sudo tee /etc/apt/sources.list.d/autolabor.list 步骤 2: 更新源 sudo apt update 步骤 3:安装 sudo apt install ros-noetic-autolabor 安装过程有点长，因为这个版本会帮助安装所有需要的依赖，有些库的比较大。如果中间出现包无法下载的情况，请重试。当出现 ros-noetic-autolabor installed 的字样，意味着安装已经完成，下面我们来验证下工作是否正常。 验证安装 打开一个新的控制台 ,执行 roscore 再打开另一个新的控制台 rosrun rviz rviz 如果看到 rviz 已经成功启动了，意味着已经安装成功 ros 会被安装在 /opt/ros/noetic 目录下,并且会在~/.bashrc 中添加 source /opt/ros/noetic/setup.bash 的引用 这个版本包含了完整的 ros desktop full, navgation 以及对 gazibo 的支持，比较全，无需像官方的一个个包单独安装。 基础使用 创建工作空间 mkdir -p ~/catkin_ws/src cd ~/catkin_ws/ 初始化工作空间 catkin init 创建一个Package cd src 使用 catkin create 创建一个名为my_package 的包，依赖于roscpp , std_msgs catkin create pkg my_package roscpp std_msgs ……
SE_Meng
2025-02-26
95 0 0 -
Ubuntu 22.04安装cuda及Pytorch教程
服务器重装系统后，需要重新安装显卡驱动、cuda及Pytorch等，有些步骤容易忘记，这里记录一下。这里我的服务器配置以及安装版本的情况如下： 服务器系统：Ubuntu 22.04 显卡型号：NVIDIA GeForce RTX 2080 Ti 显卡驱动版本：nvidia-driver-535 cuda版本：CUDA Toolkit 12.2.0 pytorch版本：torch 2.3.1 在PyTorch中使用CUDA，需要确保安装的PyTorch版本与你的CUDA版本兼容， 且正确安装了匹配GPU的CUDA Toolkit。以下是在PyTorch中使用CUDA的一般步骤： 检查CUDA支持： 首先，确保你的GPU支持CUDA。你可以在官方CUDA支持列表上查找你的GPU型号。或者直接命令行 nvidia-smi 进行查看。 安装CUDA Toolkit： 下载并安装与你的GPU型号匹配的CUDA Toolkit。你可以从NVIDIA官网下载。在安装期间，可以选择安装适用于你的系统的CUDNN库。 安装cuDNN（可选）： cuDNN是NVIDIA的深度神经网络库，可以加速深度学习任务。在CUDNN下载页面下载适用于你的CUDA版本的cuDNN，并按照安装说明进行安装。 安装PyTorch： 选择合适的PyTorch版本并使用pip或conda进行安装。 1、安装显卡驱动 在终端命令行输入 nvidia-smi 命令，若正常显示显卡的基础信息，则已成功安装nvidia驱动。 nvidia-smi 如果报错，则按照以下步骤安装nvidia驱动，具体步骤如下： 找到合适自己电脑显卡的驱动 ubuntu-drivers devices 会显示你的电脑上可用的nvidia驱动。只需要安装推荐的版本即可（后面有recommend字样) 这里，服务器显示 nvidia-driver-535 是推荐安装的版本。 找到对应版本的显卡驱动 我们直接安装 nvidia-driver-535 即可： sudo apt-get install nvidia-driver-535 整个安装过程需要花费一小段时间，耐心等待即可。 重启电脑。 再次输入 nvidia-smi 命令，已经可以正常显示显卡的基本信息。 注意：右上角显示 CUDA Version：12.……
SE_Meng
2025-02-25
2.7K+ 0 0 -
Windows转Linux存储管理的核心秘密
Windows转Linux存储管理的核心秘密 如果你来自Windows环境，那么Linux处理和管理存储设备的方式对你而言可能显得格外不同。我们知道，Linux的文件系统并不采用Windows那样的物理驱动器表示方式（如C:、D:或E:），而是构建了一个以"/"为根的统一文件树结构。本文将深入探讨Linux如何表示和管理硬盘、闪存驱动器等存储设备。 在进入技术细节之前，我们首先需要理解如何将额外的驱动器和存储设备挂载到文件系统中，最终集成到根目录"/"下。在这个语境中，"挂载"意味着将驱动器或磁盘连接到文件系统，使操作系统能够访问它们。对安全分析人员而言，深入理解文件系统和存储设备管理机制至关重要，这不仅涉及自身系统，更常见于目标系统分析。安全研究人员经常需要使用外部媒体加载数据、部署工具，有时甚至需要引导完整的操作系统。在渗透测试过程中，你需要准确定位目标系统上的敏感数据，理解如何挂载新的存储设备，以及评估数据存储的安全性。本文将全面覆盖这些主题，并详细介绍存储设备的管理与监控技术。 设备目录 /dev Linux系统中存在一个专门用于管理设备文件的特殊目录：/dev（device的缩写）。系统中的每个设备都在这个目录下有对应的文件表示。让我们首先深入了解这个关键目录。 kali > cd /dev kali > ls -l total 0 crw------- 1 root root 10,175 May 16 12:44 agpgart crw------- 1 root root 10,235 May 16 12:44 autofs drwxr-xr-x 1 root root 160 May 16 12:44 block lrwxrwxrwx 1 root root 3 May 16 12:44 cdrom -> sr0 drwxr-xr-x 2 root root 60 May 16 12:44 cpu 设备文件按字母顺序排列显示。其中一些设备名称如cdrom和cpu较为直观，而其他则相对晦涩。值得注意的是sda1、sda2、sda3、sdb和sdb1等条目，它们分别代表了硬盘及其分区、USB存储……
SE_Zhang 2025-02-12
157 0 0
操作系统
