Nginx 综合实践
今天我们将基于 完成两个比较有用的场景,但是用到的 的配置非常简单。
内部 Yum 源搭建
内部 Pip 源搭建
1. 实验环境
ceph1
centos 7.6
内网ip:172.16.0.8 公网ip:106.12.220.85
:yum源地址、pip源地址
ceph2
centos 7.6
内网ip:172.16.0.9 公网ip:106.12.195.156
:模拟,访问yum源和pip源
2. 内部yum源搭建
熟悉 CentOS 操作系统的人都知道,CentOS 中认的软件是 Yum ,安装某个软件,我们只需要输入如下命令即可:
$ sudo yum install 软件包
使用 Yum 工具的好处就是,它能帮我们处理依赖关系,连同依赖包一起下载安装。由于认的是使用的国外的源,往往为了加快,我们会选择使用国内的 Yum 源。比较有名的有清华源、阿里源、163源等等。这些网站提供的软件包都是凌晨从国外的最全的 Yum 源地址同步,然后更新索引,提供给国内免费使用。往往在生产环境上部署服务时,为了安全性,除了一台虚拟机能联通外网外,其余机器都处于内网环境,是无法联通外界网络的,为了些机器上能统一安装某些服务,我们还需要在内网构建自己的 Yum 源。
构建 Yum 源的步骤非常简单,按照如下步骤走:
准备好yum源包
我们准备好自己的rpm包,这些包可以通过下面的方式:
$ sudo yum install --downloadonly --downloaddir=./
这样会将 Yum 源对应的 包以及相关依赖下载下来,但并不安装。我们要的就是所有这些 rpm 包。按照上面的方式,下载我们所有想要安装软件的 rpm 包,然后将其全部放入到目录 yum_source 下,最后连同包和目录压缩成 yum_source.zip 。
到某个服务器
到 ceph1 的 /data 目录(可以是任意地址)下,并解压,又重新得到 yum_source 目录,目录下全是我们需要的 rpm 包,可以用目录将这些 rpm 包,比如 ansible及其依赖包就放入 /data/yum_source/ansible目录下,这样看起来会比较清晰,而不是所有的包都混在同目录下。这样,我们的 yum 源其实就构建好了,源地址就是 /data/yum_source。
构建索引
接下来,我们使用 createrepo 这个命令来构建 yum 源的索引。这个命令需要单独安装,所以首先需要找一台能联网的机器,将 createrepo 所依赖的 rpm 下载下来,然后将其放入到ceph1的 /data/yum_source/createrepo 目录下。然后我们进入 /data/yum_source/createrepo 目录,直接使用yum localinstall createrepo-xxx.noarch.rpm
即可安装该命令。
# 如果无权限进入,可以改下权限,或者后面得指令使用$ cd /data/yum_source/createrepo/# 根据下载的包对应安装$ sudo yum localinstall createrepo-0.9.9-28.el7.noarch.rpm# 如果没有找到当前目录下的依赖,可以直接用rpm -ivh安装这个目录下的所有依赖包$ sudo rpm -ivh *.rpm# 有了createrepo命令,我们用-v参数来对yum源目录建立索引$ sudo createrepo -v /data/yum_source
下图中的 repodata 就是 createrepo 命令给整个目录的索引。
作为静态资源服务器
万事俱备,只差 作为静态资源服务器来让我们访问到 yum 源中的资源。这对 来说就是轻而易举的事情。我们按照第6节的安装 , .conf ,如下:
$ 进入的目录 $ cat .confuser root;# 根据探测机器核数设置worker_processes ;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/.pid;events {worker_connections ;}http {include mime.types;default_type application/octet-stream;#log_format main '$remote_addr - $remote_user [$time_local] "$request" '# '$status $body_bytes_sent "$http_referer" '# '"$http_user_agent" "$http_x_forwarded_for"';#access_log logs/access.log main;sendfile on;#tcp_nopush on;#keepalive_timeout 0;keepalive_timeout ;#gzip on;server {listen ;server_name localhost;root /data/yum_source;autoindex on;index index.html index.htm;}}
最核心的地方,就是我们加了监听8089的端口配置,将8089端口过来的请求转向 /data/yum_source 目录下的。我们本地访问这个主机的8089端口,如下图所示:
那么如何让 ceph2 机器使用这个 yum 源呢?很简单,只需要将 ceph2 的 /etc/yum.repos.d/ 目录下的所有 repo 备份保存到其他位置,然后新建 repo ,将里面的地址指向这个 ceph1 即可。具体操作参考下面的 shell 命令:
$ mkdir /etc/yum.repos.d/bak $ mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak# 新建internal.repo,并写入yum源地址$ vim /etc/yum.repos.d/internal.repo $ cat /etc/yum.repos.d/internal.repo[Local-Yum]name=internal yum baseurl=http://172.16.0.8:8089/ enabled=1 priority=1 gpgcheck=0 gpgkey=http://172.16.0.8:8089/release.asc
注意这里我们将源命名为Local-Yum,接下来我们在 ceph2 上使用 yum 命令安装某个服务(要求 ceph1 中必须要有该软件的 rpm 包):
$ yum clean all $ yum install
从下图中,可以看到我们的内部源确实生效了,使用的是我们定义的内部源 Local-Yum 。此外使用内网源可以大大加快下载软件的速度,提升工作效率。
3. 内部pip源搭建
搭建好 yum 源之后,我们来看 pip 源的搭建过程,其实方式也是差不多。不过这里我们要使用开源的工具来帮我们做这件事情(类似于前面的 createrepo ),这样会使得 pip 源的搭建非常方便。
下载开源工具
$ yum install git -y # 如果机器无法联网,则直接去下载最新的包,然后传到主机上去 $ git clone https://github.com/wo@R__1655@/pip2pi $ cd pip2pi $ python setup.py install
使用该工具
安装好该工具后,有两个非常好用的命令:
# 这样子,会将连同依赖的模块全部下载下来,这些构成了我们pip源的一部分 $ pip2tgz /data/pip_source/ ansible -i https://pypi.tuna.tsinghua.edu.cn/simple $ pip2tgz /data/pip_source/ -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 目前来看,好像是了simple目录,然后有index.html $ dir2pi /data/pip_source/
注意:如果出现 “TypeError: ‘module’ object is not callable” 这样的信息,主要是pip版本太高导致的,需要将 pip 降级。案如下:
# 卸载高版本的pip $ python -m pip uninstall pip # yum安装旧版本的pip $ yum install python-pip
就是简简单单的这几个命令,pip 源已经准备好了。我们找台能联网的机器,部署该命令,然后下载我们想要的 python 模块及其依赖。最后使用 dir2pi 给这个 pip 目录索引以及 html 。
使用做静态资源服务器
最后就是将这个目录打包并到对应的 ceph1 上去,放到 /data 目录下,解压得到 pip 源目录 /data/pip_source。接下来,使用 作为静态资源服务器,将某个端口的根路径指向这里即可。为此,在 中在端口的配置:
# 这个和yum还不一样,因为/data/pip_source下有了的index.html,在simple目录中 server { listen 8088; server_name localhost; root /data/pip_source; autoindex on; autoindex_exact_size off; autoindex_localtime on; location /{ } }
的配置后重启,再访问 ceph1 的8088端口,结果如下:
清华源: https://pypi.tuna.tsinghua.edu.cn/simple
阿里源: https://mirrors.aliyun.com/pypi/simple
豆瓣源: http://pypi.douban.com/simple
这样子的形式和我们搭建的 pip 源好像一致,难道她们也是用这样的工具搭建 pip 源?
使用内部pip源
使用方式和前面使用第三方 pip 源一样,-i参数,指定 pip 源地址和端口,如下命令是在 ceph2 上用pip安装 ansible 工具,使用的正是ceph1作为 pip 源。
$ pip install ansible -i http://172.16.0.8:8088/simple/ --trusted-host 172.16.0.8
从执行结果看,我们成功使用内部的 pip 源安装了 ansible 工具,而且非常快,达到了百兆每秒的速度,其瓶颈主要在于内部的网络带宽。
4. 小结
今天我们讲了 作为静态服务器的两个非常典型的案例,这也是在生产中会经常用到的。下两个小结,我们将看到 在请求转发方面的相关应用案例。