Ubuntu+uWSGI部署Django项目【鸿篇巨制,事无巨细】

  • A+

背景

任务:

  视频翻译项目需要在两个服务器上进行通信(国内&海外的阿里服务器)。

  因为python是主语言,选用了Django 来快速部署API。

  注:Django中文文档https://docs.djangoproject.com/zh-hans/3.0/

啰嗦:

  本地创建项目很轻松,但部署到服务器上困难重重。

  将过程记录下来,一来记录心得和经验,二来帮助后来者,少走弯路。

准备

  • 本地跑通的项目。
  • 一台服务器(阿里云、腾讯云、AWS、Vultr等等)
  • 连接Linux的ssh工具(MobaXterm或xshell 国内服务器都可以,国外建议xshell 更稳定
  • 百折不挠的精神(非常重要!)

PS:

MobaXterm安装使用详细说明:

https://segmentfault.com/a/1190000000483148

防止SSH断开连接:

https://blog.csdn.net/u014636245/article/details/83855860

 

环境

  • Local
    • OS:  Windows 10 Pro (64bit)
    • Terminal:  xshell
    • Hosting service: 阿里云
  • Server
    • Ubuntu 18.04
    • root用户下

步骤

  1. Python3 & Pip的安装
  2. 创建Django项目(或者导入)
  3. 安装与配置uWSGI
  4. 安装与配置Nginx

重要提示:以下代码均没有加上sudo,如果有哪里因为权限问题失败了,可以加上sudo再试一下。

 

-----Python3 与 Pip 的安装-----

更新一下系统(防止有的包找不到)

$ apt-get update
$ apt-get upgrade

 

安装依赖库 

$ apt-get install build-essential libtool
$ apt-get install libpcre3 libpcre3-dev zlib1g-dev openssl

  

安装python3和pip3

$ apt-get install python3.7 
$ apt-get install python3-pip

 

----创建、启动虚拟环境-----

安装虚拟环境

python3 -m pip install virtualenv

  

创建存放虚拟环境和项目的文件夹 

确保当前目录是root目录

cd ~  

注意分清 : (当前用户家目录)和 / (系统根目录)的区别。

$ mkdir -p /root/www/project/env
$ mkdir -p /root/www/project/【ytb_api】

注: -p 递归创建目录,即使上级目录不存在,会按目录层级自动创建目录

【ytb_api】修改为你的项目名

 

创建虚拟环境 

# virtualenv -p [python3路径] [项目路径]
$ cd /root/www/project/env $ virtualenv -p /usr/bin/python3 ENV

注:如果不知道python3路径,可以用 which python3

如果不了解虚拟环境的使用,看这两篇文章就够了:

http://kuanghy.github.io/2015/12/04/virtualenv

https://docs.python.org/zh-cn/3/tutorial/venv.html

 

启动虚拟环境

$ source /root/www/project/env/ENV/bin/activate

命令行的最前面出现(ENV)即代表处于虚拟环境下。

Ubuntu+uWSGI部署Django项目【鸿篇巨制,事无巨细】

注:

source: 执行文件并从文件中加载变量及函数到执行环境。

 

-----安装Django 并导入项目-----

安装Django

python3 -m pip install django

注意此处pip前 要加python3 -m 的原因:

直接pip会安装到python2上,需要通过pip去指定安装到Python3.x下

详见文章:https://blog.csdn.net/Cloudox_/article/details/78616378

 

测试Django项目是否正常

将本地项目文件夹拖拽进www/project/ 目录下。

runserver 运行一下,看看程序是否正常

$ python3 manage.py runserver

有如下显示,说明没问题

Django version 2.2, using settings 'firstpage.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.

 

-----Uwsgi 安装和配置-----

安装uWSGI服务器

$ python3 -m pip install uwsgi

 

开启阿里云安全组和防火墙

# 防火墙部分,开启8000端口访问权限
sudo ufw status
sudo ufw allow 8000

阿里云用户需要在控制台打开入方向的8000端口权限。

 

测试 uwsgi监听端口是否成功 

在项目根目录下,创建一个test.py文件,内容如下 

def application(env, start_response):
    start_response('200 OK', [('Content-Type','text/html')])
    return [b"Hello World"]

运行uWSGI,确保当前工作目录在你创建并安装uwsgi的虚拟环境下:

$ uwsgi --http :8000 --wsgi-file test.py

 特别注意:阿里云用户需要提前打开入方向的8000端口权限。
如果默认80端口开,可以将下面的8000端口,改成80端口测试

 

在地址栏中输入 你的域名:端口号,网页上显示Hello World则表示uWSGI成功运行 

同时代表了以下通讯是正常进行的

web client < -- > uWSGI < -- > Python App

  

将Django项目指定给uWSGI

$ uwsgi --http :8000 --wsgi-file /www/project/ytb_api/ytb_api/wsgi.py

 

如果此处卡住了,看后面的常见问题

外网浏览器访问端口,如果显示出小火箭,说明uWSGI<-->Django通了。

Ubuntu+uWSGI部署Django项目【鸿篇巨制,事无巨细】

 

业务部分的包安装:(读者请跳过)

###------业务部分------
# 1、安装oss2
python3 -m pip install oss2

# 2、安装阿里云sdk
python3 -m pip install aliyun-python-sdk-core-v3

# 3、安装youtube-dl
python3 -m pip install youtube-dl

# 4、安装依赖
python3 -m pip install six

# 5、安装ffmpeg
sudo apt-get install ffmpeg

如果你断开连接,那么服务也终止了,所以需要用配置ini文件来启动uwsgi,这样uwsgi可以后台贮存。

 

创建uWSGI ini配置文件

本地创建一个uwsgi.ini文件

内容如下(请一定珍惜,因为参考了很多,摸索了很多,踩坑了很多,总结出来的一份配置):

[uwsgi]
### Django-related settings

# socket = :8000  # 如果需要配置nginx,则需要此项
http = :8000

# the base directory (full path)
# 项目路径,项目的根目录
chdir = /root/www/project/local_api

# Django's wsgi file
# 配置项目路径,项目的所在目录
module = local_api.wsgi

# the virtualenv (full path)
# 虚拟环境。注意这里不是env,而是home
home = /root/www/project/env/ENV



### process-related settings

# maximum number of worker processes
# 最大进程个数
# 同时启动uwsgi进程的个数,这个进程与nginx中的workers是不一样的,
# uwsgi中的每个进程每次只能处理一个请求(进程越多可以同时处理的请求越多),
# nginx采用的异步非阻塞的方式来处理请求的,每个进程可以接受处理多个请求。
processes = 10
# 每个进程的线程数
threads = 4

# 启动一个主进程来管理其他进程,processes的进程都是这个master进程的子进程,如果kill这个master进程,相当于杀死所有的uwsgi进程
master = true

# 允许用内嵌的语言启动线程。这将允许你在app程序中产生一个子线程
enable-threads=true

# clear environment on exit
#当服务器退出的时候自动删除unix socket文件status和pid文件
vacuum = true

# 设置日志目录
daemonize = /root/www/project/local_api/uwsgi.log

# 设置最大日志文件大小
log-maxsize = 5000000 

# 设置用于uwsgi包解析的内部缓存区大小为64k。默认是4k。
buffer-size = 32768

# 为每个工作进程设置请求数的上限。当一个工作进程处理的请求数达到这个值,那么该工作进程就会被回收重用(重启)。你可以使用这个选项来默默地对抗内存泄漏
max-requests = 5000 

# 通过使用POSIX/UNIX的setrlimit()函数来限制每个uWSGI进程的虚拟内存使用数。这个配置会限制uWSGI的进程占用虚拟内存不超过256M。如果虚拟内存已经达到256M,并继续申请虚拟内存则会使程序报内存错误,本次的http请求将返回500错误。
# limit-as = 256 

# 一个请求花费的时间超过了这个harakiri超时时间,那么这个请求都会被丢弃,并且当前处理这个请求的工作进程会被回收再利用(即重启)
http-timeout = 500
harakiri = 500

# uwsgi.pid文件用来重启和停止uwsgi服务
pidfile = %(chdir)/uwsgi/uwsgi.pid

在项目根路径下,新建个uwsgi文件夹(用于存放uwsgi服务的pid文件) 

将刚才本地创建的uwsgi.ini拖拽进项目根路径下

目录结构:

Ubuntu+uWSGI部署Django项目【鸿篇巨制,事无巨细】

 

文件启动和终止uwsgi

### ------ini运行uwsgi------
# 启动
uwsgi --ini uwsgi.ini

# 停止
uwsgi --stop uwsgi/uwsgi.pid

 

运行成功有此提示:

Ubuntu+uWSGI部署Django项目【鸿篇巨制,事无巨细】

 启动成功会有个uwsgi.log文件,是记录请求的文件。

好了,如果顺利走到这,那么恭喜你。

 

关于不用Nginx:

由于我只是国内国外各部署一个API用以接收请求,然后之间相互通信,不涉及静态页面,

而且uwsgi服务器性能目前业务就可以满足,所以不上Nginx,但是以后业务量上来了,

Nginx的负载均衡和大并发的异步非阻塞的处理请求,就可能需要了。

如果需要,以后再弄。

 

 

常见问题:

(1) 未在Django中未设置设置被允许的域名

DisallowedHost at /
Invalid HTTP_HOST header: ..... You may need to add "你的域名" to ALLOWED_HOSTS  

需要在settings.py中设置被允许的域名字

ALLOWED_HOSTS = ['XXX.XXX.XXX.XXX']

 

(2) 没有报错,远程就是无法访问

解决方法:
查看防火墙状态

sudo ufw status

开启对应的端口号,如8000端口

sudo ufw allow 8080

其次,查看阿里云安全组设置,是否开启相关的端口号。

 

小结

  因为公司把这个视频翻译的项目全权交给我,所以一切都是自己摸(踩)索(坑)。

  从调研、选技术路径、MVP(最小单元试错)、测试对比分析结果、后端功能代码、部署,

  甚至包括运维,一下子学了很多,贼开心。

 

  下面是此项目的心得:

  1、参考文章的方法

  跟着一个写的比较详细的 靠谱的博客作为主线,跟着一步步走,

  遇到问题再去找别的教程或者去官网查,要多看,博采众长,毕竟博观才能约取。

  2、进一步思考

  每个步骤的含义,每个参数的含义,参数不设置成不成,会有哪些影响,

  为什么要用uwsgi,需不需要弄Nginx等等等等,都是提升能力的好机会。

  3、耐心很重要

  一定要有耐心,新接触一个东西,出各种问题很正常,要耐下心来逐一解决,多请教别人。

  

  谢谢大家,祝各位部署顺利。

 

参考内容:

官方文档

uwsgi:

https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

https://docs.djangoproject.com/zh-hans/3.0/howto/deployment/wsgi/uwsgi/

https://uwsgi-docs.readthedocs.io/en/latest/Options.html

Django:

https://docs.djangoproject.com/zh-hans/3.0/

文章:

 https://blog.csdn.net/Lo_Bamboo/article/details/80141880

https://www.chuangzhidou.com/2019/04/02/django-deploy/

https://segmentfault.com/a/1190000014361352

https://www.hongweipeng.com/index.php/archives/1814/

https://blog.csdn.net/zhf0425/article/details/102662417?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2

https://zhuanlan.zhihu.com/p/51012932

https://www.cnblogs.com/fnng/p/5268633.html

https://gaussic.github.io/2016/08/03/django-uwsgi-deploy/

https://www.cnblogs.com/zhuminghui/p/9212998.html

https://www.jianshu.com/p/0e85cf58e677

https://zhuanlan.zhihu.com/p/29083368

https://blog.csdn.net/Miss_Audrey/article/details/81874038

https://www.runoob.com/django/django-nginx-uwsgi.html

 

90DIR-CMD