服务器异常原因排查粉丝

nginx服务器异常502 bad gateway原因排查

服务器技术 2021-10-08 21:43:36 28

导读

服务器进行公众号粉丝数据同步以及批量推送报错502根据错误信息可以判定是后端的问题,502错误的原因有很多种,但总的来说就是服务器处理不过来了1.首先查看服务器日志1)先查nginx日志,不熟悉的可以从nginx.conf中获取error_log的路径,找到错误如下:发现nginx进程处理的连……

服务器进行公众号粉丝数据同步以及批量推送报错502

根据错误信息可以判定是后端的问题,502错误的原因有很多种,但总的来说就是服务器处理不过来了

1.首先查看服务器日志
1)先查nginx日志,不熟悉的可以从nginx.conf中获取error_log的路径,找到错误如下:

nginx服务器异常502 bad gateway原因排查

发现nginx进程处理的连接数不够用,单个进程处理的连接数超过了nginx.conf配置的worker_connections值

nginx服务器异常502 bad gateway原因排查

通常worker_connections的值可以参考单个进程打开的最大连接数,命令为:ulimit -n
ulimit -a 查看所有限制参数
当前最大打开文件数:65535,可以设置worker_connections为51200

重启nginx nginx -s reload

查看当前tcp连接状况 
netstat -an|awk '/^tcp/{++S[$NF]}END{for (a in S)print a,S[a]}'

2)查看php-fpm日志,同样不熟悉日志位置可以从php-fpm.conf中查看,注意php7以上的配置文件是放在php-fpm.d目录下的www.conf

查看php-fpm.log

nginx服务器异常502 bad gateway原因排查

发现pm.max_children不够用了,说明php-fpm最大进程数太小了,查看php配置文件ww.conf,修改改参数pm.max_children=100

php-fpm主要调整几个参数
pm = dynamic 如何控制子进程,选项有static和dynamic

pm.max_children:静态方式下开启的php-fpm进程数量

pm.max_requests:php-fpm子进程能处理的最大请求数

pm.start_servers:动态方式下的起始php-fpm进程数量
pm.min_spare_servers:动态方式下的最小php-fpm进程数
pm.max_spare_servers:动态方式下的最大php-fpm进程数量

一、pm.max_children,pm.max_spare_servers 多大合适?

这个值原则上是越大越好,php-cgi的进程多了就会处理的很快,排队的请求就会很少。
设置”max_children” 也需要根据服务器的性能进行设定。

数量也可以根据 内存/30M 得到,比如8GB内存可以设置为100,那么php-fpm耗费的内存就能控制在 2G-3G的样子。

对于小内存的服务器来说,比如256M内存的VPS,即使按照一个20M的内存量来算,10个php-cgi进程就将耗掉200M内存,那系统的崩溃就应该很正常了。

因此应该尽量地控制php-fpm进程的数量,大体明确其他应用占用的内存后,
给它指定一个静态的小数量,会让系统更加平稳一些。或者使用动态方式,
因为动态方式会结束掉多余的进程,可以回收释放一些内存,所以推荐在内存较少的服务器或VPS上使用。具体最大数量根据 内存/30M 得到。

pm.start_servers缺省值计算公式: min_spare_servers + (max_spare_servers - min_spare_servers) / 2。

比如说512M的VPS,加入分配给php-fpm最大250M,建议pm.max_spare_servers设置为250/30 ,约为8。至于pm.min_spare_servers,则建议根据服务器的负载情况来设置,比如服务器上只是部署php环境的话,比较合适的值在2~5之间。

这里面还有一个问题,php-fpm因为一些第三方库可能会引起内存泄漏,时间长了,占用的内存会比较多,像我们的服务器现在就是50m左右,还好,有pm.max_requests这个参数,这个参数指定了一个php-fpm子进程执行多少次之后重启该进程。这个可能就要根据你的实际情况调整了。

计算方式如下:

一般来说一台服务器正常情况下每一个php-cgi所耗费的内存在20M~30M左右,因此我的”max_children”我设置成40个,20M*40=800M也就是说在峰值的时候所有PHP-CGI所耗内存在800M以内,低于我的有效内存2Gb。

而如果我 的”max_children”设置的较小,比如5-10个,那么php-cgi就会“很累“,处理速度也很慢,等待的时间也较长,占用的CPU也很高。

如果长时间没有得到处理的请求就会出现 504 Gateway Time-out 这个错误,而正在处理的很累的那几个php-cgi如果遇到了问题就会出现 502 Bad gateway 这个错误。

max_children较好的设置方式根据req/s
(吞吐率,单位时间里服务器处理的最大请求数,单位req/s)来设置,
若程序是 100 req/s 的处理能力,那么就设置 100比较好,这是动态来调整的。

二、request_terminate_timeout 多大合适?

计算方式如下:

如果你的服务器性能足够好,且宽带资源足够充足,PHP脚本没有循环或BUG的话你可以直接将”request_terminate_timeout”设 置成0s。0s的含义是让PHP-CGI一直执行下去而没有时间限制。

而如果你做不到这一点,也就是说你的PHP-CGI可能出现某个BUG,或者你的宽带不够充足或者其他的原因导致你的PHP-CGI能够假死那么就建议你给”request_terminate_timeout”赋一个值,这个值可以根 据你服务器的性能进行设定。

一般来说性能越好你可以设置越高,20分钟-30分钟都可以。由于我的服务器PHP脚本需要长时间运行,有的可能会超过10分钟因此我设置了900秒,这样不会导致PHP-CGI死掉而出现502 Bad gateway这个错误。

优化后的参数

编辑/usr/local/php/etc/php-fpm.d/www.conf:
服务器配置:2核8G
pm = dynamic
pm.start_servers = 5
pm.min_spare_servers = 2
pm.max_spare_servers = 100

request_terminate_timeout=1200

查出服务的进程id
ps aux |grep php-fpm
kill -9 进程id 常用来杀死僵尸进程

总结nginx出现502错误原因

二、代理缓冲区设置过小
如果你使用的是nginx反向代理,如果header过大,超出了默认的1k,就会引发上述的upstream sent too big header (说白了就是nginx把外部请求给后端处理,后端返回的header太大,nginx处理不过来就会导致502。

server {

listen       80;
server_name  *.lxy.me;

location / {

添加这3行
fastcgi_buffer_size 64k;
fastcgi_buffers 32 32k;
fastcgi_busy_buffers_size 128k;
添加这3行
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
…………
}

三、默认php-cgi的进程数设置过少
在安装好使用过程中出现502问题,一般是因为默认php-cgi进程是5个,可能因为phpcgi进程不够用而造成502,需要修改/usr/local/php/etc/php-fpm.conf 将其中的max_children值适当增加。也有可能是max_requests值不够用。需要说明的是这连个配置项占用内存很大,请根据服务器配置进行设置。否则可能起到反效果。

四、php执行超时
php执行超时,修改/usr/local/php/etc/php.ini 将max_execution_time 改为300

五、nginx等待时间超时
部分PHP程序的执行时间超过了Nginx的等待时间,可以适当增加nginx.conf配置文件中FastCGI的timeout时间

http {
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
……
}

六、如果做公众号这一块,注意有可能是微信服务器请求自己服务器过多导致的
如果发现php-fpm进程数已经达到最大的进程数,查看php-fpm配置文件,可以看到错误信息


1253067 TFnetwork_cn