在linux系统下部署selenium爬虫程序介绍

在linux系统下部署selenium爬虫程序介绍

前言 我这里是工作需要把selenium爬虫程序部署到Linux服务器上面顺便跟大家交流一下如果有兴趣的话可以看一下 一、selenium是什么? Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样,爬虫用它来抓取一些js动态加

Mysql数据库的主从复制与读写分离精讲教程

Mysql数据库的主从复制与读写分离精讲教程

前言 在实际的生产环境中,如果对MySQL数据库的读和写都在一台数据库服务中操作,无论在安全性、高可用性,还是高并发性等各个方面都是完全不能满足实际需求的,一般来说都是通过主从复制(Master-Slave)的方式来同步数据,再通过读写分离来提升数据库的并发负载能力这样的方

Redis缓存IO模型的演进教程示例精讲

Redis缓存IO模型的演进教程示例精讲

前言 redis作为应用最广泛的nosql数据库之一,大大小小也经历过很多次升级。在4.0版本之前,单线程+IO多路复用使得redis的性能已经达到一个非常高的高度了。作者也说过,之所以设计成单线程是因为redis的瓶颈不在cpu上,而且单线程也不需要考虑多线程带来的锁开销问题。然而

Mysql中undo、redo与binlog的区别浅析

Mysql中undo、redo与binlog的区别浅析

前言 MySQL中有六种日志文件,分别是:重做日志(redolog)、回滚日志(undolog)、二进制日志(binlog)、错误日志(errorlog)、慢查询日志(slowquerylog)、一般查询日志(generallog),中继日志(relaylog)。 其中重做日志和回滚日志与事务操作息息相关,二进制日志

关于MySQL 大批量插入时如何过滤掉重复数据

前言: 加班原因是上线,解决线上数据库存在重复数据的问题,发现了程序的bug,很好解决,有点问题的是,修正线上的重复数据。 线上库有6个表存在重复数据,其中2个表比较大,一个96万+、一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单

MySQL空间数据存储及函数

MySQL空间数据存储及函数

前言: 不久前开发了一个地图相关的后端项目,需要提供一些点线面相关的存储、查询、分析相关的操作,于是对MySQL空间函数进行充分调研并应用在项目中;MySQL为空间数据存储及处理提供了专用的类型geometry(支持所有的空间结构),还有有细分类型Point, LineString, 

Mysql空间清理的几种具体方法

Mysql空间清理的几种具体方法

前言 在Mysql环境下,常常由于数据磁盘满而导致Mysql故障。下面整理了如何在Mysql环境下做好Mysql的空间清理。 1.查看文件磁盘占用 1.1查看磁盘空间占用 [root@mysqlhost01/]#df-lh 1.2查看目录空间占用 [root@mysqlhost01/]#du-sh/usr 5.5G/usr 2.B

MySQL 8.0 可以操作 JSON 了

前言: 经过漫长的测试,即将整体迁移至Mysql8.0; Mysql8.0 对于Json操作新增/优化了很多相关Json的API操作;阅读了一下官方文档,虽然绝大多数的JSON操作都是应用层完成,但是会一些Mysql的JSON语法,方便进行debug;选出基础的,有价值的部分,供未来参考; https

一文带你探究MySQL中的NULL

前言 不知道大家有没有遇到这样的问题,当我们在对MySQL数据库进行查询操作时,条件写的是status!=1,理论上会将所有不符合条件的查询出来,但奇怪的是结果为NULL的就查不出来,必须得拼接上条件orstatusISNULL。本篇文章我们就一起探究一下MySQL中的NULL。 1MySQL中的NU

MySQL千万不要这样写update语句

MySQL千万不要这样写update语句

前言 今天给大家分享一个MySQL非常经典的“坑”。MySQL的UPDATE语句千万不能这么写! 起因 最近,好几次有开发同学在钉钉上问我,比如下图: 问题归纳起来就是:在MySQL里面update一条记录,语法都正确的,但记录并没有被更新… 结论:在一条UPDATE

1253067 TFnetwork_cn