写这篇博客主要是记录下,My_DBA_Release 这个 Mysql DBA 自动化运维工具,在开发的过程中的一些思路和里面的一些技术实现,我在自动化工具开发方面,也是新手,欢迎各位大侠共同探讨和拍砖。
做这个工具,主要是把Mysql DBA的一些例行工作,比如 DML DDL 操作,DB 服务状态查看,DB 用户授权,DB 迁移,搭建DB slave,慢查询日志查询 ,用统一的web 界面,自动化的方式,点点鼠标就完成。
技术实现上,全python实现,采用python的flask web框架,原来考虑过,php做前端展示的,不过对php不熟,没有必要再去研究一门语言了。Python 的web 框架选择上除了有flask,还有 Django,tornado 等等。查过资料,Django 大而全,紧耦合,没有flask 灵活方便,DB的自动化运维,前端仅仅是个简单展示,主要在后头,没有必要搞那么复杂。tornado 不熟,刚好flask 最近几年蛮火,去哪儿网的自动化运维刚好用的也是flask,最终选择的是Flask,走前辈的路不会错太多,使用这个框架,总体用的过程还是蛮顺的,中文文档也比较全,链接为:flask中文帮助。其实除了flask,其他web 框架,我也没有用过,欢迎pythoner来拍砖:)
部署web app,容器选择上,采用简单的gunicorn 来起相应端口,暂时还没有采用Nginx+uWSGI 模式。
前端传统的(bootstrap,jquery,ajax)这些,html搭建采用这个bootstrap工具,js方面请教了不少前端的同学,在前端与后端的交互上,js,json传递上,由于是新手,花费了不少时间。页面初始化时调用模板,后面的按钮点击及下拉列表选择,都是采用ajax来从服务器端返回数据。把十年前,当时玩asp的html的东东,又拾回来了,"Asp" 一下子暴露年龄了:)。
下面讲讲后端,这个工具首先能跑起来的基础是:
- Mysql的标准化安装,标准化配置,二进制文件目录,data_dir,必须是统一配置的。
- 一个数据中心配置库,比如集中的DB实例的注册,DB的注册,权限角色的控制等。
对数据中心的读写,采用python torndb 模块,torndb是对MysqlDB 类的封装,比MysqlDB类使用起来简单多了,推荐大家使用,可以很简单的返回list,dict或者iter,然后jsonfy后,跟前端的ajax进行交互。
对线上数据库基于安全方面的考虑,没有采用mysql -h的方式,远程操作,而是采用paramiko 类(当然fabric也是可以的),基于OS 认证,远程到本机执行相关操作,执行完后,执行结果,不论对错,返回给flask。flask 有app.logger 模块,可以很简单的实现,执行过程中的日志级别和邮件报警,当执行出错时,发报警邮件给DBA。
下面介绍各个模块的功能和抓图。
- DML/DDL
界面功能比较简单,没有美工,自己搞的,个人感觉也比较丑:)。本来这东东是给DBA专门用的,但目前所在公司,算是创业公司,业务还没有成熟,修数太多了,纯靠DBA去修数,不太现实,但又不想让他们用UI工具去直接操作数据库,便把DML的功能,开放给少数几个开发。每个开发用自己的账号登录后,有自己的域权限,只能对相应权限的DB 实例进行操作,当然只能是主库了,后面会考虑在DB 级别甚至表级别设置权限。执行完毕后,都有履历可查,成功或者失败,错误原因等。
域和角色及用户的对照关系如下:
- schema(DB)=> DB实例(IP+DB端口) => 域
- 用户 => 角色 => 角色域 => 域
安全控制方面,简单的对,delete from ,update set 判断是否有where条件,没有where条件不让执行,当然对DBA角色,那个上面的复选框是可见的。这样多多少少还是有风险的,正常的大互联网公司,这些操作都是DBA来执行的。
后端操作上,执行的dml命令,paramiko远程传输到本机,转储为文件,然后本机执行,mysql < sql文件来执行dml 命令,原来采用mysql -e 模式,不过 -e 模式对表名的撇号,还需要转义,太麻烦,而< 文件,则没有这种限制。
DBA执行的DDL,比较麻烦,mysql的online ddl,在5.6版本以前 copy table,只读,MDL lock 等等限制,percona的OSCA 和 oak的oak-online-alter-table,在复杂环境(从库,trigger)下都有些多多少少的蛋疼问题。所以这个工具没有考虑那多复杂问题,就是原始的ddl,夜里操作了,只能期望后面升级到5.6或mariadb 10的真正的online ddl了。
2 DB 用户授权
界面功能就不多做介绍了,搞DBA的同学,一看便知,“权限复制到从库”= “set sql_log_bin=1" ,下拉列表的数据,都是从数据中心配置表加载的。跟上面一样,grant语句转储为文件,在本机执行。
”查看当前DB实例的所有DB权限“ = percona工具的pt-show_grants --ignore=‘系统自带的账号’,剩余全部都是应用账号
”查看当前被授权人的DB权限“ = percona工具的pt-show_grants --only=
没有写完,后续。。。。。