ops

基于centos6+python3.6+django2+ansible2.4+celery4.2 运维管理系统-开发中，目前实现功能：用户和用户组管理、日程管理、资产管理、集成ansible、简易堡垒机(主机分配（支持Linux和Windows）、用户分配、文件上传下载、配置禁用命令清单、操作录像回放功能)、数据库管理（一部分）、CI/CD（支持git仓库和svn仓库）、celery任务编排、基于markdown编辑器的知识库支持实时预览和全局搜索结果高亮和文件共享中心

4.24更新

资产管理新增了阿里云主机自动拉取入库功能，像其他腾讯云、华为云等实现方法都差不多就没一一实现，本来想写一些关于docker管理的东西，但感觉没什么实际应用场景，现在 k8s 编排这么流行，就没写，不过在我的博客文章中 django实现web端登录docker 简单的写了下web端登录docker容器的方法，然后这篇文章 docker 配置远程加密调用 描述了如何开启docker远程调用

无耻的推一波我的博客：https://www.poorops.com/#/ 自动拉取阿里云主机实现方法参考 https://github.com/opendevops-cn/codo-cmdb/blob/master/libs/aliyun/rds.py

安装

一、安装python3.6

建议安装虚拟环境，具体步骤参考https://github.com/pyenv/pyenv

二、安装模块

git clone https://github.com/pythonzm/Ops.git
pip install -r requirements.txt

// 因为django-celery-results的pip包与github上不一致，所以使用下面方法安装
pip install https://github.com/celery/django-celery-results/zipball/master#egg=django-celery-results

三、安装mysql

建议MySQL5.6，安装过程略

vim /etc/my.cnf
## 设置字符集
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

## 忽略大小写
lower_case_table_names=1

/etc/init.d/mysqld restart
# mysql -uroot -p
mysql>create database ops DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
mysql>grant all privileges on ops.* to root@'%' identified by 'password';
mysql>quit

四、安装redis（略）

五、安装mongodb（略）

六、配置celery后台运行，或查看官网

cp conf/celeryd.conf /etc/default/celeryd
### 将配置文件里的内容按照实际情况更改

cp conf/celeryd.server /etc/init.d/celeryd
cp conf/celerybeat.server /etc/init.d/celerybeat
/etc/init.d/celeryd start  ##如果出现celeryd无法启动，则添加环境变量：export C_FORCE_ROOT="true"
/etc/init.d/celerybeat start

七、配置获取主机内存脚本

cp conf/get_mem.py /path/to/your ansible python module location  ##可以使用ansbile --version命令查看路径

八、安装Guacamole用于支持web端登录Windows服务器以及开启VNC的服务器（可选）

安装步骤建议参考官方文档：https://guacamole.apache.org/doc/gug/installing-guacamole.html

安装完成后，修改settings.py中的 GUACD_HOST和 GUACD_PORT，改为guac服务启动后监听的地址和端口

功能实现参考：https://github.com/mohabusama/pyguacamole以及https://github.com/jimmy201602/django-guacamole

九、启动服务

需要将Ops目录中的settings.py celery.py按照实际情况更改

python manage.py makemigrations users assets dbmanager fort plan projs task wiki
python manage.py migrate
python manage.py createsuperuser
python manage.py runserver 0.0.0.0:8000

以下为部分截图：

系统操作日志

用户管理

日程管理

参考：https://github.com/RobbieHan/sandboxOA

添加用户以及分配用户权限(采用的django自带的权限系统)等，用户组同理

资产概览

资产拉取

可以自动同步阿里云中的ECS，并同步至资产列表中，只写了阿里云的ECS同步，至于RDS等资产或其他像腾讯云、华为云的实现方式基本一致

实现方式参考：https://github.com/opendevops-cn/codo-cmdb

资产管理，需要关联的项目管理只完成了一部分

资产详细，CPU等信息可以通过收集按钮自动获取

资产监控

ansible执行模块

ansible执行playbook

ansible role编辑

webssh分配主机及用户、用户组

webssh终端，包括文件的上传下载

webssh操作记录回放

web端登录Windows服务器

登录日志查看

webssh命令查看

数据库用户管理，包括新增用户，修改用户，密码，权限

数据库管理用户,该用户需要有grant option权限,并且只能授权该用户所拥有的权限

数据库执行命令

数据库操作记录

CI/CD项目配置

注意：如果是启动tomcat项目，启动命令需要加上nohup，由于ansible运行机制问题

CI/CD部署流程

CI/CD部署日志

自定义项目架构

celery任务编排

新增文章

文章详细

用到的一些开源产品

• 后端：

  • channels：用于实现websocket长连接：https://github.com/django/channels
  • django-rest-framework：用于编写API：https://github.com/encode/django-rest-framework
  • ansible：用于批量管理机器的工具：https://github.com/ansible/ansible
  • celery：用于执行异步任务：https://github.com/celery/celery
  • django-celery-beat，用于监测celery定时任务：https://github.com/celery/django-celery-beat
  • django-celery-results：用于存储celery执行结果：https://github.com/celery/django-celery-results
  • paramiko：用于远程连接Linux服务器：https://github.com/paramiko/paramiko
  • Pillow：用于图像处理：https://github.com/python-pillow/Pillow
  • pyguacamole：连接Guacamole服务器的客户端：https://github.com/mohabusama/pyguacamole
  • PyMySQL：处理mysql：https://github.com/PyMySQL/PyMySQL
  • requests：用于HTTP请求：https://github.com/requests/requests
  • xlrd，xlwt：excel处理：https://github.com/python-excel/xlrd https://github.com/python-excel/xlwt

• 前端：

  • AdminLTE：后台管理的前端框架：https://github.com/almasaeed2010/AdminLTE
  • ace：用于生成前端编辑器：https://github.com/ajaxorg/ace
  • bootstrap-fileinput：基于bootstrap的文件上传插件：https://github.com/kartik-v/bootstrap-fileinput
  • echarts：用于图表展示：https://echarts.baidu.com/
  • highlight：用于代码高亮：https://github.com/highlightjs/highlight.js
  • jquery-confirm：基于jquery的确认modal：https://github.com/craftpip/jquery-confirm
  • jsplumb：用于生成流程图的jquery插件：https://github.com/jsplumb/jsplumb
  • modaal：生成modal的插件：https://github.com/humaan/Modaal
  • parsley：处理表单验证的插件：https://github.com/guillaumepotier/Parsley.js
  • zTree_v3：用于生成树形结构的jquery插件：https://github.com/zTree/zTree_v3
  • asciinema-player：用于播放webssh录像的插件：https://github.com/asciinema/asciinema-player
  • guacamole-client：用于播放rdp和vnc录像的插件：https://github.com/apache/guacamole-client/tree/master/doc/guacamole-playback-example
  • xterm：用于前端生成webssh界面：https://github.com/xtermjs/xterm.js
  • dataTables：用于生成表格的插件：https://github.com/DataTables/DataTables
  • fullCalendar:用于日程管理：https://github.com/fullcalendar/fullcalendar