新增oracle查询 #175

LeoQuote · 2019-05-07T06:34:14Z

#144
#174

@yyukai

LeoQuote · 2019-05-07T06:37:46Z

需要rebase一下。

LeoQuote · 2019-05-07T09:07:43Z

不知道 oracle 能不能把schema 和table 混起来考虑，这样如果是两层的结构，可以在现有的结构中混用。

我看yyukai的代码的意思是schema下面还有table，然后才是字段之类的

hhyo · 2019-05-07T09:25:25Z

oracle其实不用处理database，在oracle中只有一个database，并且能通过创建user来创建schema，只需要在get_all_databases方法中返回schemas的信息，前端查询和权限申请以及校验规则就完全不用改，可以直接复用

pgsql则可以有多个database，并且不同database下的schema可以同名，所以必须要区分database和schema

flyingonthebed · 2019-05-07T09:39:04Z

不知道 oracle 能不能把schema 和table 混起来考虑，这样如果是两层的结构，可以在现有的结构中混用。

我看yyukai的代码的意思是schema下面还有table，然后才是字段之类的

oracle 的数据库对应 mysql 的实例，表空间对应 mysql 的 database，数据库只能有一个，表空间可以有多个。
创建了用户，就等于创建了同名的 schema，并且创建用户必须指定默认表空间。
表空间里可以有多个用户，多个用户即存在多个schema。
删除用户时，如果schema中有数据，需要drop user aaa cascade; 做级联删除。
可参考下图：

LeoQuote · 2019-05-07T10:05:42Z

我有一个实现的建议：

新创建两个方法，get_first_layer_list , get_second_layer_list（瞎取的名字，后续可以改） , 在这两个方法中拿到两层列表：

Mysql database table
oracle schema table
pg schema table

现有的get_all_databases , get_all_schemes 不变，在上面说的两个方法中再调用现有的方法即可。

这样做的原因是统一engine的各种方法，在工单和查询层面统一调用的方法，这样对后端的代码修改会非常小。

前端可以对不同类型数据库显示不同的名字。

hhyo · 2019-05-07T10:21:01Z

pg有三级db->schema->tb，其实mssql也是类似吧

yzypals · 2019-05-07T11:55:15Z

我目前做了一个比较简单的处理，直接把 oracle的模式对标 mysql的数据库来处理，目前自己测试在线查询，已经可以用了，上线审核我用只读账号测试也能走完整个流程了，看了上面考虑的好多~！~，我想的简单了，

LeoQuote · 2019-05-07T12:44:52Z

@yzypals 你的方案也是很好的，redis和sql server采用的就是这样的方案，但是实际上是schema ，后端却是db，可能会有一些误解，正在思考如何解决问题

codecov · 2019-05-08T05:42:19Z

Codecov Report

Merging #175 into master will decrease coverage by 0.89%.
The diff coverage is 35.44%.

@@            Coverage Diff            @@
##           master     #175     +/-   ##
=========================================
- Coverage   74.06%   73.17%   -0.9%     
=========================================
  Files          62       63      +1     
  Lines        6810     6964    +154     
=========================================
+ Hits         5044     5096     +52     
- Misses       1766     1868    +102

Impacted Files	Coverage Δ
sql/engines/__init__.py	`61.22% <0%> (-4%)`	⬇️
sql/engines/mysql.py	`89.77% <100%> (ø)`	⬆️
sql/engines/tests.py	`100% <100%> (ø)`	⬆️
sql/models.py	`94.6% <100%> (+0.02%)`	⬆️
sql/engines/oracle.py	`25.78% <25.78%> (ø)`
sql/engines/mssql.py	`75% <33.33%> (-2.58%)`	⬇️

Continue to review full report at Codecov.

Legend - Click here to learn more
Δ = absolute <relative> (impact), ø = not affected, ? = missing data
Powered by Codecov. Last update 2324a47...35b53c7. Read the comment docs.

hhyo

这些点我来调整吧

hhyo · 2019-05-09T14:45:32Z

sql/admin.py

@@ -58,7 +58,8 @@ class InstanceTagRelationsAdmin(admin.ModelAdmin):
 # 实例管理
 @admin.register(Instance)
 class InstanceAdmin(admin.ModelAdmin):
-    list_display = ('id', 'instance_name', 'db_type', 'type', 'host', 'port', 'user', 'create_time')
+    list_display = ('id', 'instance_name', 'db_type', 'type', 'host', 'port', 'user', 'password', 'service_name',


password本来就是加密的，不建议在列表展示

hhyo · 2019-05-09T14:46:09Z

sql/engines/mssql.py

@@ -154,6 +154,19 @@ def query_masking(self, db_name=None, sql='', resultset=None):
            filtered_result = resultset
        return filtered_result

+    def execute_check(self, db_name=None, sql=''):


mssql的上线功能？

准备做了, 我司DBA给了我一个备份方案

hhyo · 2019-05-09T14:48:14Z

sql/templates/sqlquery.html

@@ -19,6 +19,7 @@
                                        class="selectpicker show-tick form-control bs-select-hidden"
                                        data-live-search="true"
                                        data-placeholder="请选择实例:" required>
+                                    // TODO 实例中的筛选可以在python代码中， 使用filter实现， 这种实现可能有效率问题。


确实会有效率问题

hhyo · 2019-05-09T14:49:45Z

src/init_sql/v1.5.0_v1.5.1.sql

+COMMENT 'Oracle Service name'
+  AFTER password;
+
+alter table query_privileges_apply add `schema_list` longtext NOT NULL after db_list;


后面三个语句可以删除了，然后直接补充在v1.5.3_v1.5.4.sql后面

2. oracle 权限申请 3. 数据库变更执行 v1.5.0_v1.5.1.sql

* 回滚前端的修改 * query 的参数统一为 db_name TODO ： * 底层单元测试 * 前端验证

LeoQuote requested review from hhyo and kkrepos May 7, 2019 06:34

LeoQuote force-pushed the oracle branch from 93591f8 to cd199e3 Compare May 7, 2019 07:31

LeoQuote mentioned this pull request May 7, 2019

添加了手工执行功能，添加了oracle 部分功能 #177

Closed

LeoQuote force-pushed the oracle branch from 078f491 to f28acfc Compare May 8, 2019 05:39

LeoQuote added the enhancement New feature or request label May 9, 2019

hhyo requested changes May 9, 2019

View reviewed changes

hhyo marked this pull request as ready for review May 9, 2019 14:54

kkrepos and others added 5 commits May 9, 2019 23:01

1. oracle 在线查询

6863038

2. oracle 权限申请 3. 数据库变更执行 v1.5.0_v1.5.1.sql

__init__.py 处理oracle类型

71a0ce0

新增一个oracle engine的测试，修复修改init 方法造成 InceptionEngine初始化失败的问题

d1bc253

回滚一些修改， oracle引擎内新建一个伪 get_all_databases

a08b97f

* 回滚前端的修改 * query 的参数统一为 db_name TODO ： * 底层单元测试 * 前端验证

细节调整

99dddac

hhyo force-pushed the oracle branch from 86add93 to 99dddac Compare May 9, 2019 15:01

query_check用例修改

35b53c7

hhyo approved these changes May 9, 2019

View reviewed changes

hhyo merged commit 2755119 into master May 9, 2019

hhyo deleted the oracle branch July 6, 2019 02:51

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

新增oracle查询 #175

新增oracle查询 #175

LeoQuote commented May 7, 2019

LeoQuote commented May 7, 2019

LeoQuote commented May 7, 2019

hhyo commented May 7, 2019 •

edited

Loading

flyingonthebed commented May 7, 2019

LeoQuote commented May 7, 2019 •

edited

Loading

hhyo commented May 7, 2019

yzypals commented May 7, 2019 •

edited

Loading

LeoQuote commented May 7, 2019

codecov bot commented May 8, 2019 •

edited

Loading

hhyo left a comment

hhyo May 9, 2019

hhyo May 9, 2019

LeoQuote May 9, 2019

hhyo May 9, 2019

hhyo May 9, 2019

新增oracle查询 #175

新增oracle查询 #175

Conversation

LeoQuote commented May 7, 2019

LeoQuote commented May 7, 2019

LeoQuote commented May 7, 2019

hhyo commented May 7, 2019 • edited Loading

flyingonthebed commented May 7, 2019

LeoQuote commented May 7, 2019 • edited Loading

hhyo commented May 7, 2019

yzypals commented May 7, 2019 • edited Loading

LeoQuote commented May 7, 2019

codecov bot commented May 8, 2019 • edited Loading

Codecov Report

hhyo left a comment

Choose a reason for hiding this comment

hhyo May 9, 2019

Choose a reason for hiding this comment

hhyo May 9, 2019

Choose a reason for hiding this comment

LeoQuote May 9, 2019

Choose a reason for hiding this comment

hhyo May 9, 2019

Choose a reason for hiding this comment

hhyo May 9, 2019

Choose a reason for hiding this comment

hhyo commented May 7, 2019 •

edited

Loading

LeoQuote commented May 7, 2019 •

edited

Loading

yzypals commented May 7, 2019 •

edited

Loading

codecov bot commented May 8, 2019 •

edited

Loading