CHAPTER 5 인덱싱

[cheese10yun]

CHAPTER 5 인덱싱

• 일정 : 2023-02-04 10:00

[Flamme1004K]

2주차 스터디 정리

LINK

궁금했던 점

1. p.143에서 동등 필터를 사용할 필드가 다중값 필터를 사용할 필드보다 앞에 오도록 복합 인덱스를 설계해야한다고 한다. 이때 다중값 필터란 범위를 이용한 쿼리를 말하는 것일까요?
2. p.129에서 인덱스는 사용자명을 정렬된 순서로 반환하지 않으며, 쿼리는 사용자명에 따라 정렬된 결과를 요청한다고 한다. age와 username으로 인덱스를 만들었다고 생각하는데, 왜 사용자명을 정렬된 순서로 반환하지 않는 것일까요?

[cheese10yun]

내용 정리

• 5 인덱스

느낀점 정리

• 인덱스 생성 및 인덱스 유무에 따른 속도 차이 등을 간단하게 다룸
• explain에 대해서 간단하게 살펴봄
• 복합 인덱스에 대한 설명과 한계점에 대해서 다룸
• 쿼리 플랜 레이싱이 흥미로웠음, 결과도 자체적으로 가지고 있으며 인덱스 뱐걍에 따라 캐싱 데이터도 같이 변경됨
• 인덱스의 카디널리티, 대부분 알고 있는 개념과 유사
• explain 꽤나 디테일한 정보들까지 포함되어 있음, 책에서는 디테일한 설명 부분이 부족한 것으로 보임
• 인덱스를 생성하지 않는게 더 유리한 경우에 대한 내용, 실질적으로 이런 케이스는 거의 없다고 봗 무방하다고 생각듬
• 인덱스 종류, 이미 사용중인 개념과 크게 다르지 않음 다만 null 처리가 좀 애매한 부분이 있음

아쉬 웠던 부분

책에 전반적인 설명이 너무 빙빙 돌려서 설명하는 부분이 많음, 이미 해당 개념 or 비슷한 개념을 이해하고 있다면 대충 이해가 되지만 사전적인 지식이 없는 경우는 다소 이해가 어려운 부분들이 있음

특히 인덱스에 대한 설명인 부분이 결국 B-Tree 구조 특성상 구조적인 문제로 장/단점 및 한계점이 명확하게 있는데 이 부분을 B-Tree에 대한 설명 없이 계속 진행 하려고 하니 글이 전반적으로 이해가 안되는 부분들이 있다고 생각함

루트 노드를 기준으로 브랜치 노드 또 브랜치 노드에서 리프 노드 등으로 상위 노드를 갖는 구조로 B-Tree 인덱스는 구성됨

리트 노드는 실제 디스크에 있는 레코드 주소를 가지고 있고, 이때 데이터 파일에 접근이 필요한 경우 디스크 I/O가 발생함, 몽고 디비같은 경우는 모르겠지만 mysql 케이스 경우 인덱스외에 필드들을 가져오지 않는다면 리프노드 데이터만으로도 해결이 가능한 것으로 알고 있음

다중 컬럼 인덱스도 결국 B-Tree 구조의 적인 이슈로 이해 해야한다. 첫 번째 칼럼을 기준으로 이미 정렬되어 있고 그 뒤에 추가 칼럼으로 정렬되는 형식이다. 그렇다면 세 번째도 결국 두 번쨰를 정렬한 이후 또 정렬하는 구조로 된다. 이 부분을 선행적으로 알고있지 않았다면 책의 설명으로는 너무 부족해서 이해하기 어려워 보임.

결과적으로 order by 쿼리는 특정 조건의 경우 성능적인 많은 손해를 볼수 있음, 데이터에 순서가 중요하지 않다면 명시적으로 정렬을 제외시키는 것이 훨씬 효율적으로 쿼리될 수 있음

레인지 인덱스의 경우도

케이스 A는 "dept_no = 'd002' and emp_no >= 1014"인 레코드를 찾고, 그 이후에는 dept_no가 d002가 아닐 때까지 인덱스를 그냥 쭉 읽기만 하면 된다. 이 경우에는 읽은 레코드가 모두 사용자가 원하는 결과임을 알 수 있다. 즉 5건의 레코드를 찾는 데 필요한 5번의 비교 작업만 수행 가능한 것이다.

이런 구조 떄문에 not, not in 등등의 비교 검색이 = 비교 방식에 비해서 인덱스 속도가 느릴 수 밖에 없다.

인덱스 생성에 따른 컬렉션에 락 발생과, 이런 부분들이 없어서 조금은 아쉬움 리얼 몽고 디비에는 꽤 자세히 나와 있어서 해당 책도 읽어 보는게 좋을거 같음. 그래도 처음 입문할때 빠르게 살펴보는 용도로는 좋은 책으로 생각됨

[shbada]

정리

• 001_인덱싱_소개
• 002_인덱싱_explain
• 003_인덱스_종류와_관리

[1] 인덱스 소개

explain 함수

db.user.find({score:6}).explain();

• queryPlanner: 가장 효율적인 쿼리를 찾기 위해 쿼리 최적화를 제공

{
    "namespace": "study.user",
    "indexFilterSet": false,
    "parsedQuery": {
        "score": {
            "$eq": new NumberInt("6")
        }
    },
   ...
    "winningPlan": {
        "stage": "FETCH",
        "inputStage": {
            "stage": "IXSCAN",
            "keyPattern": {
                "score": new NumberInt("1")
            },
            "indexName": "score_1",
            "isMultiKey": false,
            "multiKeyPaths": {
                "score": []
            },
            "isUnique": false,
            "isSparse": false,
            "isPartial": false,
            "indexVersion": new NumberInt("2"),
            "direction": "forward",
            "indexBounds": {
                "score": [
                    "[6, 6]"
                ]
            }
        }
    },
    "rejectedPlans": []
}

[Q] executionStats 모드일 경우에 어떤게 다른가?

db.user.find({score:6}).explain("executionStats");

• executionStats mode: 특정 질의에서 실제로 실행한 결과의 세부사항을 제공

{
    "executionSuccess": true,
    "nReturned": new NumberInt("2"),
    "executionTimeMillis": new NumberInt("0"),
    "totalKeysExamined": new NumberInt("2"),
    "totalDocsExamined": new NumberInt("2"),
    "executionStages": {
        "stage": "FETCH",
        ...
        }
    }
}

인덱스 생성

1. 샘플 데이터 등록 (자동으로 collection을 생성해준다.)

for (i =0; i<100; i++) {
		db.user.insertOne({
				"userid" : i,
				"name": "user"+i,
				"age": i * 2,
				"score": i * 3,
				"time": new Date()
})
};

2. 인덱스 생성

db.user.createIndex({score:1});

복합 인덱스

• 책의 흐름대로 읽어보니 아래 내용은 이해가 된다.

• 복합인덱스 설계시 주의할점

  • 동등 필터에 대한 키를 맨 앞에 표시해야한다.
  • 정렬에 사용되는 키는 다중값 필드 앞에 표시해야한다.
  • 다중값 필터에 대한 키는 마지막에 표시해야한다.

• [Q] 조회되는 쿼리 조건은 엄청나게 다양할텐데, 위 조건을 만족하도록하면 인덱스 생성이 엄청 많지 않을까?

커버드 쿼리

db.user.find({score:6}, {_id:0, score:1}).explain();

• PROJECTION_COVERED

"winningPlan": {
        "stage": "PROJECTION_COVERED",
        "transformBy": {
            "_id": new NumberInt("0"),
            "score": new NumberInt("1")
        },
...

[2] explain

• [Q] 아래 표에서 선택적 쿼리 vs 비선택적 쿼리 의미?

인덱스가 적합한 경우	컬렉션 스캔이 적합한 경우
큰 컬렉션	작은 컬렉션
큰 도큐먼트	작은 도큐먼트
선택적 쿼리	비선택적 쿼리

• 선택적 쿼리 : 동등 부분
• 비선택적 쿼리 : 다중값 부분

db.students.find({student_id:{$gt:500000}, class_id:54})
    .sort({student_id:1})
    .explain("executionStats")

• 다중값 부분 : student_id가 50만보다 큰 레코드를 요청하는 부분
• 동등 부분 : class_id가 54인 모든 레코드를 요청하는 부분

[3] mongoDB 인덱스 종류와 관리

고유 인덱스

 db.users.createIndex({"firstname" : 1}, {unique : true,...

• [Q] unique 인덱스를 생성해줘야한다면, 만약 해당 collection에 새로운 도큐먼트 "key" 들어오게될때마다 판단해서 인덱스를 수동으로 생성해줘야하겠다는 생각이 든다.

인덱스 정보 확인

db.user.getIndexes();

• [Q] 인덱스 버전이 어떻게 관리되는걸까?
• 'v' 컬럼은 직접 관리하기보다 mongoDB 버전에 따라 결정되는 값으로 본다.
  • MongoDB 4.2에서는 버전 2

[Flamme1004K]

v1과 v2의 차이

https://www.mongodb.com/community/forums/t/what-is-the-difference-between-a-v-1-index-and-a-v-2-index/185248