-
Notifications
You must be signed in to change notification settings - Fork 0
/
Code_PCA.py
139 lines (134 loc) · 6.86 KB
/
Code_PCA.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
#################################
X = np.array(
[
[1, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 1, 1, 1, ],
[1, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 0, 0, 1, 1, 1, 1, ],
[1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, 1, 1, 1, 1, ],
[1, 0, 0, 1, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, ],
[1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, ],
[1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 1, 0, 0, 0, 1, 1, 1, 1, ],
[0, 0, 0, 0, 0, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 0, ],
[0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 0, 0, 0, 0, 1, 1, ],
[0, 0, 0, 1, 0, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 1, ],
[0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, ],
[0, 1, 1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, ],
[0, 0, 0, 1, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, 1, ],
[0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 1, 1, 0, 1, 1, 1, 1, 1, ],
[0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 0, 1, 1, 1, 0, 1, ],
[0, 1, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 1, 1, 0, 1, 1, 1, 0, 1, ],
[0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, ],
[1, 1, 0, 0, 0, 0, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, ],
[1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, ],
[0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, ],
[1, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, ],
[1, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, ],
[0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 1, 1, ],
[0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 1, 1, ],
[0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 1, 1, ],
[0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, ],
[1, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, ],
[1, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, ],
[0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 0, ],
[0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 1, 1, 0, 1, 0, 0, 0, ],
[0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1, 0, 1, 0, 0, 0, ],]
)
########################################################################################
plt.figure(figsize=(10,25))
for i in range(30):
plt.subplot(10,3,i+1)
Y = np.reshape(X[i], (7, 4))
plt.imshow(Y , cmap='gray')
plt.show()
########################################################################################
plt.figure(figsize=(2,2))
mean = np.mean(X , axis = 0)
YMean = np.reshape(mean, (7, 4))
plt.imshow(YMean, cmap='gray')
########################################################################################
X_meaned = X - np.mean(X , axis = 0)
print (X_meaned)
########################################################################################
plt.figure(figsize=(5,12))
for i in range(30):
plt.subplot(10,3,i+1)
Y = np.reshape(X_meaned[i], (7, 4))
plt.imshow(Y, cmap='gray')
plt.show()
########################################################################################
cov_mat = np.cov(X_meaned , rowvar = False) # X_meaned as transposed
########################################################################################
eigen_values , eigen_vectors = np.linalg.eigh(cov_mat)
########################################################################################
sorted_index = np.argsort(eigen_values)[::-1]
sorted_eigenvalue = eigen_values[sorted_index]
sorted_eigenvectors = eigen_vectors[:,sorted_index]
########################################################################################
n_components = 2 #you can select any number of components.
eigenvector_subset = sorted_eigenvectors[:,0:n_components]
########################################################################################
X_reduced = np.dot(X_meaned,eigenvector_subset)
########################################################################################
import matplotlib.pyplot as plt
%matplotlib inline
plt.style.use('ggplot')
plt.rcParams['figure.figsize'] = (12, 8)
def pltcolor(lst):
cols=[]
for l in lst:
if l==0:
cols.append('red')
elif l==1:
cols.append('blue')
elif l==2:
cols.append('green')
elif l==3:
cols.append('yellow')
elif l==4:
cols.append('pink')
elif l==5:
cols.append('black')
elif l==6:
cols.append('orange')
elif l==7:
cols.append('purple')
elif l==8:
cols.append('beige')
elif l==9:
cols.append('brown')
return cols
classes = np.array([0,0,0, 1,1,1, 2,2,2, 3,3,3, 4,4,4, 5,5,5, 6,6,6, 7,7,7, 8,8,8, 9,9,9])
cols=pltcolor(classes)
##################################################################################
plt.scatter(X_reduced[:, 0], X_reduced[:, 1] , c=cols, s=500)
plt.title('Generated Data')
plt.axis('equal');
##################################################################################
n_components = 3 #you can select any number of components.
eigenvector_subset = sorted_eigenvectors[:,0:n_components]
##################################################################################
X_reduced_3d = np.dot(X_meaned, eigenvector_subset)
print(X_reduced_3d)
##################################################################################
fig = plt.figure()
ax = plt.axes(projection='3d')
ax.scatter3D(X_reduced_3d[:, 0], X_reduced_3d[:, 1] ,X_reduced_3d[:,2], c=cols, s = 600)
###################################################################################
X_reduced_3d = np.dot(X_meaned, eigenvector_subset)
reconstructed = np.dot(X_reduced_3d , eigenvector_subset.transpose())
###################################################################################
plt.figure(figsize=(10,25))
for i in range(30):
plt.subplot(10,3,i+1)
Y = np.reshape(reconstructed[i], (7, 4))
plt.imshow(Y, cmap='gray')
plt.show()
#################################################################################
plt.figure(figsize=(10,25))
for i in range(30):
plt.subplot(10,3,i+1)
Y = np.reshape(reconstructed[i]+mean, (7, 4))
plt.imshow(Y, cmap='gray')
plt.show()