25_군집 알고리즘(비지도 학습)-과일 사진 레이블 없이 분류

군집 알고리즘(비지도 학습)
과일 사진 레이블 없이 분류하기

 

 

데이터 준비

import numpy as np
import matplotlib.pyplot as plt

fruits = np.load("./data/fruits_300.npy")

 

# (데이터 개수, 이미지 높이, 이미지 너비)
fruits.shape

(300, 100, 100)

 

print(fruits)

[[[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]

 [[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]

 [[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]

 ...

 [[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]

 [[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]

 [[1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  ...
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]
  [1 1 1 ... 1 1 1]]]

 

 

print(fruits[0, 0])

[  1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   2   1
   2   2   2   2   2   2   1   1   1   1   1   1   1   1   2   3   2   1
   2   1   1   1   1   2   1   3   2   1   3   1   4   1   2   5   5   5
  19 148 192 117  28   1   1   2   1   4   1   1   3   1   1   1   1   1
   2   2   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1
   1   1   1   1   1   1   1   1   1   1]

 

 

plt.imshow(fruits[0], cmap = "gray")
plt.show()

 

 

• 흑백 사진은 0 ~ 255 까지의 정숫값을 가짐
• 예제 데이터는 0에 가까울수록 검게, 255에 가까울수록 밝게 표시됨
  • 컴퓨터는 값이 높은 데이터에 주목하기 때문에 색반전을 통해 집중하고 싶은 데이터의 값을 높게(사과가 있는 부분이 높게) 하기 위해서 색반전

 

# 색반전해서 출력하고 싶다면 cmap을 gray_r로 설정
plt.imshow(fruits[0], cmap = "gray_r")
plt.show()

 

 

fig, axs = plt.subplots(1, 2)
axs[0].imshow(fruits[100], cmap = "gray_r")
axs[1].imshow(fruits[200], cmap = "gray_r")
plt.show()

 

 

픽셀값 분석

# 각 이미지를 1차원 배열로 수정
apple = fruits[:100].reshape(-1, 100 * 100)
pineapple = fruits[100:200].reshape(-1, 100 * 100)
banana = fruits[200:].reshape(-1, 100 * 100)

 

apple.shape

(100, 10000)

 

# 각 이미지의 픽셀값 평균을 계산
print(apple.mean(axis = 1))

[ 88.3346  97.9249  87.3709  98.3703  92.8705  82.6439  94.4244  95.5999
  90.681   81.6226  87.0578  95.0745  93.8416  87.017   97.5078  87.2019
  88.9827 100.9158  92.7823 100.9184 104.9854  88.674   99.5643  97.2495
  94.1179  92.1935  95.1671  93.3322 102.8967  94.6695  90.5285  89.0744
  97.7641  97.2938 100.7564  90.5236 100.2542  85.8452  96.4615  97.1492
  90.711  102.3193  87.1629  89.8751  86.7327  86.3991  95.2865  89.1709
  96.8163  91.6604  96.1065  99.6829  94.9718  87.4812  89.2596  89.5268
  93.799   97.3983  87.151   97.825  103.22    94.4239  83.6657  83.5159
 102.8453  87.0379  91.2742 100.4848  93.8388  90.8568  97.4616  97.5022
  82.446   87.1789  96.9206  90.3135  90.565   97.6538  98.0919  93.6252
  87.3867  84.7073  89.1135  86.7646  88.7301  86.643   96.7323  97.2604
  81.9424  87.1687  97.2066  83.4712  95.9781  91.8096  98.4086 100.7823
 101.556  100.7027  91.6098  88.8976]

 

 

plt.hist(np.mean(apple, axis = 1), alpha = 0.8)
plt.hist(np.mean(pineapple, axis = 1), alpha = 0.8)
plt.hist(np.mean(banana, axis = 1), alpha = 0.8)
plt.legend(["apple", "pineapple", "banana"])
plt.show()

 

• 바나나는 사진에서 차지하는 영역이 작기 때문에 평균이 작음
  • 픽셀 평균값만으로 쉽게 구분이 가능
• 사과와 파인애플은 픽셀 평균값으로는 구분이 쉽지 않음

 

apple.shape

(100, 10000)

 

 

# 각 픽셀칸의 평균값 계산
fig, axs = plt.subplots(1, 3, figsize = (20, 5))
axs[0].bar(range(10000), np.mean(apple, axis = 0))
axs[1].bar(range(10000), np.mean(pineapple, axis = 0))
axs[2].bar(range(10000), np.mean(banana, axis = 0))
plt.show()

 

 

# 평균값 시각화
apple_mean = np.mean(apple, axis = 0).reshape(100, 100)
pineapple_mean = np.mean(pineapple, axis = 0).reshape(100, 100)
banana_mean = np.mean(banana, axis = 0).reshape(100, 100)

fig, axs = plt.subplots(1, 3, figsize = (20, 5))
axs[0].imshow(apple_mean, cmap = "gray_r")
axs[1].imshow(pineapple_mean, cmap = "gray_r")
axs[2].imshow(banana_mean, cmap = "gray_r")
plt.show()

 

 

평균값과 가까운 사진 고르기

• 모든 fruits 배열 샘플에서 apple_mean을 뺀 절댓값의 평균 계산

 

abs_diff = np.abs(fruits - apple_mean)

 

abs_diff.shape

(300, 100, 100)

 

abs_mean = np.mean(abs_diff, axis = (1, 2))

 

abs_mean.shape

(300,)

 

 

# 사과 평균과의 오차가 가장 작은 샘플 100개 시각화

# 오차 값이 가장 작은 데이터 100개 정렬
apple_idx = np.argsort(abs_mean)[:100]

 

apple_idx

array([33, 48, 70, 57, 87, 12, 78, 59,  1, 74, 86, 38, 50, 92, 69, 27, 68,
       30, 66, 24, 76, 98, 15, 84, 47, 90,  3, 94, 53, 23, 14, 71, 32,  7,
       73, 36, 55, 77, 21, 10, 17, 39, 99, 95, 11, 35, 65,  6, 61, 22, 56,
       89,  2, 13, 80,  0, 97,  4, 58, 34, 40, 43, 75, 82, 54, 16, 31, 49,
       93, 37, 63, 64, 41, 28, 67, 25, 96,  8, 83, 46, 19, 79, 72,  5, 85,
       29, 20, 60, 81,  9, 45, 51, 88, 62, 91, 26, 52, 18, 44, 42],
      dtype=int64)

 

# 100개의 이미지를 시각화할 서브플랏 생성
fig, axs = plt.subplots(10, 10, figsize = (10, 10))

# 2중 for문으로 10개의 행과 10개의 열에 순서대로 이미지 출력
for i in range(10):
    for j in range(10):
        axs[i, j].imshow(fruits[apple_idx[i * 10 + j]], cmap = "gray_r")

        # 좌표축 제외
        axs[i, j].axis("off")

plt.show()

 

• 지금처럼 비슷한 데이터들끼리 그룹으로 모으는 작업을 군집(clustering)이라고 함
  • 실제 비지도 학습에서는 사과, 파인애플, 바나나와 같은 레이블 없이 패턴을 찾음
• 군집 알고리즘에서 만든 그룹을 클러스터(cluster)라고 부름

 

[ ]: