츄래블의 개발여정✈️

한국어 형태소 분석기 konlpy설치방법 (Windows 64bit) konlpy설치방법https://konlpy.org/ko/latest/install/#id2 01. cmd에서 systeminfo를 입력하여 windows비트수가 64비트임을 확인systeminfo 02. JAVA설치(버전1.7이상)「01」에서 64비트임을 확인했으므로, 64비트용을 설치(JAVA개발을 위한 다운로드가 아니므로 상대적으로 가벼운 8버전을 설치) https://www.oracle.com/kr/java/technologies/downloads/#java8-windows Download the Latest Java LTS FreeSubscribe to Java SE and get the most comprehensive..

RNN과 CNN조합 from tensorflow.keras.datasets import imdbfrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow import kerasfrom sklearn.model_selection import train_test_splitimport numpy as npimport matplotlib.pyplot as plt 데이터 준비(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words = 5000)x_train, x_val, y_train, y_val = train_test_split(x_train, y_train, test..

로이터뉴스_카테고리분류 from tensorflow import kerasfrom tensorflow.keras.datasets import reutersimport numpy as npfrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom sklearn.model_selection import train_test_splitimport matplotlib.pyplot as plt (x_train, y_train), (x_test, y_test) = reuters.load_data() x_train.shape, x_test.shape((8982,), (2246,)) np.unique(y_train, return_counts = True)..

LSTM&GRU # simple RNN 을 쓰는 경우는 거의 없고 보통 LSTM이나 GRU를 씀 LSTM(Long Short-Term Memory)구조 단기 기억을 오래 기억하기 위해 고안되었음# cell state: 장기기억# 삭제|입력|출력 게이트 은닉 상태를 만드는 방법output gate layer(출력 게이트)입력과 이전 타임스텝의 은닉 상태를 가중치에 곱한 후 활성화 함수를 통과시켜 다음 은닉 상태를 만듦이 때 기본 순환층과는 달리 시그모이드 활성화 함수를 사용tanh 활성화 함수를 통과한 값과 곱해져서 은닉 상태를 만듦LSTM은 순환되는 상태가 2개은닉 상태셀 상태(cell state)다음 층으로 전달되지 않고 LSTM셀에서 순환만 되는 값셀 상태를 계산하는 과정forget gate ..

순환신경망(텍스트 분류)- IMDB 리뷰 데이터셋 IMDB 리뷰 데이터셋유명한 인터넷 영화 데이터베이스인 imdb.com 에서 수집한 리뷰를 감상평에 따라 긍정과 부정으로 분류해 놓은 말뭉치 자연어 처리(natural language processing, NLP)컴퓨터를 사용해 인간의 언어를 처리하는 분야세부 분야음성 인식기계 번역감성 분석 등자연어 처리 분야에서는 훈련 데이터를 말뭉치(corpus) 라고 부름 임베딩사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 과정 전체컴퓨터에서 처리하는 모든 것은 숫자로 이루어진 데이터따라서 텍스트 그 자체를 신경망에 전달하지 않음합성곱 신경망에서 이미지를 다룰 때는 이미지가 정수 픽셀값으로 이루어져 있어서 특별히 변환을 하지..

순환 신경망 순차 데이터(sequential data)텍스트나 시계열 데이터(time series data)와 같이 순서에 의미가 있는 데이터예) "I am a boy"는 의미를 이해할 수 있지만 "boy am I a" 는 의미를 이해할 수 없음일별 온도 데이터에서 날짜 순서가 섞인다면 내일의 온도를 쉽게 예상하기 어려움감성분석에서는 이전에 입력된 데이터를 기억하는 기능이 중요할 수 있음예) "별로지만 추천해요" 에서 추천해요 를 해석할 때 앞의 "별로지만" 을 기억하고 있어야 무조건 긍정이라고 판단하지 않음퍼셉트론이나 CNN은 이런 기억장치가 없음하나의 배치를 사용하여 정방향 연산을 수행하고 나면 해당 샘플은 다음 샘플을 처리할 때 사용하지 않음이처럼 입력 데이터의 흐름이 앞으로만 전달되는 신경망을 ..

CIFAR10 from tensorflow import kerasimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_split labels = ["Airplane", "Automobile", "Bird", "Cat", "Deer", "Dog", "Frog", "Horse", "Ship", "Truck"] # cifar10 데이터 로드(x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data() x_train.shape, x_test.shape((50000, 32, 32, 3), (10000, 32, 32, 3)) ..

CNN_MNIST from tensorflow import kerasimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.model_selection import train_test_split # mnist 데이터셋 로드(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data() x_train.shape, x_test.shape((60000, 28, 28), (10000, 28, 28)) plt.imshow(x_train[0], cmap = "gray_r")plt.show() y_train[0]5 np.unique(y_train, return_counts = True)(arra..

합성곱 신경망_시각화(부츠) from tensorflow import kerasimport matplotlib.pyplot as plt 필터의 가중치입력 이미지의 2차원 영역에 적용되어 어떤 특징을 크게 두드러지게 표현하는 역할예) 물건의 테두리같은 특징적인 부분의 가중치는 높고 그 외 영역은 가중치가 낮게 # 저장해둔 cnn 모델 불러오기model = keras.models.load_model("./model/best-cnn-model.keras") # 모델 층 확인model.layers[, , , , , , , ] # 첫 번째 합성곱 층의 가중치 확인conv = model.layers[0]print(conv.weights[0].shape, conv.weights[1].shape)(3, 3, 1, ..

합성곱 신경망(컬러 이미지 분류) from tensorflow import kerasimport matplotlib.pyplot as pltimport numpy as np 데이터 준비# 패션 mnist 데이터셋 로드(x_train, y_train), (x_test, y_test) = keras.datasets.fashion_mnist.load_data() x_train.shape# 채널 차원을 추가해서 (28, 28, 1)(60000, 28, 28) # 이미지 입력시에는 채널에 대한 정보가 있어야 함# 지금은 Conv2D를 적용하기 위해서 채널 차원을 추가scaled_train = x_train.reshape(-1, 28, 28, 1) / 255 # 스케일링을 위해 255로 나눔(0~1사이의 값) s..