DataCook DataCook

전이학습(Transfer learning)을 이용한 학습 방법입니다. 라이브러리 import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.keras.layers import * from tensorflow.keras.models import Model,Sequential import zipfile import gdown google drive에서 데이터 다운로드 google_path = 'https://drive.google.com/uc?id=' file_id = '1Of_X6StezV0vwE0WrQ7MNbIFjITkW4dJ' output_name = 'animals_images.zip' gdown.download(gdrive_url..

Jupyter notebook에서는 Anaconda prompt를 이용해서 pip install gdown 설치 진행 import gdown google_path = 'https://drive.google.com/uc?id=' file_id = '1Of_X6StezV0vwE0WrQ7MNbIFjITkW4dJ' output_name = 'animals_images.zip' gdown.download(google_path+file_id,output_name,quiet=False) 드라이브 파일이 공유되어있다는 가정하에 링크를 복사하면 뒤에 파일 아이디가 붙습니다. 뒤에 있는 아이디만 잘라내서 작성하면 다운로드가 됩니다. 사용시 google_path는 냅두고 file_id만 수정하시면 됩니다. output_na..

2년전 캐글에 공유된 소스를 변경하여 작성하였습니다. 출처: www.kaggle.com/arcisad/keras-bidirectional-lstm-self-attention?select=train.csv Keras Bidirectional LSTM + Self-Attention Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com Data set: www.kaggle.com/c/jigsaw-unintended-bias-in-toxicity-classification/data?select=test.csv Jigsaw Unintended Bias in Tox..

keras data set 이용하기 IMDB 영화리뷰 데이터입니다. import numpy as np from tensorflow.keras.datasets import imdb from tensorflow.keras.models import Sequential,load_model from tensorflow.keras.layers import Dense,Dropout,LSTM, Embedding,Flatten from tensorflow.keras.preprocessing import sequence from tensorflow.keras.callbacks import ModelCheckpoint import nltk from nltk.corpus import stopwords nltk.download..

간단한 예제를 이용해서 keras를 이용해서 LSTM을 사용해보겠습니다. 실제 데이터를 적용하기 앞서서 개념을 잡기 위해서 간단한 예제를 들고 가겠습니다. 영단어로 이뤄졌고, 라벨링도 적용을 해놓았습니다. 자연어 처리의 실제 순서는 Data load -> 불용어처리 -> Word Tokenizing -> OneHotEncoding -> pad sequences -> Model create -> Model compile -> Model fit -> Model predict 입니다. 여기서는 불용어처리와 Word Tokenizing을 제외하고 진행했습니다. 이미 만들어진 데이터셋으로 진행을 하고서, 다음 작성글에는 Kaggle에서 제공하는 데이터셋을 이용해서 처음부터 끝까지 진행을 하면서 Self atten..

전이 (transfer learning) 학습 Application - 반지도학습( 일부데이터의 레이블이 없음 ) - KNN, Trenductive SVM - 가중치 활용 : 그대로 적용 - 가중치 중 일부만 활용 - FFNN 부분만 학습해서 사용 pre-trained , fine-tuning (FFNN 부분만 Domain Knowledge) => 가중치는 그대로 from tensorflow.keras.preprocessing.image import load_img from tensorflow.keras.preprocessing.image import img_to_array from tensorflow.keras.applications.imagenet_utils import decode_predictio..

4.5.4 상호작용과 주효과주 효과: 다른 요인(집단구분 변수)과 상관없이, 예측변수의 수준(집단)에 따라 효과가 유의미하게 달라질 때상호작용 효과: 한 요인의 수준에 따른 효과의 차이가또 다른 요인의 수준에 따라 달라질 때 Two-way ANOVA 이원분산분석은 주효과와 상호작용효과 분석 가능 출처:https://heung-bae-lee.github.io/2020/01/15/machine_learning_04/Regression(03) - 회귀진단교호작용 성별, 결혼여부, 혹은 소속 정치단체 등과 같은 질적(qualitative) 또는 범주형(categorical)요인들이 회귀분석에서 종속(반응)변수의 변화를 설명하는 데 매우 유용한 독립(설명) 변수 역할을heung-bae-lee.github.io (..

Keras를 이용해서 이미지 data를 학습하고 검증하는 방법을 소개합니다. Mnist Data set %matplotlib inline import matplotlib.pyplot as plt from tensorflow import keras from tensorflow.keras.datasets import mnist from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D keras에서 제공하는 데이터셋을 이용할 예정이고, 이전글에서 학습했던 Sequential을 ..