DataCook DataCook

전이학습(Transfer learning)을 이용한 학습 방법입니다. 라이브러리 import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.keras.layers import * from tensorflow.keras.models import Model,Sequential import zipfile import gdown google drive에서 데이터 다운로드 google_path = 'https://drive.google.com/uc?id=' file_id = '1Of_X6StezV0vwE0WrQ7MNbIFjITkW4dJ' output_name = 'animals_images.zip' gdown.download(gdrive_url..

2년전 캐글에 공유된 소스를 변경하여 작성하였습니다. 출처: www.kaggle.com/arcisad/keras-bidirectional-lstm-self-attention?select=train.csv Keras Bidirectional LSTM + Self-Attention Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com Data set: www.kaggle.com/c/jigsaw-unintended-bias-in-toxicity-classification/data?select=test.csv Jigsaw Unintended Bias in Tox..

keras data set 이용하기 IMDB 영화리뷰 데이터입니다. import numpy as np from tensorflow.keras.datasets import imdb from tensorflow.keras.models import Sequential,load_model from tensorflow.keras.layers import Dense,Dropout,LSTM, Embedding,Flatten from tensorflow.keras.preprocessing import sequence from tensorflow.keras.callbacks import ModelCheckpoint import nltk from nltk.corpus import stopwords nltk.download..

간단한 예제를 이용해서 keras를 이용해서 LSTM을 사용해보겠습니다. 실제 데이터를 적용하기 앞서서 개념을 잡기 위해서 간단한 예제를 들고 가겠습니다. 영단어로 이뤄졌고, 라벨링도 적용을 해놓았습니다. 자연어 처리의 실제 순서는 Data load -> 불용어처리 -> Word Tokenizing -> OneHotEncoding -> pad sequences -> Model create -> Model compile -> Model fit -> Model predict 입니다. 여기서는 불용어처리와 Word Tokenizing을 제외하고 진행했습니다. 이미 만들어진 데이터셋으로 진행을 하고서, 다음 작성글에는 Kaggle에서 제공하는 데이터셋을 이용해서 처음부터 끝까지 진행을 하면서 Self atten..

전이 (transfer learning) 학습 Application - 반지도학습( 일부데이터의 레이블이 없음 ) - KNN, Trenductive SVM - 가중치 활용 : 그대로 적용 - 가중치 중 일부만 활용 - FFNN 부분만 학습해서 사용 pre-trained , fine-tuning (FFNN 부분만 Domain Knowledge) => 가중치는 그대로 from tensorflow.keras.preprocessing.image import load_img from tensorflow.keras.preprocessing.image import img_to_array from tensorflow.keras.applications.imagenet_utils import decode_predictio..

Keras를 이용해서 이미지 data를 학습하고 검증하는 방법을 소개합니다. Mnist Data set %matplotlib inline import matplotlib.pyplot as plt from tensorflow import keras from tensorflow.keras.datasets import mnist from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D keras에서 제공하는 데이터셋을 이용할 예정이고, 이전글에서 학습했던 Sequential을 ..

Tensorflow를 처음 접한건 2년전에 2버전이 처음 나왔을때, 1버전으로 공부했을때 입니다. 1버전때 당시 공부했던 자료를 올리려고 했으나, Tensorflow도 편해지는 쪽으로 변화했고, 저도 더이상은 1버전을 사용하지 않으니 올려도 의미가 없을듯 하네요. 그래서 1버전때 공부했던 tensorflow로 placeholder, constant, varivariable등은 제외하고, 모델 구성 및 Tensorflow로 GridSearchCV를 이용하는 방법을 적으려고 합니다. keras가 tensorflow의 라이브러리에 추가되었습니다. 2버전이 나올때부터.. 그래서 마음편하게 사용이 가능해졌습니다. from tensorflow.keras.models import Sequential from tens..

제대로된 후기가 없어서 겁을 많이먹고 도전했던 자격증이다. 실제로는 어렵지 않아서 도전하는 사람들이 겁을 안먹었으면 좋겠어서 글을 남긴다. 시험은 5시간 짜리 시험으로 5개의 카테고리 폴더에 문제가 각각 한개씩 있어서 총 5문제를 다풀면 합격이다. 시험 결제를 하고서, 바로 등록된 이메일로 시험을 보라고 메일이 날라온다. 결제 후 6개월까지 봐야하며, 90점 이상을 맞아야 통과한다는 메일이였다. 이 메일안에 시험을 보기전 유의사항을 설명해준다. please review these detailed instructions for taking the TensorFlow Developer Certificate Exam. 이런식으로 영문으로 설명된 문서를 보내주고 읽으라고한다. 하지만 디테일하게 설명을 안해줘서 ..