Advanced Keras Technics

신경망 모델이나 최적화 방법을 주어진 문제에 맞게 변형할 경우 필요한 고급 기능

Lambda Layer
백엔드(K) 함수
개별 엔진 직접 호출 함수

[Lambda 계층]

케라스 패키지에서 제공하지 않는 새로운 인공신경망 기능을 추가 하는 법
구현 2가지 방법
- 케라스 Lambda 계층과 파이썬 lambda를 이용하는 방법
- lambda를 이용하기 복잡할 때 함수를 만들어서, kshape 은 출력 벡터의 크기를 정의. 함수로 람다 계층을 처리 할 때 함수 내부에서 입력 벡터의 모양을 변경하는 경우 사용. 여기서는 입력 벡터와 같은 출력 벡터가 나간다고 가정함. 만약 출력 벡터가 입력 벡터에 비해 두 배로 커지는 경우는 input_shape[1] *= 2 처럼 처리.
- input_shape[0] 은 batch size

Python

from keras.layers import Lambda, Input
from keras.models import Model

x = Input((1,))
y = Lambda(lambda v : v + 1) (x)
m = Model(x, y)
yp = m.predict_on_batch([1, 2, 3])
print(yp)

from keras.layers import Lambda, Input

from keras.models import Model

x = Input((1,))

y = Lambda(lambda v : v + 1) (x)

m = Model(x, y)

yp = m.predict_on_batch([1, 2, 3])

print(yp)

Python

def kproc(x):
	return x ** 2 + 2 * x + 1
	
def kshape(input_shape):
	return input_shape
	
x = Input((1,))
y = Lambda(kproc, kshape)(x)
m = Model(x, y)

def kproc(x):

return x ** 2 + 2 * x + 1

def kshape(input_shape):

return input_shape

x = Input((1,))

y = Lambda(kproc, kshape)(x)

m = Model(x, y)

[백엔드 함수 활용]

케라스 백엔드 함수들을 사용하면 다른 엔진의 함수들을 같은 이름과 방법으로 접근해 사용 할 수 있음
예시, 백엔드 함수들을 이용하여 Lambda 계층 만들기
- 케라스에서, 모델을 구성 시 일반적으로 x[배치 크기, 피쳐 크기]일 때 input_shape=(피쳐 크기,)라고만 입력하면 되지만 Lambda를 활용한 계층 내부 함수들은 배치 크기와 피쳐 크기를 모두 처리해야함.

Python

from keras import backend as K

def kproc_concat(x):
	m = K.mean(x, axis=1, keepdims=True)
	d1 = K.abs(x - m)
	d2 = K.square(x - m)
	return K.concatenate([x, d1, d2], axis=1)
	
#출력이 입력 대비 3배로 늘어났음을 알리는 크기 정의함수
def kshape_concat(input_shape):
	output_shape = list(input_shape)
	output_shape[1] *= 3
	return tuple(output_shape)
	
x = Input((3,))
y = Lambda(kproc_concat, kshape_concat)(x)
m = Model(x, y)

from keras import backend as K

def kproc_concat(x):

m = K.mean(x, axis=1, keepdims=True)

d1 = K.abs(x - m)

d2 = K.square(x - m)

return K.concatenate([x, d1, d2], axis=1)

#출력이 입력 대비 3배로 늘어났음을 알리는 크기 정의함수

def kshape_concat(input_shape):

output_shape = list(input_shape)

output_shape[1] *= 3

return tuple(output_shape)

x = Input((3,))

y = Lambda(kproc_concat, kshape_concat)(x)

m = Model(x, y)

예시, 백엔드 함수는 손실 함수를 만드는 데도 사용할 수 있음

Python

def mean_squared_error(y_true, y_pred):
	return K.mean(K.square(y_pred - y_true), axis= - 1)

1 2	def mean_squared_error(y_true, y_pred): return K.mean(K.square(y_pred - y_true), axis= - 1)

[엔진 전용 함수 사용하기]

때로는 각 엔진에 특화된 기능을 만들 필요가 있음, 가령 구글 텐서플로
케라스의 백엔드 패키지가 개별 엔진이 제공하는 모든 함수를 제공하는 것은 아님. 이 경우 각 엔진의 함수를 직접 사용하여 문제를 해결 할 수 있음

Python

import tensorflow as tf

def kproc_concat(x):
	m = tf.reduce_mean(x, axis=1, keep_dims=True)
	d1 = tf.abs(x - m)
	d2 = tf.square(x - m)
	return tf.concat([x, d1, d2], axis=1)

import tensorflow as tf

def kproc_concat(x):

m = tf.reduce_mean(x, axis=1, keep_dims=True)

d1 = tf.abs(x - m)

d2 = tf.square(x - m)

return tf.concat([x, d1, d2], axis=1)

케라스 백엔드와 텐서플로 엔진의 함수 이름과 사용 방법에는 약간 차이가 있을 수 있음. 가령 K.concatenate() vs tf.concat()
케라스에서는 전용 함수를 호출할 때 추가 코딩 없이도 백엔드 함수처럼 바로 사용 할 수 있어 부담이 없음

Related

Top Posts

Subscribe to Blog via Email