Amazon SageMakerの調査メモ

import boto3
import re
from sagemaker import get_execution_role
from sagemaker.amazon.amazon_estimator import get_image_uri

## 利用アルゴリズムのキー
container = get_image_uri(boto3.Session().region_name, 'linear-learner')

## train_instance_type を local/local_gpu とするとローカルでお試し実行できる
## input_path/output_path は S3://~~~ またはローカルの場合 file:///~~~
linear = sagemaker.estimator.Estimator(container,
                                       get_execution_role(), 
                                       train_instance_count=1, 
                                       train_instance_type='ml.c4.xlarge',
                                       output_path=output_path,
                                       sagemaker_session=sagemaker.Session())

linear.set_hyperparameters(feature_dim=784,
                           predictor_type='binary_classifier',
                           mini_batch_size=200)

linear.fit({'train': input_path})

## 構築済みコンテナは専用クラスが用意されているのでそれを利用すれば良い
from sagemaker.tensorflow import TensorFlow
from sagemaker import get_execution_role

train_instance_type = "local"

role = get_execution_role()
estimator = TensorFlow(entry_point = "./mnist_mlp.py",
                       role=role,
                       train_instance_count=1,
                       train_instance_type=train_instance_type,
                       framework_version="1.12.0",
                       py_version='py3',
                       script_mode=True,
                       hyperparameters={'batch-size': 64,
                                        'num-classes': 10,
                                        'epochs': 4})

estimator.fit(input_data)

from __future__ import print_function
import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras import backend as K

# モデル保存
def save(model, model_dir):
    sess = K.get_session()
    tf.saved_model.simple_save(
        sess,
        os.path.join(model_dir, 'model/1'),
        inputs={'inputs': model.input},
        outputs={t.name: t for t in model.outputs})

# 学習からモデルの保存まで
def train(args): 
    ##
    ## 何らかの学習コード
    ##
    save(model, args.model_dir)
    

if __name__ == '__main__':
    parser = argparse.ArgumentParser()

    # hyperparameters はコマンドライン引数で渡される
    parser.add_argument('--batch-size', type=int, default=128)
    parser.add_argument('--num-classes', type=int, default=10)
    parser.add_argument('--epochs', type=int, default=12)
    
    # SM_** という名前の環境変数が準備されている
    parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR'])
    parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAINING'])
    
    args, _ = parser.parse_known_args()
    train(args)

from sagemaker.estimator import Estimator

hyperparameters = {'train-steps': 100}

instance_type = 'local'

## ECR(AWSのコンテナレジストリ)にコンテナが保存されている前提
estimator = Estimator(role=role,
                      train_instance_count=1,
                      train_instance_type=instance_type,
                      image_name='sagemaker-tf-cifar10-example:latest',
                      hyperparameters=hyperparameters)

estimator.fit('file:///tmp/cifar-10-data')

FROM tensorflow/tensorflow:1.8.0-py3

RUN apt-get update && apt-get install -y --no-install-recommends nginx curl

# Download TensorFlow Serving
# https://www.tensorflow.org/serving/setup#installing_the_modelserver
RUN echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | tee /etc/apt/sources.list.d/tensorflow-serving.list
RUN curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | apt-key add -
RUN apt-get update && apt-get install tensorflow-model-server

ENV PATH="/opt/ml/code:${PATH}"

# /opt/ml 配下に学習スクリプトを配置しておく
COPY /cifar10 /opt/ml/code
WORKDIR /opt/ml/code

import sagemaker
import boto3
from sagemaker import get_execution_role
import time
 
region = boto3.Session().region_name
 
session = sagemaker.Session()
 
role = get_execution_role() 
sm = boto3.Session().client(service_name='sagemaker',region_name=region)
job_name = 'autopilot-sample-cc'

sm.create_auto_ml_job(
    AutoMLJobName=job_name,
    InputDataConfig=[{
        'DataSource': {
            'S3DataSource': {
                'S3DataType': 'S3Prefix',
                'S3Uri': 's3://sagemaker-my-test/creditcard.csv'
            }
        },
        'TargetAttributeName': 'Class'
    }],
    OutputDataConfig={
        'S3OutputPath': 's3://sagemaker-my-test/cc-output'
    },
    ProblemType='BinaryClassification',
    AutoMLJobObjective={
        'MetricName': 'Accuracy'
    },
    RoleArn=role
)

# 学習処理からそのまま実行したい場合、以下の通り事前に作成したEstimaterからデプロイできる
predictor = estimator.deploy(initial_instance_count=1,
　　　　　　　　　　　　　　　　　 instance_type='ml.m4.xlarge')

# 学習処理と別スクリプトの場合は学習の成果物であるModelを読み込みする(要SDKドキュメント参照)
model = sagemaker.model.Model(model_data,
                              image,
                              role=None,
                              predictor_cls=None,
　                            env=None,
                              name=None,
                              vpc_config=None, ....)
predictor = model.deploy(initial_instance_count=1,
　　　　　　　　　　　　　　　instance_type='ml.m4.xlarge')

# 作成したpredictorに入力データを食わせることで推論を行う
predictor.predict(input_data, ...)

# 学習処理からそのまま実行したい場合、以下の通り事前に作成したEstimaterから実行できる
transformer = estimator.transformer(instance_count=1,
　　　　　　　　　　　　　　　　　　　　　 instance_type='ml.m4.xlarge',
                                    output_path='...')

# 学習処理と別スクリプトの場合は学習の成果物であるModelを読み込みする(要SDKドキュメント参照)
model = sagemaker.model.Model(model_data,
                              image,
                              role=None,
                              predictor_cls=None,
　                            env=None,
                              name=None,
                              vpc_config=None, ....)
transformer = model.deploy(initial_instance_count=1,
　　　　　　　　　　　　　　　instance_type='ml.m4.xlarge')

# 作成したpredictorに入力データを食わせることで推論を行う
transformer.transform(input_path, ...)