Yuma Ota

はじめにこの記事ではSnowflakeをキーペア認証にて接続する方法と共にFargateにて利用する方法について紹介したいと思います．そもそもSnowflakeとは公式ページSnowflakeとはDWH（データウェアハウス）を提供しているサービスです．似たサービスとしてGCPのBigQueryやAWSのRedShiftが有名かと思います.(下記は別の方が書いていただいたDWHの各特長と選び方です)課題点あらゆるサービスにおいてログイン方法の漏洩は重大なインシデントになりえることです．Snowflakeの場合，DWHの性質上個人情報や社内の重要データを保存することもあり，データの漏洩は致命傷となりえます．そのため重要なデータにアクセスする場合には従来の通常認証（ID/PASS）ではセキュリティ的に脆弱になります．課題解決策今回通常認証の代わりにキーペア認証（公開鍵認証）を利用することでセキュリティ面の向上を図ります．実際に行ってみるまず初めに秘密鍵を生成します．任意のローカルディレクトリにて下記のコマンドを打つことでrsa_key.p8というファイルを生成します．その際にパスワードを求められるので，任意のパスワードを入力してください．openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8次にこの秘密鍵を利用して，公開鍵を生成します．下記のコマンドを打つことでrsa_key.pubというファイルを生成します．openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pubこのrsa_key.pubの中に公開鍵がかかれていますので，ログインしたいユーザーに割り振ります．Snowflakeの画面に移り下記のコマンドを打つことで割り振ることが出来ます．この時，セキュリティ管理者以上の権限を持つユーザーにて操作してください．(username=snowflakeのユーザー名，publickey=公開鍵の値)alter user <username> set rsa_public_key='<publickey>';（詳細につきましては下記の公式ドキュメントに記載されていますので是非ご覧ください）これで準備は整いました．あとは，各種コネクタを利用して接続できるか確認します．下記は公式ドキュメントに少し書き足したソースコードです．"""下記は公式ドキュメントからの引用"""import snowflake.connectorimport osfrom cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives.asymmetric import rsafrom cryptography.hazmat.primitives.asymmetric import dsafrom cryptography.hazmat.primitives import serializationwith open("<path>/rsa_key.p8", "rb") as key:    p_key= serialization.load_pem_private_key(        key.read(),        password=os.environ['PRIVATE_KEY_PASSPHRASE'].encode(),        backend=default_backend()    )pkb = p_key.private_bytes(    encoding=serialization.Encoding.DER,    format=serialization.PrivateFormat.PKCS8,    encryption_algorithm=serialization.NoEncryption())ctx = snowflake.connector.connect(    user='<user>',    account='<account_identifier>',    private_key=pkb,    warehouse=WAREHOUSE,    database=DATABASE,    schema=SCHEMA    )cs = ctx.cursor()"""下記は書き足しました"""cs.execute("SELECT current_version()")one_row = cs.fetchone()print(one_row[0])こちらのソースコードを起動（環境変数「PRIVATE_KEY_PASSPHRASE」に設定したパスワードを予め設置しておいてください）し，snowflakeのバージョンが表示されていれば無事接続されています．Fargateにて利用する今回はこのキーペア認証をAWSのFargate<->Snowflake間接続にて利用します！（本題）問題点Fargateはその仕様上同じマシンを選択することが出来ず通常の.sshフォルダに秘密鍵を置くやり方を取れません．（置いたとしてもマシンが変わるため，その都度書き込む必要がある）また環境変数に秘密鍵を置くことも考えましたが平文にて置くのはさすがにセキュリティ面にて不安でもあります．解決策AWSのSystemManagerを利用し，秘密鍵を暗号化し環境変数経由にて取得するやり方を取りました．この方法であれば，タスク情報に環境変数を置くことでその都度書き込む必要がありません．また暗号化されているため平文で置くというリスクを防ぐことも出来ます．実際に行ってみるSystemManagerAWSのSystemManagerから，アプリケーション管理->パラメータストアを開きます．パラメータの作成を選択すると下記のように設定画面が表示されます．パラメータストアの設定名前 -> 環境変数にて挿入する際の名前になりますので，英数字を推奨します説明 -> 分かりやすい説明文を書いておいた方がいいと思います．利用枠 -> 秘密鍵を生成する際に4096bit以下であれば標準，それ以上であれば詳細を選択してください．タイプ -> 安全な文字列にしてください！KMSキーソース -> 現在のアカウントを選択してください．KMSキーID -> デフォルトのalias/aws/ssmを選択してください．（別のKMSキーIDを利用することも出来ます．）値 -> 秘密鍵ファイルの内容をそのまま記載してください．以上の設定が終わりましたらパラメータの作成を選択してください．これでSystemsManagerの設定は完了しました．IAM次にSystemManagerをECSにて利用できるようにIAMの権限を整理します．各タスクにて利用しているAmazon ECS タスク実行ロールに以下のポリシーを追加します．ssm:GetParameterssecretsmanager:GetSecretValuekms:Decrypt{  "Version": "2012-10-17",  "Statement": [    {      "Effect": "Allow",      "Action": [        "ssm:GetParameters",        "secretsmanager:GetSecretValue",        "kms:Decrypt"      ],      "Resource": "*"    }  ]}ECSそれでは実際にECSにて利用できるか確認します．利用するソースコード前述にて記載したソースコードの違いとして，秘密鍵ファイルから読み込んでいるところを環境変数経由に変更しています．import snowflake.connectorimport osfrom cryptography.hazmat.backends import default_backendfrom cryptography.hazmat.primitives.asymmetric import rsafrom cryptography.hazmat.primitives.asymmetric import dsafrom cryptography.hazmat.primitives import serialization# パラメータストアから秘密鍵呼び出しkey_input = os.getenv('SECRET_KEY')key_parameter = key_input.encode()p_key= serialization.load_pem_private_key(    key_parameter,    password=os.getenv('PRIVATE_KEY_PASSPHRASE').encode(),    backend=default_backend())pkb = p_key.private_bytes(    encoding=serialization.Encoding.DER,    format=serialization.PrivateFormat.PKCS8,    encryption_algorithm=serialization.NoEncryption())ctx = snowflake.connector.connect(    user='<user>',    account='<account_identifier>',    private_key=pkb,    warehouse=WAREHOUSE,    database=DATABASE,    schema=SCHEMA    )cs = ctx.cursor()"""下記は書き足しました"""cs.execute("SELECT current_version()")one_row = cs.fetchone()print(one_row[0])起動する通常のようにクラスター作成→タスク作成（先ほどポリシーを追加したロールをタスクに割り振ってください）→タスク起動を行います．この時注意点として，タスクを起動する際にプラットフォームのバージョンという設定がありますので，この値を1.3.0に選択してください！（LATESTを利用してタスクを起動する場合はまた別の設定が必要となります．）またタスク作成時，もしくはタスク起動時に以下のように環境変数を割り振っておいてください！PRIVATE_KEY_PASSPHRASE -> 秘密鍵を生成した際に設定したパスワードを記載SECRET_KEY -> ValueFromにてパラメータストアにて設定した名前をそのまま記載これで起動し，下記のようにCloudWatchLLogsにてSnowflakeのバージョンが表示されていれば，無事SystemManagerを経由して秘密鍵がFargateに送られており，キーペア認証が行われていることが確認できます！最後に今回はSnowflakeのキーペア認証をFargateにて利用する方法について記載しました．今後も様々なことについて書いていきたいと思います！

Snowflakeのキーペア認証をFargateにて利用する方法

はじめにこの記事ではある文章からその文章が持つジャンルについて推定する方法について複数の方法を記載します．何故必要か自然言語処理等や自動文章生成にて様々な文章を収集して利用するケースがあるかと思います．しかし，その文章が必ずしもジャンル分けやタグ付けされているわけではなく，あるジャンルに特化した自然言語処理や自動文章生成を行う際にはまず前処理にてジャンルを推定する必要があります．前提条件Python 3.7.9FuzzyWuzzypython-Levenshteinmecab-python3Mecabmecab-ipadic-NEologdジャンルを推定する方法正規表現から推定する方法単純に正規表現等を利用し，ジャンル名がその文章に入っていれば同ジャンルと推定する方法です．ソースコードimport re# ジャンル名Genre_name = 'Qiita'# 推定したい文章Sentence = 'Qiitaは、エンジニアに関する知識を記録・共有するためのサービスです。'regex_sentence = '.*{}.*'.format(Genre_name)if re.search(regex_sentence, Sentence):    print('{} は {}に含まれています'.format(Sentence, Genre_name))形態素解析を利用して推定する方法ジャンル名は基本的に名詞に分類されます．それも固有名詞に分類されるケースが多いです．そのため文章を形態素解析し，固有名詞のみを取り出しジャンル名がその中にあれば同ジャンルと推定する方法です．今回はMecabと辞書にmecab-ipadic-NEologdを利用して行います．ソースコードimport MeCabdef mecab_list(text):    # /path/is/select/は辞書の位置を指定してください    tagger = MeCab.Tagger(r'-d /path/is/select/')    tagger.parse('')    node = tagger.parseToNode(text)    word_class = []    while node:        word = node.surface        wclass = node.feature.split(',')        if wclass[0] != u'BOS/EOS' and wclass[1] == '固有名詞':            word_class.append(word)        node = node.next    return word_class# ジャンル名Genre_name = 'Qiita'# 推定したい文章Sentence = 'Qiitaは、エンジニアに関する知識を記録・共有するためのサービスです。'Sentence_list = mecab_list(Sentence)if Genre_name in Sentence_list:    print('{} は {}に含まれています'.format(Sentence, Genre_name))類似度検索を利用して推定する方法レーベンシュタイン距離を利用し，その文章とジャンルの類似度を推定する方法があります．その類似度がα以上であれば同ジャンルと推定する方法です．今回はFuzzyWuzzyというライブラリを利用して行います．ソースコードfrom fuzzywuzzy import fuzz# ジャンル名Genre_name = 'Qiita'# 推定したい文章Sentence = 'Qiitaは、エンジニアに関する知識を記録・共有するためのサービスです。'# 類似度の基準Similarity_match = 90ratio = fuzz.partial_ratio(Sentence, Genre_name)if Similarity_match <= ratio:    print('{} は {}に含まれています'.format(Sentence, Genre_name))各方法の特徴正規表現から推定する方法比較するジャンル数が少ない場合かつジャンル名の文字数が少ない場合にはよさそうです．しかし下記の記載にも書きますが，ジャンル推定の誤認識を招く恐れのある方法です．またジャンル名の文字数が多い場合にはそのブランド名が短縮表現されていた際に検知することが出来ません．形態素解析を利用して推定する方法固有名詞を取り出すことでジャンルとしての表現かそれともそれ以外の表現かを分けることが出来るために精度が上がります．「明治時代、学生たちの間で「アイス」と呼ばれた職業とは何？」という文章からジャンルを推定する場合，明治時代という表現がジャンル名「明治」と誤認識してしまう恐れがあります．そのため形態素解析を行うことで誤認識を減らすことが出来ます．但し，形態素解析を行う辞書に認識率が依存する欠点もあります．そのためジャンル名が固有名詞として辞書に登録されていない場合精度が下がってしまいます．（mecab-ipadic-NEologdを利用することで緩和可能）類似度検索を利用して推定する方法正規表現と同じく比較するジャンルが少ない場合にはかなりよさそうです．また正規表現と違いジャンル名の文字数が多い場合にも対応できます．更に類似度の値を調整することで精度と検出率を調整することが可能です．最後に今回3つの方法を考えましたが，他にも様々な推定方法（Doc2Vecを利用する方法等）がありますので，また近いうちに他の方法についても書いていきたいと思います！

文章のジャンルを推定する方法

はじめにこの記事ではcanvas要素にて描かれた画像をスクレイピングする方法について紹介したいと思います．注意この記事を参考にして利用する際には著作権法や利用規約を理解した上で行いましょう．今回の課題機械学習やデータ分析のために画像をスクレイピング・クローリングすることがあるかと思います．しかし，サイトによってはimg要素にて表示せずcanvas要素に描画して表示していることがあります．その際imgタグから取得する方法と同じ方法にて取ることができません．課題解決策JavaScriptが利用できるSeleniumを使用すれば取得可能です！そのため今回はSeleniumを利用してcanvasにて描かれた画像を保存します.流れ取得ページに移動→canvas要素を取得→画像に変換して保存→次のページに移動する→etc...事前準備動作環境(2021/07/02)Python:3.7.9selenium:3.141.0Chrome:91.0.4472.124ChromeDriver:91.0.4472.101ソースコードメインコードmodel/sample.pyfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byimport base64import osclass Main(object):    def __init__(self, url: str):        """class初期設定"""        self.url = url        self.url_title = None        self.driver = None        self.soup = None        self.idx = 0    def driver_init(self):        """webdriverの初期設定"""        op = Options()        op.add_argument("--disable-gpu")        op.add_argument("--disable-extensions")        op.add_argument("--proxy-server='direct://'")        op.add_argument("--proxy-bypass-list=*")        op.add_argument("--start-maximized")        # op.add_argument("--headless")        op.add_argument('--no-sandbox')        op.add_argument('--disable-dev-shm-usage')        self.driver = webdriver.Chrome('chromedriver', options=op)    def driver_wait(self):        """ページ移動時の関数"""        selector = 'body'        # ページ移動処理        self.driver.get(self.url)        # cssが反映されるまで待機処理        WebDriverWait(self.driver, 30).until(            EC.presence_of_element_located((By.CSS_SELECTOR, selector))        )    def canvas_get(self):        """canvas内の画像を取得する関数"""        self.dir_create()        print('canvas内の画像を取得する')        # canvas要素を取得する        canvas_first = self.driver.find_element_by_css_selector(            '#output')        # javascriptにて画像のDataURLsを取得する        dataURLs = self.driver.execute_script("return arguments[0].toDataURL('image/png').substring(21);",                                              canvas_first)        # DataURLsをバイナリデータにデコードする        first_png = base64.b64decode(dataURLs)        # デコードしたデータを保存する        with open("img/{}/{}.png".format(self.url_title, self.idx), 'wb') as f:            f.write(first_png)    def next_page_click(self):        """次のページに移動する関数"""        print('次のページに移動する')        next_page = self.driver.find_element_by_css_selector('#output')        next_page.click()        self.idx += 1    def dir_create(self):        """保存先フォルダを作成する関数"""        self.url_title = self.driver.title.split("-")[0].strip()        # フォルダが存在しない場合のみフォルダを生成する条件文        if os.path.exists('img') is False:            os.mkdir('img')        if os.path.exists('img/' + self.url_title) is False:            os.mkdir('img/' + self.url_title)実行コードmain.pyfrom model import sampleimport timedef sample_run():    # 収集先urlを指定    url = 'https://yum-git.github.io/Scraping-lec/html/'    try:        # クラス生成        Soup = sample.Main(url)        # webdriver初期設定        Soup.driver_init()        # 指定したurlへ移動+処理        Soup.driver_wait()        for _ in range(6):            # canvasタグ内の画像を取得            Soup.canvas_get()            # 次のページに移動            Soup.next_page_click()            time.sleep(3)    except Exception as e:        print(e)        Soup.driver.quit()sample_run()実行結果今回テスト用のページをGithubPageにて作成しました．https://yum-git.github.io/Scraping-lec/html/canvas属性をクリックすると別の画像になるようにしています．main.pyを実行するとimg/Picture Sample Page内に画像が保存されています！最後に今回はcanvas要素にて描かれた画像を保存する方法について書きました！今後もいろんなことについて書くことが出来ればと思います！

canvas要素にて描かれた画像をスクレイピングする方法

はじめにこんにちは，ある企業の長期インターンシップに参加している大学４年生です.今回インターンにて利用しているAWSのサービスの1つ「Fargate」について，安く運用したいと思ったこととその方法について書きたいと思います.そもそもFargateとは公式ドキュメント：https://aws.amazon.com/jp/fargate/コンテナ向けサーバーレスコンピューティングの一種であり，Dockerのイメージファイルを作るだけで簡単にデプロイできる便利なサービスです.今回の課題料金ざっくり料金表（データ転送料+為替レートにより前後します）vcpuメモリ（GB）料金（円/月）0.250.51,236円0.51.02,473円1.02.04,947円2.04.09,894円（2021年6月12日現在の為替レートで月に732時間動作させた際の表です）現在のインターン業務ではこのタスクをかなりの数同時稼動等をしているのでまともに動かすと，100,000円 ~ /月を余裕に超えてしまうためこのコストそのものが課題になっています．課題解決策FargateSpotAWS Fargate Spotの発表 – Fargateとスポットインスタンスの統合AWS Fargate キャパシティープロバイダー大雑把に説明すると，価格が7割引になるFargateです．実際に利用してみるまずFargateを利用するクラスターを作り，作成したクラスターを選択します．右上にクラスターの更新というボタンがあるので押します．クラスターの更新を押すとキャパシティープロパイダー戦略という項目があるので追加し，FARGATE_SPOTを選択します．そして実行したいタスクをクラスター内にて利用することでFargateSpotを利用することが出来ます．唯一の弱点FargateSpotは連続稼働を保証しておらず，ある日突然タスクが終了することがあります...（今まで一度も終了したこと見たことないけど）Fargate Spotが空きキャパシティを確保できるかぎり、ユーザーは指定したタスクを起動することができます。弱点をカバーする方法タスク終了前にsignalが送られるのでタスク内で再起動処理を行う！スポットの中断により Fargate Spot キャパシティーを使用するタスクが停止すると、タスクが停止する前に 2 分間の警告が送信されます。警告は、タスク状態変更イベントとして Amazon EventBridge に送信され、実行中のタスクに SIGTERM シグナルが送信されます。実際にタスク終了を検知するソースコードを下記に記載します.ソースコードimport signalimport sysimport timeimport randomimport pprint# 何かしらの処理を行い最終的に出力する変数# 配列・辞書等...response_data = []def signal_receive_process(sig, frame):    """SIGTERMシグナルを受け取った際に行う処理を書く"""    print("SIGTERM!!")    # 正常終了時の処理を行う    task_finish_process()    # タスクを終わらせる    sys.exit(0)def task_finish_process():    """タスクが終了する際に行う処理を書く"""    # 今回は単に表示させるだけ    pprint.pprint(response_data[0:20])def main():    """何かしらの処理（web・machine_running etc...）を書く"""    # SIGTERMを検知する    signal.signal(signal.SIGTERM, signal_receive_process)    for idx in range(100):        print(idx)        # 何かしらの処理を行う        append_data = idx * random.random()        # データを格納する        response_data.append(append_data)        idx += 1        time.sleep(1)    # 正常終了時の処理を行う    task_finish_process()if __name__ == '__main__':    main()終わりに今回，Fargateを安く利用する方法について主に書くことができました！今後も様々なことに書いていきたいと思います！

FargateSpotを使って利用料を3割にしたときのノウハウ

問題概要N人の国会議員とM個の人間関係N <= 12M <= N * (N - 1) / 2N人の中で何人かを選び派閥を作る派閥条件：派閥内の議員はお互いに知り合いである最大派閥の議員数を求める考え方まともに考えた場合グラフ問題各関係をグラフにして，一番大きいグラフを求める最大クリーク問題NP困難問題真剣に考えるなら論文だったり読みながらやるのかな…？今回の問題では…？N <= 12　M <= 66O(NM)，O(N^2)，O(M^2) : OKO(2^N) : OK（重要）N, M共に条件が緩いため，全探索が可能であることに着目する．解き方国会議員の組み合わせを全て出す全探索O(2^N)例：(1), (2), (3), (1,2), (1,3), ...その組み合わせが条件に満たしているか比べるO(N^2)例：(1,2,3,4)の場合：if (1,2) in 条件if (1,3) in 条件etc...全ての組み合わせが条件を満たしているものの内，最も多い要素数が答え実際に解いたコードfaction_result = 0# 深さ優先探索を行う関数def dfs(xy_list: list, member_count: int, position: int, member_list: list):    # 探査範囲外に探査した場合    # 選択した人と人の組み合わせを全てxy_listと比較する    # xy_list内になければそれは条件に合致しないとわかる    # print(member_list)    if member_count < position:        for first_member in range(len(member_list) - 1):            for second_member in range(first_member + 1, len(member_list)):                disc_list = [member_list[first_member], member_list[second_member]]                # print(Disc_list, xy_list)                if disc_list not in xy_list:                    return        # faction_resultと値を比較して小さい値を代入する        print(member_list)        global faction_result        if faction_result < len(member_list):            faction_result = len(member_list)    # dfsを利用する    # その人を選択しないか，するかの2通り    else:        # 選択しない        dfs(xy_list, member_count, position+1, member_list)        # 選択する        dfs(xy_list, member_count, position+1, member_list + [position])# [1], [2], [3], [1,2], [1,2,5]def main():    # 標準入力    N, M = map(int, input().split())    # 標準入力を入れる配列    xy_list = []    # M回入力を受け付ける    for _ in range(M):        xy_list.append(list(map(int, input().split())))    # 深さ優先探索にて再帰計算    dfs(xy_list, N, 1, [])    # 結果出力    print(faction_result)if __name__ == '__main__':    main()

毎日Atcoder #1 ABC-002-d

前回までのあらすじyzk-yzk-yzk.hatenablog.com前回，GCPの環境構築を完了させました．今回は本題であるVPNの構築を完了させます．環境Google Cloud PlatformUbuntu 16.04 LTSOpenVPN 2.4.8easy-rsa 3.0.7-1必要なものをインストールするそれでは前回環境構築したGCPのVMインスタンスをTera Tarmから起動します．ここに必要なものをインストールしていきます．まずはOpenVPNをインストールします．sudo apt -y install openvpn次にeasy-rsaをインストールします．現在いるディレクトリにインストールされますので，別の場所にインストールしたい場合は任意のディレクトリに移動してください．git clone https://github.com/OpenVPN/easy-rsa.gitインストール完了後，easy-rsaのフォルダーに移動します．cd easy-rsa/easyrsa3前提となる証明書を発行していこう初期設定まずはイニシャライズ（initialize），初期設定を行います．./easyrsa init-pkiCA証明書発行次にVPNに必要な証明書を発行していきます．./easyrsa build-caEnter New CA Key Passphraseと表示されるので，任意のパスフレーズを入力します．そのあと，もう一度入力を要求されますので同じパスフレーズを入力します．そのあと，証明書の名前を要求されるので任意の名前（なるべく覚えやすい名前）を入力します．これで証明書を発行できたので/etc/openvpn（openvpnをインストール時生成されたフォルダー）にコピーします．sudo cp pki/ca.crt /etc/openvpnサーバ証明書発行次に前に発行した証明書とは別にサーバ証明書を発行します．./easyrsa build-server-full server nopassEnter pass phraseと先ほど設定したパスフレーズを要求されるので，設定したパスフレーズを入力します．これでこちらの証明書も発行できましたのでこちらも/etc/openvpnにコピーします．sudo cp pki/issued/server.crt /etc/openvpnsudo cp pki/private/server.key /etc/openvpnDH鍵発行次に鍵となるDH鍵を発行します．./easy-rsa gen-dhThis is going to take a long timeと表示されるように，発行に時間がかかりますのでしばらく待ちます．DH parameters of size 2048 created at ~/easy-rsa/easyrsa3/pki/dh.pemと表示されれば発行完了します．このdh鍵を上と同じように/etc/openvpnにコピーします．sudo cp pki/dh.pem /etc/openvpnクライアント証明書発行証明書としてもう1つ，クライアント証明書を発行します．./easy-rsa gen-crlEnter pass phraseとこちらもパスフレーズを要求されるので，設定したパスフレーズを入力します．これでこちらの証明書も発行できましたのでこちらも/etc/openvpnにコピーします．sudo cp pki/crl.pem /etc/openvpnそして，crl.pemの書き込み権限をo+rにします．sudo chmod o+r /etc/openvpn/crl.pemこれで前提となる証明書を発行できました！ls /etc/openvpnca.crt  crl.pem  dh.pem  server.crt  server.key  update-resolv-confとなればちゃんと発行完了しています．前提証明書発行まとめ./easyrsa init-pki./easyrsa build-casudo cp pki/ca.crt /etc/openvpn./easyrsa build-server-full server nopasssudo cp pki/issued/server.crt /etc/openvpnsudo cp pki/private/server.key /etc/openvpn./easyrsa gen-dhsudo cp pki/dh.pem /etc/openvpn./easyrsa gen-crlsudo cp pki/crl.pem /etc/openvpnsudo chmod o+r /etc/openvpn/crl.pemOpenVPNの設定次にOpenVPNの設定を行います．任意のエディタ（私はvi）を使って設定ファイルを作ります．vi /etc/openvpn/server.confserver.conf内に以下の設定を記載していきます．port 1194proto udpdev tunca ca.crtcert server.crtkey server.keydh dh.pemcrl-verify crl.pemifconfig-pool-persist ipp.txtserver 10.8.0.0 255.255.255.0push "redirect-gateway def1 bypass-dhcp"push "route 10.8.0.0 255.255.255.0"push "dhcp-option DNS 8.8.8.8"client-to-clientkeepalive 10 120comp-lzouser nobodygroup nogrouppersist-keypersist-tunstatus /var/log/openvpn-status.loglog /var/log/openvpn.loglog-append /var/log/openvpn.logverb 3設定ファイル内を説明していきます．port接続する際のポート番号です，openvpnにおけるデフォルト番号は1194です．1194が他のソフトに利用されていたり使用できない場合はこの値を任意の番号に変更してください．protoプロトコルを選択します．tcpもしくはudpを選択します．こちらもデフォルトはudpですが，使用できない場合はtcpに変更してください．dev接続方式を選択します．私はtun(ルーティング方式)を選択しています．その他にもtap（ブリッジ方式）がありますのでそちらを選択したい場合は変更してください．（但し，設定ファイルをその他にも変更する必要があります．詳細はその項目に記載します．）ca~crl-verify前述した証明書のファイルの場所を記載しています．ip-config-pool-persistvpnに接続するクライアントを管理するファイルを指定しています．任意のファイル名を記載すれば大丈夫です．servervpnで使用するプライベートipとサブネットマスクを指定しています．デフォルトとして10.8.0.0 255.255.255.0です．任意の番号に変えたい場合は適切な番号に変更してください．(tap（ブリッジ方式）で接続する場合は例として，server-bridge 10.8.0.4 255.255.255.0 10.8.0.50 10.8.0.100と設定してください．こちらはvpnサーバーのipアドレスに10.8.0.4，サブネットマスクに255.255.255.0を割り振られています．クライアントには10.8.0.50から10.8.0.100を割り振ります．こちらの任意の番号に変えたい場合は適切な番号に変更してください．）pushredirect-gateway def1 bypass-dhcpは，すべてのトラフィック（ネットワーク接続）をVPN接続経由に行うための設定です．route 10.8.0.0 255.255.255.0は，クライアント側にVPNで使用するipアドレスとサブネットマスクを通知するための設定です．dhcp-option DNS 8.8.8.8は，使用するDNSを指定するための設定です．今回はGoogleのDNSサービスを使用しています．developers.google.com他のDNSサービスを使用したい場合は任意の番号に変更してください．参考にCloudfireのDNSサービスを紹介します．1.1.1.1client-to-clientクライアント間の接続を許可する場合はこの項目を追加してください．必要ない場合はコメントアウトしてもらっても大丈夫です．#client-to-clientkeepalivevpn通信を行っている際のタイムアウトを設定します．デフォルトは10 120です．左の値が通信確認の間隔，右の値が切断するまでの秒数です．comp-lzo通信する際のパケットを圧縮する指定です．圧縮すると通信速度が上がりますが，性能の低いマシンだと下がる場合が有ります．そのため，マシンの性能によってこの設定を無効にする場合はコメントアウトしてください．#comp-lzouser groupOpenVPNをどのユーザ，グループ権限で行うかを指定します．デフォルトは，userがnobody，groupがnogroupです．適切なユーザ，またはグループに書き換えたい場合は任意の権限に設定してください．persist-key，persist-tunOpenVPNが再起動したい際に，鍵ファイルなどを再読み込みしないようにする設定です．特別な理由がない限り設定して大丈夫です．設定しない場合はコメントアウトしてください．#persist-key#persist-tun(tap(ブリッジ方式)の場合はpersist-tunをpersist-tapに書き換えてください．)status，log，log-appendクライアントの状態を書き込むファイルとOpenVPNのログを書き込むファイルを指定しています．デフォルトはstatusはopenvpn-status.log，log，log-appendはopenvpn.logです．今回ログの保存場所を/var/log内に設定しています．verbログファイルに書き込む際にどれぐらいの事態によって書き込むかを指定しています．デフォルトは3です．3か4がおすすめです．ファイアウォール設定これでOpenVPNの設定は（ほぼ）完了しました！後はこのマシンに外部から接続させてやればVPN構築が完了します．まずはファイアウォールの設定をしましょう！まず前準備としてすべてのポートを遮断します．sudo ufw default denyその後，先ほど指定した接続するポート番号を開けます．sudo ufw allow 1194/udpまた，当環境はsshにて接続しているのでsshで接続したい番号を開けておきます．デフォルトは22番ですが任意の番号にしたい場合はここで開けておいてください．sudo ufw allow 2222その後，ファイアウォールを有効化します．sudo ufw enableちゃんと空いたか確認するために以下のコマンドを実行して指定のポートが空いているか確認してください．sudo ufw status私は2222ポートと1194/udpポートを開けています．GCP再設定しかし，この状態だとGCP側のファイアウォールが開いてないため，OpenVPNにもsshにも接続できません．一回GCPの設定に戻り，VPNネットワーク→ファイアウォールルールを選択します．ファイアウォールの設定画面が開くのでまず，default-allow-sshを編集します．編集画面のプロトコルとポートからtcpの値を22→2222に変更して保存します．次に，上のファイアウォールルール作成を押してOpenVPN用のファイアウォール設定を作成します．そして次のように設定します．優先度　1000ターゲット　ネットワーク上のすべてのインスタンスIP範囲　0.0.0.0/0プロトコルとポート　udp：1194これで保存すれば完了です！Ubuntuに戻ろうかこれでVPNには接続できます．しかし，接続した後インターネットには接続できない設定になっています．この状態を直すためにさらなる設定を行います．任意のエディタ（私はvi）にてvi /etc/default/ufwを開きます．その中のDEFAULT_FORWARD_POLICYをDROP→ACCEPTに変更します．#DEFAULT_FORWARD_POLICY="DROP"DEFAULT_FORWARD_POLICY="ACCEPT"次にvi /etc/ufw/sysctl.confを開きます．こちらではnet.ipv4.ip_forward=1をアンコメントします．#net.ipv4.ip_forward=1net.ipv4.ip_forward=1次にifconfigを開きます．ifconfigすると環境によりますが複数のインターフェイスが出てきます．ens4      Link encap:Ethernet  HWaddr 42:01:0a:8a:00:05          inet addr:グローバルip　もしくは　内部ip（どちらもGCPで確認可能）          inet6 addr: 割り振られた値 Scope:Link          UP BROADCAST RUNNING MULTICAST  MTU:1460  Metric:1          RX packets:881674 errors:0 dropped:0 overruns:0 frame:0          TX packets:804183 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:1000          RX bytes:365106167 (365.1 MB)  TX bytes:152643986 (152.6 MB)lo        Link encap:Local Loopback          inet addr:127.0.0.1  Mask:255.0.0.0          inet6 addr: ::1/128 Scope:Host          UP LOOPBACK RUNNING  MTU:65536  Metric:1          RX packets:0 errors:0 dropped:0 overruns:0 frame:0          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:1000          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)tun0      Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00          inet addr:10.8.0.1  P-t-P:10.8.0.2  Mask:255.255.255.255          inet6 addr: fe80::86e3:757c:3306:3ce2/64 Scope:Link          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1358  Metric:1          RX packets:48995 errors:0 dropped:0 overruns:0 frame:0          TX packets:53594 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:100          RX bytes:25728319 (25.7 MB)  TX bytes:43320430 (43.3 MB)インターフェイスの中にグローバルipか内部ip（GCPで確認可能）が割り振られているインターフェイスの名前（今回はens4）を覚えておきます．エディタにて，vi /etc/ufw/before.rulesを開きます．一番下の行まで進んで，COMMITと書かれたその下から次のような文章を書きます．設定後，ファイアウォールを再起動します．sudo ufw reloadOpenVPN起動ようやくOpenVPNを起動しましょう！sudo systemctl start openvpn以下のコマンドを実行して，プロセスが動いていれば成功しています．ps -ef | grep openvpn | grep -v grep（起動できなかった場合はsudo systemctl start openvpn@serverにて起動できるか確認してください．こちらで起動できない場合は，スペルミスやポート開放ミスが発生している恐れがあるので，/var/log/openvpn.logを見てエラー原因を見つけてください．これでVPN構築は完了しました！！後はVPNを外部から接続するテストだけです！近日中にテストのための準備とテストについて記載したいと思いますのでよろしくお願いします．前回：Google Cloud Platformを使ってVPNを構築してみた GCP環境構築編 - yzk_yzk_yzk’s blog次回：作成中

Google Cloud Platformを使ってVPNを構築してみた　VPN構築編

あらすじ大学が延期になったり、オンラインになったりでいろいろと大変なことが起きている現状です．この機に何か面白いことしてみたいなーと思った頃，突然思いついたこととしてVPN構築してみたいなーと思いました．（ついでにUbuntuとかに建てればLinux触れて楽しいとか思ったりしてました）VirtualBoxにて仮想環境を組んだうえで建てるやり方とクラウドサービスを利用して外部にサーバーを建てるやり方をまず考え，少し考えた結果今後クラウドサービスを使う機会も多くなると考え後者を選ぶことにしました． 環境・Google Cloud Platform・Ubuntu 16.04 LTS・OpenVPN 2.4.8・easy-rsa 3.0.7-1 まずはGCPの環境構築そんなわけでまずはGCPに登録してクラウドを借りるところから始まります．cloud.google.comサクッと無料トライアル押してGoogleアカウントとクレジットカードを使って登録していきます．無料枠内での使用であれば料金は自動発生しません．登録が完了した後はVPNを構築するための機械を作成していきます．まずは機械を管理するためのプロジェクトを作成します．プロジェクト作成初期画面にて①をクリックして②の新しいプロジェクトを選択します． プロジェクト名に任意の名前を入力します．※後から名前は変更できませんVMインスタンス作成次にプロジェクト内にVPNサーバとなる機械，VMインスタンスを作成します．左上のハンバーガーメニューからCompute EngineからVMインスタンスを選択します．作成ボタンを選択した後，VMインスタンスの設定画面が開きます．無料枠内での利用のために次のように設定します．名前 任意の名前を入力しますリージョン・ゾーンリージョンを「us-west1」，ゾーンを「us-west1-a」にしますマシンの構成マシンタイプを「f1-micro」にしますブートディスクオペレーティングシステムを「Ubuntu」　バージョンを「Ubuntu 16.04 LTS」にします管理、セキュリティ、ディスク、ネットワーク、単一テナンシー内のネットワーキングIP転送を「オン」にします設定後作成を押せば無事に作成することが出来ました！VPNを構築するための準備それではVMインスタンスの機械を動かしてみましょう！上の画面内の接続からSSHを選択するとGCP内にて起動することが出来ます．この中にVPNサーバを立てていきます．ただ私はTera Tarmなどで接続したい人なのでもうひと手間加えます．（外部ソフトで接続しなくてもいい人は飛ばしても大丈夫です．） SSH鍵を生成する自分の利用しているPCに戻り，ターミナルを起動します．（windowsの場合はWindowsPowerShell）ターミナル内にて下記のコードを実行します．ssh-keygen -t rsa -b 4096 -C "任意のユーザ名"そのあと3回入力を求められます．1回目は保存場所（とファイル名）を指定されますので任意の場所に保存します．2回目と3回目はパスワードを聞かれますので，任意のパスワードか空欄のままエンターを押します．続いて，保存先のフォルダ内に2つファイルが生成されていますので，.pubのほうをターミナルのcatを使うか，メモ帳などで開いて表示します． 中身の文字列をコピーします．文字列を利用するので他の物をコピーしたりしないでください．ssh-rsa AAAA ........... 設定したユーザ名SSH鍵をGCP内に登録する先ほど作成したVMインスタンスをクリックして詳細を開きます．その後上の編集を選択した後，SSH鍵がN個ありますの下の表示して編集するを選択します．選択した後，先ほどコピーした文字列を貼り付けます．その後，下の保存を選択します．Tera Tarmにて接続する最後にTera Tarmにて外部から接続します．Tera Tarmを開いて以下のように設定してOKを押します．ホスト設定したユーザ名@VMインスタンスの外部IP（外部IPはインスタンス一覧から確認します）サービスSSHTCPポート22（後で変更します　その時はその番号に変更してください）OKを押すと認証画面が出るので，RSA/DSA/ESDSA/ED25519鍵を使うを選択して，秘密鍵から先ほど生成された.pubじゃないほうを選択してOKを押します．これで接続できれば完了です．（ターミナルで接続する場合はssh 設定したユーザ名@VMインスタンスの外部IP -i ~/.ssh/”.pubじゃないほうのファイル名”にて接続できます．） 最低限のGCP設定完了ですこれでGCPを「とりあえず」使えるようになりました！近日中にてVMインスタンス内にVPNサーバ構築方法について記載したいと思うのでよろしくお願いします．次回：Google Cloud Platformを使ってVPNを構築してみた VPN構築編 - yzk_yzk_yzk’s blog