3-2-6 IPアドレスを扱う import pandas as pd import psycopg2 import numpy as np import ipaddress ip1 = ipaddress.ip_address('127.0.0.1') ip2 = ipaddress.ip_address('127.0.0.2') ip3 = ipaddress.ip_address('192.168.0.1') df = pd.DataFrame({'lt…

3-2 複数の値に対する操作 3-2-1 文字列を連結する conn = psycopg2.connect("dbname=BigData host=localhost user=testuser") df = pd.read_sql("SELECT * FROM mst_user_location", conn) print(df) df['pref_city'] = df['pref_name'] + df['city_name'] …

3-1-3 文字列を配列に分解する import re def process(s): m=re.search('//[^/]+([^?#]+)',s) return m.group(0).split('/')[3] conn = psycopg2.connect("dbname=BigData host=localhost user=testuser") df = pd.read_sql("SELECT * FROM access_log", con…

3-1 1つの値に対する操作 3-1-1 コードをラベルに置き換える import pandas as pd import psycopg2 conn = psycopg2.connect("dbname=BigData host=localhost user=testuser") df = pd.read_sql("SELECT * FROM mst_users", conn) dev = { 1:"PC", 2:"SP", 3…

8章 遅れて来た分析SQL最強の武器 -ウインドウ関数 8.1 サブクエリで複雑なSELECT文を組み立てる かなり複雑なことをやらせられるようになった。FORM句 のあとにSELECT文をかける。またin句のあとにもかける。 8.2 ウインドウ関数でグループ全体を対象にした…

7章 ジョインを制する者はRDBMSを制す 応用編 7.3 一歩進んだjoin セルフジョイン １年前の売り上げと比較するなどに使用される 7.4 組み合わせを生成するジョインでバスケット分析 かなり複雑

6章 ジョインを制する者はRDBMSを制す 基礎編 6.2 joinでテーブルを連結する 基本構文 SELECT * FROM assess_log as a join customers as c on a.customer_id = c.customer_id ; joinにはインナー結合とアウター結合がある 実行順 ジョイン処理 WHERE句によ…

5章 関数で自由自在に新しいカラムを作り出す 5.1 数値の演算 演算は列全体に影響する、特定の行指定するのであればCASE句を使用する 型のキャストはCAST(col) 5.2 文字列の演算 関数には集約関数とスカラー関数がある 集約関数は列全体に対して演算するが、…

4章 すべての分析は集計から始まる 集約関数は便利 - count(col) or count(distinct col) - sum(col) - avg(col) - min(col) - max(col) - var_pop(col) 母分散 - var_samp(col) 標本分散 - stddev_pop(col) 母標準偏差 - stddev_samp(col) 標本標準偏差 GRO…

1章 10年戦えるデータ分析の技術 飛ばす 2章 さわってみようRDBMS 飛ばす 3章 簡単 select文でデータ探索 セレクト文での句の並べ方 SELECT FROM WHERE ORDER BY LIMIT

7.6 共通処理の実装 7.7.1 棋譜の読み込み read_kifu(kifu_list_file)はtrain_pollicy_value.pyなどから棋譜ファイルパスを渡されCSA形式のファイルをパースして初期局面から着手リストから局面を構築してそのpositionを返す 7.7.2 局面から入力特徴を作成 m…

7.5.1 棋譜のクリーニング 2015,2016,2017年の３年分の棋譜をDwonLoadしてクリーニングした 結構時間がかかった。 kifu count : 82882 rate mean : 3080.1035267006105 rate median : 3054.0 rate max : 9630.0 rate min : 2500.0 約3倍のデータが集まった。…

6.4.6 Chainerのinnstall lubuntu 16.04(GPUは積んでいない) にinstall ver 3.0.0 Chainer: A flexible framework for neural networks wget https://github.com/chainer/chainer/archive/v3.0.0.tar.gz #最後のファイル名をinstallしたchainerのバージョン…

7-3 python-shogi クラス Piece(object) def __init__(self, piece_type,color) piece_typeとcolorを登録 def symbol(self) 実行例 silver = shogi.Piece(shogi.SILVER,shogi.BLACK) silver.symbol() 'S' def japanese_symbol(self) 実行例 silver = shogi.P…

7-3 python-shogi クラス Board(object) Boardクラス(主クラス) def __init__(self, sfen=None) self.pseudo_legal_moves 着手生成クラスのインスタンス self.legal_moves 着手生成クラスのインスタンス sfen文字列で局面を与えられていなければ初期局面で初…

7-3 python-shogi 駒移動(bitboard) def shogi.shift_down(b) bitboardを引数にとり、全てのbitを1rank下げた(BLACK側から見て)bitboardを返す。引数のbitboardには影響はない。 def shigi.shift_2_down(b) bitboardを引数にとり、全てのbitを2rank下げた(BL…

7-3 python-shogi fileが列、rankが行を表現する for sq in shogi.SQUARES: print(shogi.file_index(sq),end="") if (sq+1) % 9 == 0: print("") print("") for sq in shogi.SQUARES: print(shogi.rank_index(sq),end="") if (sq+1) % 9 == 0: print("") sho…

7-3 python-shogi pydlshogiは基本的なところはpython-shogiに依存している。 python-shogiはpythonだけで記述されたshogi用のライブラリ。 github.com ファイル構成と主な役割 init.py:主な定数、変数、共通関数、主要なクラス Consts.py その他定数 CAS.py…

プログラムを動かしてみる train_mnist_cnn.py

プログラムを動かしてみる train_mnist_dnn.py

プログラムを動かしてみる and_10.py

プログラムを動かしてみる and_3.py 19min

プログラムを動かしてみる exor.py

プログラムを動かしてみる decord.py

プログラムを動かしてみる and_in3.py

プログラムを動かしてみる or.py エポック500ぐらいから学習の収束が早まっている

プログラムを動かしてみる and.py 学習結果の評価のfor文のxrangeをrangeに修正してから実行 エポックが１００ごとにsnapshot_iterを作っていく。 エポックが1700を超えると急に精度が高くなった。 トータルで27分かかった。雑誌には43秒で終了とあったので …

linux機 OS:lubuntu 64bit GPU:GTX260 CUDA9.0,cuDNN7.04のinstallを試みるが失敗 GPUなしで始める。

技B 特殊加工 B-1 手書きのイラスト風に変換する「ポスター風画像」 B-2 鉛筆画の濃淡を表現する「鉛筆画風ハッチング」 B-3 鉛筆画の濃淡をより豊かに表現する「鉛筆画風クロス・ハッチング」 B-4 滑らかな鉛筆画を表現する「鉛筆画風ブレンディング」 B-5 …