10年戦えるデータ分析入門

8章 遅れて来た分析SQL最強の武器 -ウインドウ関数 8.1 サブクエリで複雑なSELECT文を組み立てる かなり複雑なことをやらせられるようになった。FORM句 のあとにSELECT文をかける。またin句のあとにもかける。 8.2 ウインドウ関数でグループ全体を対象にした…

10年戦えるデータ分析入門

7章 ジョインを制する者はRDBMSを制す 応用編 7.3 一歩進んだjoin セルフジョイン 1年前の売り上げと比較するなどに使用される 7.4 組み合わせを生成するジョインでバスケット分析 かなり複雑

10年戦えるデータ分析入門

6章 ジョインを制する者はRDBMSを制す 基礎編 6.2 joinでテーブルを連結する 基本構文 SELECT * FROM assess_log as a join customers as c on a.customer_id = c.customer_id ; joinにはインナー結合とアウター結合がある 実行順 ジョイン処理 WHERE句によ…

10年戦えるデータ分析入門

5章 関数で自由自在に新しいカラムを作り出す 5.1 数値の演算 演算は列全体に影響する、特定の行指定するのであればCASE句を使用する 型のキャストはCAST(col) 5.2 文字列の演算 関数には集約関数とスカラー関数がある 集約関数は列全体に対して演算するが、…

10年戦えるデータ分析入門

4章 すべての分析は集計から始まる 集約関数は便利 - count(col) or count(distinct col) - sum(col) - avg(col) - min(col) - max(col) - var_pop(col) 母分散 - var_samp(col) 標本分散 - stddev_pop(col) 母標準偏差 - stddev_samp(col) 標本標準偏差 GRO…

10年戦えるデータ分析入門

1章 10年戦えるデータ分析の技術 飛ばす 2章 さわってみようRDBMS 飛ばす 3章 簡単 select文でデータ探索 セレクト文での句の並べ方 SELECT FROM WHERE ORDER BY LIMIT

将棋AIで学ぶディープラーニングを読む

7.6 共通処理の実装 7.7.1 棋譜の読み込み read_kifu(kifu_list_file)はtrain_pollicy_value.pyなどから棋譜ファイルパスを渡されCSA形式のファイルをパースして初期局面から着手リストから局面を構築してそのpositionを返す 7.7.2 局面から入力特徴を作成 m…

将棋AIで学ぶディープラーニングを読む

7.5.1 棋譜のクリーニング 2015,2016,2017年の3年分の棋譜をDwonLoadしてクリーニングした 結構時間がかかった。 kifu count : 82882 rate mean : 3080.1035267006105 rate median : 3054.0 rate max : 9630.0 rate min : 2500.0 約3倍のデータが集まった。…

将棋AIで学ぶディープラーニングを読む

6.4.6 Chainerのinnstall lubuntu 16.04(GPUは積んでいない) にinstall ver 3.0.0 Chainer: A flexible framework for neural networks wget https://github.com/chainer/chainer/archive/v3.0.0.tar.gz #最後のファイル名をinstallしたchainerのバージョン…

将棋AIで学ぶディープラーニングを読む

7-3 python-shogi クラス Piece(object) def __init__(self, piece_type,color) piece_typeとcolorを登録 def symbol(self) 実行例 silver = shogi.Piece(shogi.SILVER,shogi.BLACK) silver.symbol() 'S' def japanese_symbol(self) 実行例 silver = shogi.P…

将棋AIで学ぶディープラーニングを読む

7-3 python-shogi クラス Board(object) Boardクラス(主クラス) def __init__(self, sfen=None) self.pseudo_legal_moves 着手生成クラスのインスタンス self.legal_moves 着手生成クラスのインスタンス sfen文字列で局面を与えられていなければ初期局面で初…

将棋AIで学ぶディープラーニングを読む

7-3 python-shogi 駒移動(bitboard) def shogi.shift_down(b) bitboardを引数にとり、全てのbitを1rank下げた(BLACK側から見て)bitboardを返す。引数のbitboardには影響はない。 def shigi.shift_2_down(b) bitboardを引数にとり、全てのbitを2rank下げた(BL…

将棋AIで学ぶディープラーニングを読む

7-3 python-shogi fileが列、rankが行を表現する for sq in shogi.SQUARES: print(shogi.file_index(sq),end="") if (sq+1) % 9 == 0: print("") print("") for sq in shogi.SQUARES: print(shogi.rank_index(sq),end="") if (sq+1) % 9 == 0: print("") sho…

将棋AIで学ぶディープラーニングを読む

7-3 python-shogi pydlshogiは基本的なところはpython-shogiに依存している。 python-shogiはpythonだけで記述されたshogi用のライブラリ。 github.com ファイル構成と主な役割 init.py:主な定数、変数、共通関数、主要なクラス Consts.py その他定数 CAS.py…

将棋AIで学ぶディープラーニングを読む

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる train_mnist_cnn.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる train_mnist_dnn.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる and_10.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる and_3.py 19min

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる exor.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる decord.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる and_in3.py

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる or.py エポック500ぐらいから学習の収束が早まっている

interface算数&ラズパイから始めるディープ・ラーニングを読む

プログラムを動かしてみる and.py 学習結果の評価のfor文のxrangeをrangeに修正してから実行 エポックが100ごとにsnapshot_iterを作っていく。 エポックが1700を超えると急に精度が高くなった。 トータルで27分かかった。雑誌には43秒で終了とあったので …

interface算数&ラズパイから始めるディープ・ラーニングを読む

linux機 OS:lubuntu 64bit GPU:GTX260 CUDA9.0,cuDNN7.04のinstallを試みるが失敗 GPUなしで始める。

Interface2017年05月号新画像処理101を読む

技B 特殊加工 B-1 手書きのイラスト風に変換する「ポスター風画像」 B-2 鉛筆画の濃淡を表現する「鉛筆画風ハッチング」 B-3 鉛筆画の濃淡をより豊かに表現する「鉛筆画風クロス・ハッチング」 B-4 滑らかな鉛筆画を表現する「鉛筆画風ブレンディング」 B-5 …

Interface2017年05月号新画像処理101を読む

11-8 探したいパターンと比べる代表的な物体検出「テンプレート・マッチング」 import cv2 import numpy as np from matplotlib import pyplot as plt img_src = cv2.imread("data/img_11-8.bmp") img_src2 = cv2.cvtColor(img_src,cv2.COLOR_RGB2GRAY) img_…

Interface2017年05月号新画像処理101を読む

11-4 高周波成分を階層表現する「ラプラシアン・ピラミッド」 11-5 複雑さから領域分離が行える「局所フラクタル」 11-6 2値画像のまとまり度合いを評価する「平均隣接数」 11-7 画像の複雑さを数値1つで表せる「ブランケット法によるフラクタル次元」 pass

Interface2017年05月号新画像処理101を読む

11-3 低周波成分を階層表現する「ガウシアン・ピラミッド」 import cv2 import numpy as np img_src = cv2.imread("data/img_11-3.bmp") img_dst = cv2.pyrDown(img_src) cv2.imshow("img_src",img_src) cv2.imshow("img_dst",img_dst) cv2.waitKey(0) cv2.d…

Interface2017年05月号新画像処理101を読む

技11 画像分析あれこれ 11-1 著作権等の情報を埋め込む「電子すかし」 11-2 特徴強度をわかりやすく表示する「レベル表示画像」 pass