7-9 TensotBoard port 8082でWebpreviewを立ち上げると精度と損失が表示される graphsを選択すると計算グラフが表示される distributions(分布)、この意味は不明 histogramsこれも不明

DNNClassifierで簡単学習 正解率は0.9558とおなじ

7-7ニューラルネットワークの実装 # パッケージの読み込み import tensorflow as tf import numpy as np import pandas as pd # BigQueryクエリ結果をDataFrameに読み込む query = 'SELECT * FROM testdataset.wdbc ORDER BY index' dataset = pd.read_gbq(p…

3-4 Cloud Natural Language API 3-4-2 エンティティ分析 from google.cloud import language nl_client = language.Client() # 解析する文章 text = u'六本木ヒルズにあるGoogleのオフィスには山手線駅名の会議室があります。' document = nl_client.docume…

3-3 Cloud Translation API 3-3-2 日本語を英語に翻訳 # クライアントライブラリのロード from google.cloud import translate # クライアントのインスタンスを作成 translate_client = translate.Client() # 翻訳したい文章 text = u'GCPで機械学習が簡単に…

3-2 Cloud Vision API 3-2-2 画像のラベル検出 from google.cloud import vision from google.cloud import translate #visionクライアントのインスタンス vision_client = vision.Client() #translateクライアントのインスタンス translate_client = transl…

2-4 Datalabで様々なグラフ描画 !bq load --autodetect testdataset.tips ../datasets/tips.csv import pandas as pd query = """ SELECT * FROM testdataset.tips """ df=pd.read_gbq(project_id='my-project-test-189202',query=query) df.head() df.plot(…

2-3 DatalabとBigQueryの連携 2-3.-2 クエリをDatalabから実行 !bq mk testdataset !bq load testdataset.names ../datasets/name.csv ../datasets/schema.json %%bq query SELECT name,count FROM testdataset.names WHERE state = 'CA' AND gender = 'F' O…

10,000ステップの学習に戻し再度実行 1日と１時間で終了 食べ物ではないなにかかな 動画にもしてみる ffmpegにかけるためファイル名を連番にリネームする #code:rename.py import glob import os fl = glob.glob("*.jpg") count = 0 for f in sorted(fl): s …

必要なファイル dcgan.py setup.sh test.py train.py util.py 学習をかけると100ステップで約１５分かかっているので10,000ステップは 22時間かかってしまうので1000ステップに縮小 結果 食べ物とはわからないレベルになった。 今度時間があるときに再実行し…

必要なファイル agent.py environment.py play.py qfunction.py replay_memory.py train.py を用意 $python tarin.py で実行させたがreplay_memory.pyでメモリーエラー MemTotal: 6.0 GB MemFree: 3,3 GB replay_memory.pyで要求されたメモリーは約2.8Gなの…

ステップ１ 実行環境を準備する pip install gym pip install gym[atari] gym[atari]でエラーがでた。 xorg-devをinstallするとエラーが収まった。 掲載されていたソースを実行させたところ すぐ終了するのでrange(1000)を10000000まであげた。

仮想環境からtensorflow1.4.0を削除 pip uninstall tensorflow 改めてtensolflow1.0.1をインストール (GPUなし python version=3.5.*) pip install --ignore-installed --upgrade https:storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp35-…

ステップ３ Neural Conversational Modelの構築 tensorflowはver 0.9.0をいれていたが最新版にアップグレードする 仮想環境に入ってpip instal -U tensorflowでver1.4.0になった。 GitHubよりseq2seq_model.py,train.py,util.pyをdownloadする $python train…

宅内のサーバにアクセスするときIPアドレスを直接入力していた（数が少ないので暗記していた） まったく困ってはいなかったが「ホスト名だけでサーバーにアクセスできる」という記事が あったので ラズパイに名前解決ソフトを導入してみることにした。 Avahi…

STEP 2 日本語解析の処理(つづき) TensorFlowのinstall condaの仮想環境を使ってinstallする 仮想環境管理のコマンド ◆仮想環境を作る conda create -n(または--name) py27(これが仮想環境の名前) python=3.5(pythonのバージョンを指定可能) パッケージが全…

str_pip = !pip list pip_list = [] for s in str_pip[3:]: pip_list.append(s.split(' ')[0].strip()) pip_set = set(pip_list) str_conda = !conda list conda_list = [] for s in str_conda[2:]: conda_list.append(s.split(' ')[0].strip()) conda_set =…

ステップ１会話データ・セット構築 Jupyter notebookで構築していく フォルダ構造 . ├── data │ ├── conversation_data.txt │ └── urllist.txt └── 対話する人工知能.ipynb urllist.txt http://www.aozora.gr.jp/cards/000148/files/773_14560.html http://w…

12.2静的ファイルの配信 フォルダ構成 viz/ data/ nobel_winners.json index.html script.js #index.html <meta charset="utf-8"> <style> body{font-family: sans-serif;} </style> <h2 id='data-title'></h2> <div id='data'> <pre></pre> </div> <script src="http://d3js.org/d3.v3.min.js"></script> </meta>

12.1 データ配信 #nobel_viz.py from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "Hello world!" if __name__ == "__main__": app.run(port=8000,debug=True) nobel_viz.pyがあるフォルダで $ python nobel_viz.py と実…

11.5 受賞者の年齢と没年齢 df['award_age'].hist(bins=20) <matplotlib.axes._subplots.AxesSubplot at 0x7f1459757978> [f:id:bitop:20171009090400p:plain] sns.distplot(df['award_age']) <matplotlib.axes._subplots.AxesSubplot at 0x7f1458f80fd0> 箱ひげ図 sns.boxplot(df.gender,df.award_age) plt.show() sns.violinplot(df.gen…</matplotlib.axes._subplots.axessubplot></matplotlib.axes._subplots.axessubplot>

11.1 探索の開始 import pandas as pd import numpy as np import matplotlib.pyplot as plt import json import seaborn as sb %matplotlib inline plt.rcParams['figure.figsize'] = 8,4 #Mongoデータベースがうまく動かないのでjsonファイルをDataFrameに…

10.2 対話型セッションの開始 p224ページのipython [notebook | qt]とあるが ipython qtではエラーがでる。 多分ipython qtconsoleまたはjupyter qtconsole %matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt imp…

9.4 データのクリーニング df.born_in.describe() count 1052 unique 40 top freq 910 Name: born_in, dtype: object 9.4.1 混合した型の検出 #applyはseriesのメソッドでseriesの要素にtype関数を適用させている set(df.born_in.apply(type)) {str} 9.4.2 …

9.3 インデックスとpandasのデータ選択 #列のカラム名 print(df.columns) #列数 print(len(df.columns)) Index(['born_in', 'category', 'country', 'date_of_birth', 'date_of_death', 'gender', 'link', 'name', 'place_of_birth', 'place_of_death', 'tex…

import pandas as pd import numpy as np np.random.seed(0) 9.2データの調査 def reload_data(name='nobel_winners_dirty.json'): df = pd.read_json(open('data/' + name)) return df df = reload_data() df.info() <class 'pandas.core.frame.DataFrame'> Int64Index: 1052 entries, 0 to 1051 </class>…

8.7 パネル df1 = pd.DataFrame({'foo':[1,2,3],'bar':['a','b','c']}) df2 = pd.DataFrame({'baz':[7,8,9,11],'qux':['p','q','r','t']}) print(df1);print(df2) bar foo 0 a 1 1 b 2 2 c 3 baz qux 0 7 p 1 8 q 2 9 r 3 11 t pn = pd.Panel({'item1':df1,'…

8.6 SeriesからDataFrameを作成する s = pd.Series([1,2,3,4]) print(s) 0 1 1 2 2 3 3 4 dtype: int64 s = pd.Series([1,2,3,4],index=['a','b','c','d']) print(s) a 1 b 2 c 3 d 4 dtype: int64 s = pd.Series({'a':1,'b':2,'c':3,'d':4}) print(s) a 1 b…

8.5 DataFrameの作成と保存 df = pd.DataFrame({ 'name':['Albert Einstein','Narie Curie','William Faulkner'], 'category':['Physics','Chemistry','Literature'] }) print(df.head()) category name 0 Physics Albert Einstein 1 Chemistry Narie Curie …

jupyter notebookから直接MarkDownファイルに変換してここに貼り付ける方式に変更した 8.4DataFrame import pandas as pd PATH = "/home/beetle/myproject/DataVisualization/nobel_winners/dataviz-with-python-and-js/Ch06_Heavyweight_Scraping_with_Scra…