何故かなかなかスキーマを作成できなかった。どうもrootユーザーでないと作れないようなのでServer Connectionsの画面でUsernameをrootにしてPasswordのStore in vaultでDockerで設定したパスワードを設定して置いてログインしたらスキーマを作れるようにな…
図書館で借りてきた。 wslはすでに導入済みなのでDockerをinstallした。versionは4.28.0である。 Amazonの評価でいろいろ言われているようなのでこちらの記事を参考に修正をしつつ読んでいく。 qiita.com docker-compose.ymlが修正できたのでMySQLがinstall…
1章の検証環境を構築しようでつまずいた。（Windows11環境） もとからwslはinstallしてあったのでUbuntu22.04が入っていた。そのまま構築手順を進めていったが構築テストでエラーが出てくる。Ubuntuを20.04にinstallし直してみたが関係なかった。 ネットで情…
江端智一さんが公開されている、「お金に愛されないエンジニア」のための新行動論（4）でDockerで株価データのデータベースを作って、Golangのシミュレーションプログラムを実行しpythonでグラフを描いてみるまでを真似してみた。 eetimes.itmedia.co.jp 江…
7章 商品推奨のための興味のスコアリング ◆rcenとfreqに対して 再閲覧確率pred_probを推定する ◆pred_probはrcenについて単調減少する ◆pred_probはfreqについて単調増加する ◆pred_probとprobの二乗誤差を総件数の重み付けで最小化する rcen（最近閲覧した…
6章 数理最適化APIとWebアプリケーションの開発 Flackを使ってWebアプリケーションを作り数理最適化の自動化を図る 【問題】 サークルにおける学生の乗車グループ分け。 ◆学生をどの車に割り当てる ◆乗車人数が定員を超えてはいけない ◆運転免許証を持ってい…
5章 コストを最小化する輸送車両の配送計画 【問題】 ◆最適化対象期間 ◆地理 地点の集合 自社の拠点 移動時間 ◆注文 届け先地点 配送指定期間 重量 配送を外部に委託した場合の費用 ◆トラックの運用 所定労働時間 トラックの最大積載量 1時間当たりの残業代 …
4章 割引クーポンキャンペーンの効果最大化 【問題】 限られたキャンペーン予算で最大の来客増加数を最大にする ・ダイレクトメールの種類。1.セールのチラシのみ 2.セールのチラシと1000円のクーポン 3.セールのチラシと2000円のクーポン ・各会員に対して…
2.3 規模の大きな数理最適化問題をPythonの数理最適化ライブラリで解く 【問題】 工場でp1,p2,p3,p4の製品を作っている。製品を製造するには原材料m1,m2,m3が必要でその情報はcsvファイルに記録されている。 m1 m2 m3 p1 2 0 1 p2 3 2 0 p3 0 2 2 p4 2 2 2 …
2.1 連立方程式をPythonの数理最適化ライブラリで解く 【問題】 1個120円のりんごと1個150円のなしを合わせて10個買ったら代金の合計が1440円でした、りんごとなしはそれぞれ何個買ったでしょうか。 2.2 線形計画問題をPythonの数理最適化ライブラリで解く …
6.10 テキスト分析（１）Twitterからデータを取得し、MeCabで分かち書きをする Twitterで集めてきたデータ MeCabで分かち書きしたもの 6.11 テキスト分析（２） Wordcloud 一橋大学 慶応義塾大学 早稲田大学
5.7 パネルデータ分析(1) データ構築 https://bashtage.github.io/linearmodels/doc/panel/examples/examples.html 組合は誰の賃金を上げるのか？若い男性のユニオニズムと賃金率決定の動的モデルの例題 5.8 パネルデータ分析(2) Pooled OLS 5.9 パネルデー…
5.6 回帰分析(4) 操作変数法 linearmodelsをinstallする pip install linearmodels (Relesed Mar 8,2021) 操作変数法(隠れた要因をあぶりだすための方法？) データセットは教育歴の既婚女性の給与への効果に関するデータ データセットの変数の意味 nlf 1 if …
Airbnbの価格分析 空間情報の活用 データはkaggleの www.kaggle.com から取得。本とは違いcsvファイルであったが一部カラムがないがほぼ同じと思われる。 単回帰分析と散布図を描画 重回帰分析をする、各変数の相関係数をヒートマップで表現、number_of_revi…
5章 Pythonによる多変量解析ロスセクション・パネルデータ 5.1 回帰分析の考え方 最小二乗法 省略 5.2 データの種類 クロスセクション・時系列データ・パネルデータ 省略 5.3 回帰分析（１） 単回帰分析 データ読み込み（26カラム、205レコード） 単回帰分析…
4章 Pythonによる基礎的な統計分析 4.1 Pythonによる基礎的な統計分析 4.2 データを把握する (1) 型や特性を把握する 4.3 データを把握する(2) 平均、分散、標準偏差を求める 4.4 データを把握する (3) ヒストグラムを描く 4.5 データを把握する (4) 変数間…
Column EDINETからデータを取得する 金融庁が運営しているシステムでedinet-pythonでアクセスできる DLした有価証券報告書のPDF XBRLファイルをパースしたもの 【経営方針、経営環境及び対処すべき課題等】 (Value: 1 【経営方針、経営環境及び対処すべき課…
3.4 データを「つかう」(2) Linked Open Data DBpedia.orgから日本のコンピュータゲームメーカーの情報について取得 {'head': {'link': [], 'vars': ['name', 'abstract']}, 'results': {'distinct': False, 'ordered': True, 'bindings': [{'name': {'type'…
column 法人番号で宮城県の企業の数をカウントしてみる データの入手先 https://www.houjin-bangou.nta.go.jp/download/zenken/ csvを読み込むときUnicodeErrorがでるのでエンコードを指定する data = pd.read_csv('04_miyagi_all_20210226.csv',sep=',',enc…
3.3 データを「つかう」(1)政府統計データ 全国の市町村コードを取得する 総務省が制定している都道府県コードとは仕様が異なるようです。 全国の年単位の企業数をRESAS APIから取得する これをcsv形式でファイルに出力させタブロー（public）で棒グラフにす…
1章 経済・経営分析のためのデータサイエンス 省略 2章 初めの一歩、Pythonを使ってみよう 省略 3章 Pythonを使ってデータを集めよう 3.1 データを「つくる」 Webスクレイピング 3.1.2 COVID-19に関する支援状況を把握する 3.2 データで「まなぶ」 Kaggleと…
14章 広告で販売数を増やすには 広告による販売数の効果を微分方程式でモデル化して複数の手法を比較している。
13章 アプリの利用者を予測するには 最初は単純な微分法方程式を立ててモデルをつくる。それでは現実に合わないのでアプリ利用者に上限があるモデルを作り直す。
観測できない要因の影響を予想するには？ 観測されていないが予測値に影響を与えている要因があったとしても回帰モデルでは観測される要因に対して正しい判定をしてしまうことがある。回帰モデルに正しく要因を導入するとよりよい結果が得られる。
11章 仮説検定ってどうやるの OLS推定値の店員数ｘの係数ｂが確率変数である。このｂは分散が未知である。このように分散がわかっていない確率変数はｔ分布をすることがわかっている。そのｔ分布を使ってモデルを構築していくが、その検定結果が正しくても、…
10章 確率モデルでデータを分析するには？ 推定量を統計的に処理するためにOLS係数に確率を導入する。
9章売上げを予測するには 予測に必要な数学の紹介。最小二乗法
8章 競争に負けない価格設定とは 新しいモデルを作る。生産量で価格が決まっていたが、反対に先に価格を決めれるモデルを作る。 このモデルは価格＝コストで均衡になってしまい現実的ではない。 商品の代替性を設定することでよりよいモデルを作る。
自分でモデルをつくる方法 プレーヤーをn人としてモデルを構築する方法 先手が有利な条件とは プレーヤーが同時に戦略（生産量）を決めるのではなく先手を取ることのできる モデルを構築する。 先手の生産量：q1 = (a - c)/2 後手の生産量：q2 = (a - c)/4 …
競争で損をしない戦略とは 市場に複数の企業がある場合のモデルについて説明がある。ここでは企業の利得は自社の生産量とライバル社の生産量で決まるとする。 製品にかかるコストは同じと仮定してある。 それぞれの企業が最適な戦略をそれぞれがとった場合、…
