Pythonによる経済経営分析のデータサイエンス

5.7 パネルデータ分析(1) データ構築

https://bashtage.github.io/linearmodels/doc/panel/examples/examples.html
組合は誰の賃金を上げるのか?若い男性のユニオニズムと賃金率決定の動的モデルの例題
f:id:bitop:20210312083308p:plain

5.8 パネルデータ分析(2) Pooled OLS

f:id:bitop:20210312083438p:plain

5.9 パネルデータ分析(3) 固定効果モデル

f:id:bitop:20210312083551p:plain

5.10パネルデータ分析(4) 変動効果モデル

f:id:bitop:20210312083851p:plain

5.11 パネルデータ分析(5) モデルの比較

f:id:bitop:20210312083951p:plain

Pythonによる経済経営分析のデータサイエンス

5.6 回帰分析(4) 操作変数法

linearmodelsをinstallする
pip install linearmodels (Relesed Mar 8,2021) 操作変数法(隠れた要因をあぶりだすための方法?)
データセットは教育歴の既婚女性の給与への効果に関するデータ
f:id:bitop:20210311060226p:plain

データセットの変数の意味  
nlf        1 if in labor force, 1975
hours      労働時間
kidslt6    6歳未満の子供
kidsge6    6歳以上から18歳までの子供
age        女性の年齢
educ       教育年数
wage       賃金からの推定賃金
repwage    1976年のインタビューでrepwageが賃金を報告した
hushrs     夫が働いた時間
husage     夫の年齢
huseduc    夫の学校教育の年
huswage    夫の時給
faminc     家族の収入
mtr        女性が直面している限界税率
motheduc   母親の学校教育の年
fatheduc   父の学校教育の年
unem       unem. rate in county of resid.
city       =1 if live in SMSA
exper      actual labor mkt exper
nwifeinc   (faminc - wage*hours)/1000
lwage      log(wage)
expersq    exper^2

通常の線形回帰
f:id:bitop:20210311061011p:plain  

父親が教育を受けた年数を操作変数として分析をする
f:id:bitop:20210311061305p:plain

通常の回帰分析と操作変数による分析を比較巣r
f:id:bitop:20210311063339p:plain

Pythonによる経済経営分析のデータサイエンス

Airbnbの価格分析 空間情報の活用

データはkaggleの www.kaggle.com
から取得。本とは違いcsvファイルであったが一部カラムがないがほぼ同じと思われる。
f:id:bitop:20210307083026p:plain
f:id:bitop:20210307082856p:plain
単回帰分析と散布図を描画
f:id:bitop:20210307083056p:plain
f:id:bitop:20210307083143p:plain
f:id:bitop:20210307083258p:plain 重回帰分析をする、各変数の相関係数をヒートマップで表現、number_of_reviewとreviews_per_monthが近すぎるので
reviews_per_monthは除くことにする
f:id:bitop:20210310050432p:plain
このモデルのR自乗値を求める
f:id:bitop:20210310050614p:plain
VIF値を求める
f:id:bitop:20210310050707p:plain
どの変数も10は超えてないので問題はない
Seabornを使ってpairplotを描画してみる
f:id:bitop:20210310050851p:plain
ランドマークとAirbnbホストとの距離を測ってみる
自由の女神との距離が近いと価格が高くなる傾向が若干見て取れる
f:id:bitop:20210310051045p:plain
ホストの位置をマップ上にプロット f:id:bitop:20210310051424p:plain  

f:id:bitop:20210310051607p:plain

Pythonによる経済経営分析のデータサイエンス

5章 Pythonによる多変量解析ロスセクション・パネルデータ

5.1 回帰分析の考え方 最小二乗法

 省略

5.2 データの種類 クロスセクション・時系列データ・パネルデータ

 省略

5.3 回帰分析(1) 単回帰分析

データ読み込み(26カラム、205レコード)
f:id:bitop:20210306070930p:plain

単回帰分析をstatsmodelsパッケージで行ってみる
f:id:bitop:20210306071345p:plain

5.4 回帰分析(2)ダミー変数と重回帰分析

x_listが5章でいきなり出てくるがこれは4章の113ページに出てくるやつ。
重回帰分析の結果、enginsize,wheerbase,horsepower(馬力のこと)が正の相関を示している
f:id:bitop:20210306072212p:plain

ダミ変数ーを導入した結果カラム数が26から201カラムに増えた
f:id:bitop:20210306073540p:plain  

5.5 回帰分析(3) 分析結果の解釈の方法

多重共線性の有無、本の結果とは違ったが各項目とも10は超えていない。
f:id:bitop:20210306073831p:plain

Pythonによる経済経営分析のデータサイエンス

4章 Pythonによる基礎的な統計分析

4.1 Pythonによる基礎的な統計分析

f:id:bitop:20210304070147p:plain

4.2 データを把握する (1) 型や特性を把握する

f:id:bitop:20210304070229p:plain

4.3 データを把握する(2) 平均、分散、標準偏差を求める

f:id:bitop:20210304070315p:plain

f:id:bitop:20210304070342p:plain

4.4 データを把握する (3) ヒストグラムを描く

f:id:bitop:20210304070415p:plain

f:id:bitop:20210304070441p:plain

4.5 データを把握する (4) 変数間の関係性

f:id:bitop:20210304070514p:plain

f:id:bitop:20210304070540p:plain

f:id:bitop:20210304070607p:plain

f:id:bitop:20210304070656p:plain

Pythonによる経済経営分析のデータサイエンス

Column EDINETからデータを取得する

金融庁が運営しているシステムでedinet-pythonでアクセスできる
DLした有価証券報告書のPDF
f:id:bitop:20210303060210p:plain

XBRLファイルをパースしたもの
【経営方針、経営環境及び対処すべき課題等】

(Value: 1 【経営方針、経営環境及び対処すべき課題等】文中の将来に関する事項は、当連結会計年度末現在において、当社グループが判断したものであります。 (1)会社の経営の基本方針当社グループは、IoT/ビッグデータ/人工知能(AI)関連市場が拡大する中、本市場を新たに注力する事業領域と位置付け、事業の選択と集中を行っております。 従来から提供しているデータセンター、クラウド・ソリューション、データ・ソリューションを中心とする既存事業については事業基盤を強化し、AI等の新規事業については新サービスを創出、育成し、社会全体で生成される情報の収集と発信の仕組みを提供する企業へと進化してまいります。 具体的には、当社の主力事業であるデータセンターについては、新たなデータセンターモデルへの展開として、2018年8月に開設した新データセンターの第2期工事を2019年9月に完了させ、製造業等新たな顧客層も開拓しております。また、連結子会社が行っている人工知能技術を活用したAI事業については、必要な技術を開発しながらサービスの拡充、顧客数の増加に繋げてまいります。 今後も事業ポートフォリオの入れ替え、他の企業とのコラボレーションを実施しながら、既存事業の強化、新規事業の育成を図り、グループ全体のバリューチェーンを進化させてまいります。 (2)目標とする経営指標当社グループでは、売上高成長率、営業利益率等、持続的成長性及び収益性に関する財務的指標の向上を目指した事業運営を推進しております。 (3)中長期的な会社の経営戦略ソフトウェア・ハードウェア技術の進化、IoT/ビッグデータ/人工知能(AI)市場の拡大等、当社の事業を取り巻く環境は急速に変化しており、成長機会を逃さないためにも、環境の変化に対応した事業運営を行ってまいります。日本初の専業インターネット・データセンター会社(当時の商号はグローバルセンター・ジャパン株式会社)として設立された当社は、インターネット・テクノロジー・トレンドを主導するインターネット・データセンター事業者の草分けとして、大きな技術革新のフェーズを迎えたことを認識し、既存事業を更に強化するべく5G(第5世代移動通信システム)に対応した新データセンターを2018年8月に開設し、新規事業としてAI事業等を推進しております。 インターネットを用いた第1フェーズのビジネスモデルは、ポータル(玄関口)サービスモデルで、ニュース等のコンテンツ提供、検索エンジン、ショッピングモール、株式売買等、サービス事業者が集中的に情報提供を行うモデルでした。当社は、このポータルサービス事業者のコンピュータ資源を預かるインターネット・データセンター事業者の草分けとして成長してきました。第2フェーズのビジネスモデルは、ソーシャル・メディアサービスモデルで、サービス利用者が情報を書き込む利用者参加型のモデルで、ソーシャル・メディアサービス事業者は、コンピュータ資源を自社のデータセンター内に構築する傾向にあり、外部のデータセンターを利用せずに内製化しています。第3フェーズのビジネスモデルは、インターネット接続機器が、PC、タブレットスマートフォンのような人間が扱う端末ではなく、監視カメラ、各種センサーや各種機器等あらゆる自動計測・自動制御機器となるIoT時代を意味しています。IoTに関連してビッグデータ、AI等も急速に普及する中、サービスに必要なシステムの構築、要素技術の開発、技術提携、資本提携等、他の企業とコラボレーションを推進し、自然言語解析技術をはじめとした人工知能技術の開発やサービス化を加速させ、事業を拡大してまいります。 (4)会社の対処すべき課題IoT/ビッグデータ/人工知能(AI)等の市場が拡大する中、これらのビジネス領域を成長機会と捉え、自然言語解析技術をはじめとするAI技術を活用したAIサービス等の新規事業を創出、育成してまいりました。新規事業の創出、育成には資金、時間等を要しますが、当社グループが培った事業基盤、知見、専門性を活用し、必要な技術を開発しながら基盤整備や実証実験等を行ってまいりました。業績につきましては、連結経常損失を2018年6月期、2018年12月期、2019年12月期と3期連続して計上しましたが、主な要因は、2018年に大手町に開設した新データセンターの投資と回収のタイムラグ、新規事業を立ち上げてから黒字基調にするまでのタイムラグであります。このような経営環境の中、財務基盤の強化が必要であります。本体事業では、当社の主力事業であるデータセンターにおいて、新データセンターの開設を機に新規顧客獲得に向けた受注活動を行うとともに、既存顧客との関係強化による取引拡大にも努め、データセンター企業の先駆者として、競争に勝ち残るためにも、多様化する顧客ニーズに対応したデータセンターサービスを今後も提供してまいります。また、クラウド・ソリューション、データ・ソリューション等のサービスについても、サービスラインアップの拡充、サービス品質の維持・向上等により、顧客ニーズに対応してまいります。子会社の事業については、各子会社を取り巻く事業環境の変化に対応した必要な投資、開発等を行うとともに、シナジー効果を発揮できるように連携を深めてまいります。 なお、企業価値を向上させる取組みとして、コンプライアンスを始めとする社員教育の充実を通じて組織力を強化すると共に、引き続き、内部統制システムの構築および運用にも力を入れ、企業の社会的責任を果たすべく取り組んでまいります。
以下略

【研究開発活動】
(Value: 5 【研究開発活動】当連結会計年度における当社グループの研究開発費の総額は130百万円であり、主にコンピュータプラットフォームセグメントに係るものであります。コンピュータプラットフォームセグメントでは、当社内に設置したCloud&SDN研究所において、SDN(Software Defined Networking)技術を応用したInternet eXchange(IX)の研究及び実証実験を進め、IXとクラウド間を相互接続するサービスを提供するとともに、更なる高度化にも取り組んでおります。仮想化技術については、ネットワーク機能を汎用サーバ上で実現するNFV(Network Functions Virtualization)の検証を進め、また、データセンター間接続の伝送技術については、実施に向け準備を進めております。加えて、ホワイトボックススイッチとネットワークOSの技術、コンテナ技術等にも着目し、研究を進めております。また、株式会社ティエスエスリンクでは情報漏洩対策ソフトの開発を行っております。
以下略