読者です 読者をやめる 読者になる 読者になる

「JS+Node.jsによるWebクローラーネットエージェント」をpythonで実装

(2章 HTML ファイルのリンクを抽出してみよう)

from bs4 import BeautifulSoup
import requests

r = requests.get(url)
soup = BeautifulSoup(r.text.encode(r.encoding))
aref = soup.find_all('a')
for a in aref:
    print(str(a.string) + " : " + str(a.attrs.get('href')))

<結果>

ISO-8859-1
: None
トップ : ../index.html
インデックス : index_top.html
全 : index_all.html
公開 : person_ma.html#sec2
作業 : person_inp_ma.html#sec2
全 : person_all_ma.html#sec2
None : http://ja.wikipedia.org/
宮沢賢治 : http://ja.wikipedia.org/wiki/%E5%AE%AE%E6%B2%A2%E8%B3%A2%E6%B2%BB
公開中の作品 : #sakuhin_list_1
作業中の作品 : #sakuhin_list_2
公開中の作品 : None
〔青びかる天弧のはてに〕 : ../cards/000081/card53398.html
青柳教諭を送る : ../cards/000081/card53352.html
秋田街道 : ../cards/000081/card4464.html
〔あくたうかべる朝の水〕 : ../cards/000081/card53437.html
あけがた : ../cards/000081/card48198.html
朝に就ての童話的構図 : ../cards/000081/card43041.html
〔雨ニモマケズ〕 : ../cards/000081/card45630.html
ありときのこ : ../cards/000081/card2657.html
或る農学生の日誌 : ../cards/000081/card45471.html
イギリス海岸 : ../cards/000081/card4417.html
イギリス海岸 : ../cards/000081/card50766.html
〔いざ渡せかし おいぼれめ〕 : ../cards/000081/card53399.html
泉ある家 : ../cards/000081/card45652.html
いてふの実 : ../cards/000081/card4423.html
いちょうの実 : ../cards/000081/card51156.html
イーハトーボ農学校の春 : ../cards/000081/card45472.html
インドラの網 : ../cards/000081/card460.html
〔馬行き人行き自転車行きて〕 : ../cards/000081/card53390.html
うろこ雲 : ../cards/000081/card4883.html
駅長 : ../cards/000081/card53417.html
狼森と笊森、盗森 : ../cards/000081/card43753.html
狼森と笊森、盗森 : ../cards/000081/card1926.html
丘 : ../cards/000081/card53387.html
おきなぐさ : ../cards/000081/card1085.html
オツベルと象 : ../cards/000081/card466.html
女 : ../cards/000081/card48199.html
会計課 : ../cards/000081/card53376.html
開墾 : ../cards/000081/card53401.html
開墾地 : ../cards/000081/card53363.html
貝の火 : ../cards/000081/card1942.html
カイロ団長 : ../cards/000081/card1918.html
蛙のゴム靴 : ../cards/000081/card46600.html
蛙のゴム靴 : ../cards/000081/card4421.html
学者アラムハラドの見た着物 : ../cards/000081/card45308.html
〔かくまでに〕 : ../cards/000081/card53429.html
かしはばやしの夜 : ../cards/000081/card1932.html
かしわばやしの夜 : ../cards/000081/card43759.html
風の又三郎 : ../cards/000081/card462.html
風野又三郎 : ../cards/000081/card1943.html
烏百態 : ../cards/000081/card53380.html
花壇工作 : ../cards/000081/card48220.html
家長制度 : ../cards/000081/card43036.html
月天讃歌(擬古調) : ../cards/000081/card53382.html
ガドルフの百合 : ../cards/000081/card455.html
釜石よりの帰り : ../cards/000081/card53409.html
烏の北斗七星 : ../cards/000081/card1928.html
烏の北斗七星 : ../cards/000081/card43755.html
雁の童子 : ../cards/000081/card461.html
革トランク : ../cards/000081/card4426.html
看痾 : ../cards/000081/card53411.html
〔甘藍の球は弾けて〕 : ../cards/000081/card53374.html
黄いろのトマト : ../cards/000081/card1919.html
機会 : ../cards/000081/card53392.html
饑餓陣営 : ../cards/000081/card1921.html
疑獄元兇 : ../cards/000081/card48221.html
気のいい火山弾 : ../cards/000081/card46606.html
気のいい火山弾 : ../cards/000081/card4440.html
饗宴 : ../cards/000081/card53361.html
銀河鉄道の夜 : ../cards/000081/card43737.html
銀河鉄道の夜 : ../cards/000081/card46322.html
銀河鉄道の夜 : ../cards/000081/card456.html
グスコーブドリの伝記 : ../cards/000081/card1924.html
クねずみ : ../cards/000081/card1946.html
蜘蛛となめくじと狸 : ../cards/000081/card4602.html
〔くもにつらなるでこぼこがらす〕 : ../cards/000081/card53435.html
〔雲ふかく 山裳を曳けば〕 : ../cards/000081/card53407.html
〔雲を濾し〕 : ../cards/000081/card53383.html
車 : ../cards/000081/card4409.html
黒ぶだう : ../cards/000081/card4408.html
〔郡属伊原忠右エ門〕 : ../cards/000081/card53368.html
訓導 : ../cards/000081/card53381.html
〔月光の鉛のなかに〕 : ../cards/000081/card53386.html
虔十公園林 : ../cards/000081/card4410.html
虔十公園林 : ../cards/000081/card46601.html
幻想 : ../cards/000081/card53356.html
県道 : ../cards/000081/card53428.html
恋 : ../cards/000081/card53388.html
耕耘部の時計 : ../cards/000081/card4439.html
耕耘部の時計 : ../cards/000081/card50762.html
講後 : ../cards/000081/card53350.html
〔洪積の台のはてなる〕 : ../cards/000081/card53370.html
校庭 : ../cards/000081/card53400.html
氷と後光 : ../cards/000081/card4882.html
国柱会 : ../cards/000081/card53405.html
〔こはドロミット洞窟の〕 : ../cards/000081/card53418.html
こゝろ : ../cards/000081/card53360.html
〔こゝろの影を恐るなと〕 : ../cards/000081/card53440.html
〔このみちの醸すがごとく〕 : ../cards/000081/card53416.html
〔こんにやくの〕 : ../cards/000081/card53362.html
さいかち淵 : ../cards/000081/card468.html
さいかち淵 : ../cards/000081/card50763.html
祭日〔二〕 : ../cards/000081/card53410.html
サガレンと八月 : ../cards/000081/card45658.html
〔鷺はひかりの空に餓ゑ〕 : ../cards/000081/card53373.html
ざしき童子のはなし : ../cards/000081/card2656.html
さるのこしかけ : ../cards/000081/card469.html
山地の稜 : ../cards/000081/card4469.html
シグナルとシグナレス : ../cards/000081/card2655.html
紫紺染について : ../cards/000081/card1937.html
鹿踊りのはじまり : ../cards/000081/card1923.html
鹿踊りのはじまり : ../cards/000081/card43760.html
四八 黄泉路 : ../cards/000081/card53394.html
疾中 : ../cards/000081/card471.html
詩ノート : ../cards/000081/card47029.html
〔島わにあらき潮騒を〕 : ../cards/000081/card53444.html
〔霜枯れのトマトの気根〕 : ../cards/000081/card53420.html
〔霧降る萱の細みちに〕 : ../cards/000081/card53353.html
十月の末 : ../cards/000081/card46602.html
十月の末 : ../cards/000081/card4442.html
十六日 : ../cards/000081/card45653.html
樹園 : ../cards/000081/card53346.html
〔棕梠の葉やゝに痙攣し〕 : ../cards/000081/card53415.html
春章作中判 : ../cards/000081/card53358.html
小祠 : ../cards/000081/card53423.html
職員室 : ../cards/000081/card53378.html
植物医師 : ../cards/000081/card42346.html
水仙月の四日 : ../cards/000081/card43757.html
水仙月の四日 : ../cards/000081/card1930.html
水部の線 : ../cards/000081/card53365.html
スタンレー探検隊に対する二人のコンゴー土人の演説 : ../cards/000081/card53433.html
隅田川 : ../cards/000081/card53347.html
製炭小屋 : ../cards/000081/card53413.html
〔聖なる窓〕 : ../cards/000081/card53426.html
税務署長の冒険 : ../cards/000081/card1941.html
雪峡 : ../cards/000081/card53391.html
〔せなうち痛み息熱く〕 : ../cards/000081/card53431.html
セレナーデ 恋歌 : ../cards/000081/card53372.html
セロ弾きのゴーシュ : ../cards/000081/card470.html
僧園 : ../cards/000081/card53408.html
宗谷〔一〕 : ../cards/000081/card53412.html
宗谷〔二〕 : ../cards/000081/card53414.html
〔蒼冷と純黒〕 : ../cards/000081/card48200.html
〔そのかたち収得に似て〕 : ../cards/000081/card53397.html
台川 : ../cards/000081/card50764.html
台川 : ../cards/000081/card4416.html
対酌 : ../cards/000081/card53424.html
大礼服の例外的効果 : ../cards/000081/card48223.html
宅地 : ../cards/000081/card53396.html
〔たゞかたくなのみをわぶる〕 : ../cards/000081/card53395.html
谷 : ../cards/000081/card1107.html
谷 : ../cards/000081/card46603.html
種山ヶ原 : ../cards/000081/card4424.html
種山ヶ原 : ../cards/000081/card50767.html
タネリはたしかにいちにち噛んでいたようだった : ../cards/000081/card4600.html
丹藤川〔「家長制度」先駆形〕 : ../cards/000081/card48201.html
中尊寺〔二〕 : ../cards/000081/card53438.html
注文の多い料理店 : ../cards/000081/card43754.html
注文の多い料理店 : ../cards/000081/card1927.html
『注文の多い料理店』広告文 : ../cards/000081/card43733.html
『注文の多い料理店』序 : ../cards/000081/card43736.html
『注文の多い料理店』序 : ../cards/000081/card43735.html
『注文の多い料理店』新刊案内 : ../cards/000081/card43734.html
チュウリップの幻術 : ../cards/000081/card4087.html
ツェねずみ : ../cards/000081/card1949.html
月夜のけだもの : ../cards/000081/card4420.html
月夜のでんしんばしら : ../cards/000081/card1929.html
月夜のでんしんばしら : ../cards/000081/card43756.html
月夜のでんしんばしらの軍歌 : ../cards/000081/card46266.html
土神ときつね : ../cards/000081/card46607.html
土神と狐 : ../cards/000081/card4436.html
〔土をも掘らん汗もせん〕 : ../cards/000081/card53436.html
〔つめたき朝の真鍮に〕 : ../cards/000081/card53379.html
手紙 一 : ../cards/000081/card45654.html
手紙 三 : ../cards/000081/card45655.html
手紙 二 : ../cards/000081/card45656.html
手紙 四 : ../cards/000081/card45657.html
田園迷信 : ../cards/000081/card53345.html
電車 : ../cards/000081/card4467.html
毒蛾 : ../cards/000081/card4425.html
毒もみのすきな署長さん : ../cards/000081/card454.html
床屋 : ../cards/000081/card4468.html
図書館幻想 : ../cards/000081/card4884.html
とっこべとら子 : ../cards/000081/card1936.html
鳥箱先生とフウねずみ : ../cards/000081/card1947.html
鳥をとるやなぎ : ../cards/000081/card4085.html
どんぐりと山猫 : ../cards/000081/card1925.html
どんぐりと山猫 : ../cards/000081/card43752.html
〔ながれたり〕 : ../cards/000081/card53359.html
〔なべてはしけく よそほひて〕 : ../cards/000081/card53406.html
〔鉛のいろの冬海の〕 : ../cards/000081/card53422.html
なめとこ山の熊 : ../cards/000081/card1939.html
楢ノ木大学士の野宿 : ../cards/000081/card4438.html
楢ノ木大学士の野宿 : ../cards/000081/card46608.html
虹の絵の具皿 : ../cards/000081/card2658.html
二十六夜 : ../cards/000081/card46604.html
二十六夜 : ../cards/000081/card4427.html
沼森 : ../cards/000081/card48202.html
猫 : ../cards/000081/card48203.html
猫の事務所 : ../cards/000081/card464.html
農学校歌 : ../cards/000081/card53443.html
農民芸術概論 : ../cards/000081/card465.html
農民芸術概論綱要 : ../cards/000081/card2386.html
農民芸術の興隆 : ../cards/000081/card45631.html
バキチの仕事 : ../cards/000081/card45659.html
雹雲砲手 : ../cards/000081/card53351.html
化物丁場 : ../cards/000081/card4415.html
凾館港春夜光景 : ../cards/000081/card3060.html
畑のへり : ../cards/000081/card4419.html
八戸 : ../cards/000081/card53348.html
〔廿日月かざす刃は音無しの〕 : ../cards/000081/card53446.html
花巻農学校精神歌 : ../cards/000081/card46267.html
花椰菜 : ../cards/000081/card4466.html
林の底 : ../cards/000081/card4437.html
隼人 : ../cards/000081/card53430.html
茨海小学校 : ../cards/000081/card4086.html
『春と修羅』 : ../cards/000081/card1058.html
春と修羅 : ../cards/000081/card457.html
春と修羅 第三集 : ../cards/000081/card47028.html
春と修羅 第二集 : ../cards/000081/card47027.html
『春と修羅』補遺 : ../cards/000081/card43040.html
ひかりの素足 : ../cards/000081/card458.html
秘境 : ../cards/000081/card53419.html
〔卑屈の友らをいきどほろしく〕 : ../cards/000081/card53366.html
ビジテリアン大祭 : ../cards/000081/card2589.html
〔ひとひははかなくことばをくだし〕 : ../cards/000081/card53432.html
ひのきとひなげし : ../cards/000081/card1920.html
火の島 : ../cards/000081/card53445.html
氷河鼠の毛皮 : ../cards/000081/card1934.html
病中幻想 : ../cards/000081/card53389.html
火渡り : ../cards/000081/card53439.html
不軽菩薩 : ../cards/000081/card53425.html
〔二川こゝにて会したり〕 : ../cards/000081/card53403.html
双子の星 : ../cards/000081/card459.html
二人の役人 : ../cards/000081/card1064.html
二人の役人 : ../cards/000081/card50765.html
葡萄水 : ../cards/000081/card1940.html
フランドン農学校の豚 : ../cards/000081/card4601.html
文語詩稿 一百篇 : ../cards/000081/card4462.html
文語詩稿 五十篇 : ../cards/000081/card4461.html
ペンネンネンネンネン・ネネムの伝記 : ../cards/000081/card33195.html
ペンネンノルデはいまはいないよ 太陽にできた黒い棘をとりに行ったよ : ../cards/000081/card45309.html
北守将軍と三人兄弟の医者 : ../cards/000081/card1944.html
星めぐりの歌 : ../cards/000081/card46268.html
ポラーノの広場 : ../cards/000081/card1935.html
洞熊学校を卒業した三人 : ../cards/000081/card4418.html
ポランの広場 : ../cards/000081/card467.html
マグノリアの木 : ../cards/000081/card463.html
〔ま青きそらの風をふるはし〕 : ../cards/000081/card53384.html
祭の晩 : ../cards/000081/card1938.html
まなづるとダァリヤ : ../cards/000081/card4422.html
〔まひるつとめにまぎらひて〕 : ../cards/000081/card53369.html
マリヴロンと少女 : ../cards/000081/card1922.html
みじかい木ぺん : ../cards/000081/card45473.html
めくらぶどうと虹 : ../cards/000081/card1077.html
〔モザイク成り〕 : ../cards/000081/card53441.html
〔最も親しき友らにさへこれを秘して〕 : ../cards/000081/card53385.html
〔館は台地のはななれば〕 : ../cards/000081/card53402.html
柳沢 : ../cards/000081/card4465.html
敗れし少年の歌へる : ../cards/000081/card53434.html
山男の四月 : ../cards/000081/card43758.html
山男の四月 : ../cards/000081/card1931.html
やまなし : ../cards/000081/card46605.html
やまなし : ../cards/000081/card472.html
遊園地工作 : ../cards/000081/card53349.html
〔夕陽は青めりかの山裾に〕 : ../cards/000081/card53442.html
〔ゆがみつゝ月は出で〕 : ../cards/000081/card53371.html
〔雪とひのきの坂上に〕 : ../cards/000081/card53421.html
雪渡り : ../cards/000081/card2543.html
雪渡り : ../cards/000081/card45679.html
〔弓のごとく〕 : ../cards/000081/card53364.html
百合を掘る : ../cards/000081/card53404.html
楊林 : ../cards/000081/card53354.html
よく利く薬とえらい薬 : ../cards/000081/card4441.html
よだかの星 : ../cards/000081/card473.html
四又の百合 : ../cards/000081/card1116.html
ラジュウムの雁 : ../cards/000081/card4864.html
龍と詩人 : ../cards/000081/card4865.html
〔りんごのみきのはひのひかり〕 : ../cards/000081/card53375.html
〔昤々としてひかれるは〕 : ../cards/000081/card53377.html
若い木霊 : ../cards/000081/card43801.html
〔われかのひとをこととふに〕 : ../cards/000081/card53367.html
〔われ聴衆に会釈して〕 : ../cards/000081/card53357.html
〔われはダルケを名乗れるものと〕 : ../cards/000081/card53427.html
〔われらが書に順ひて〕 : ../cards/000081/card53355.html
〔われらひとしく丘に立ち〕 : ../cards/000081/card53393.html
作業中の作品 : None
作業中 作家別作品一覧:宮沢 賢治 : list_inp81_1.html
▲ : #top
[あ] : person_a.html
[か] : person_ka.html
[さ] : person_sa.html
[た] : person_ta.html
[な] : person_na.html
[は] : person_ha.html
[ま] : person_ma.html
[や] : person_ya.html
[ら] : person_ra.html
[わ] : person_wa.html
[他] : person_zz.html
[あ] : person_inp_a.html
[か] : person_inp_ka.html
[さ] : person_inp_sa.html
[た] : person_inp_ta.html
[な] : person_inp_na.html
[は] : person_inp_ha.html
[ま] : person_inp_ma.html
[や] : person_inp_ya.html
[ら] : person_inp_ra.html
[わ] : person_inp_wa.html
[他] : person_inp_zz.html
[あ] : person_all_a.html
[か] : person_all_ka.html
[さ] : person_all_sa.html
[た] : person_all_ta.html
[な] : person_all_na.html
[は] : person_all_ha.html
[ま] : person_all_ma.html
[や] : person_all_ya.html
[ら] : person_all_ra.html
[わ] : person_all_wa.html
[他] : person_all_zz.html
トップ : ../index.html
インデックス : index_top.html
全 : index_all.html