6.8パイプラインを使ったテキストと画像のスクレイピング #nwinners_minbio_spider.py import scrapy import re BASE_URL = 'http://en.wikipedia.org' class NWinnerItemBio(scrapy.Item): link = scrapy.Field() name = scrapy.Field() #このnameフィール…

6.7 Scrapyパイプライン P157の最初のコードに# nobel_winners/nobel_winners/setting.pyとあるがpipelines.pyの間違いかな？ #pipelines.py import scrapy from scrapy.exceptions import DropItem class DropNonPersons(object): def process_item(self, i…

いままでWindows上で行っていたがUnicodeErrが頻発するのでlubuntu上に変更する #nwinners_full_spider.py import scrapy import re BASE_URL = 'http://en.wikipedia.org' class NWinnerItem(scrapy.Item): name = scrapy.Field() link = scrapy.Field() ye…