天翼云代理,天翼云代理商,北京代理商
天翼云2.5折专线:18510009100/18510009200(全国市话)

Python爬虫:scrapy框架log日志设置

2021-11-23 09:26:24

logging设置

通过在setting.py中进行以下设置可以被用来配置logging

以下配置均未默认值

# 是否启用日志 LOG_ENABLED=True  # 日志使用的编码 LOG_ENCODING='utf-8'  # 日志文件(文件名) LOG_FILE=None  # 日志格式 LOG_FORMAT='%(asctime)s [%(name)s] %(levelname)s: %(message)s'  # 日志时间格式 LOG_DATEFORMAT='%Y-%m-%d %H:%M:%S'  # 日志级别 CRITICAL, ERROR, WARNING, INFO, DEBUG LOG_LEVEL='DEBUG'  # 如果等于True,所有的标准输出(包括错误)都会重定向到日志,例如:print('hello') LOG_STDOUT=False  # 如果等于True,日志仅仅包含根路径,False显示日志输出组件 LOG_SHORT_NAMES=False 

配置示例

# setting.py  from datetime import datetime  # 文件及路径,log目录需要先建好 today = datetime.now() log_file_path = "log/scrapy_{}_{}_{}.log".format(today.year, today.month, today.day)  # 日志输出 LOG_LEVEL = 'DEBUG' LOG_FILE = log_file_path

使用

import logging logger = logging.getLogger(__name__) logger.warning("This is a warning")

或者

import scrapy  class MySpider(scrapy.Spider):   name = 'myspider'  start_urls = ['https://scrapinghub.com']   def parse(self, response):  self.logger.info('Parse function called on %s', response.url)
12年经验 · 提供上云保障

服务热线:132-6161-6125(手机) 400-150-1900(全国市话)

站内导航: 天翼云服务器价格| 天翼云购买流程| 天翼云代理| 北京天翼云代理商| 杭州天翼云代理| 深圳天翼云代理商| 钉钉代理商| 阿里云代理| 公司官网

我公司收款账号| 天翼云备案系统

CopyRight © 2019 天翼云代理商. All Rights Reserved 京ICP备2024071855号-7 管理-北京优胜智连科技有限公司