Metadata-Version: 1.1
Name: crawl_image
Version: 0.1.0
Summary: fast crawl web image source or image url list file
Home-page: https://github.com/xiaohong2019/crawl_image
Author: xiaohong2019
Author-email: 2229009854@qq.com
License: UNKNOWN
Description: # crawl_image
        
        ## Introduction
        - 多线程快速抓取网页所有图片资源到指定路径。
        - 原理是抓取img标签的src，再整合域名成资源完整url，分发到程序线程去下载。
        
        ## Example
        
        from crawl_image.run_factory import run_for_url_list
        run_for_url_list('C:/Users/xh/Desktop/url/url.txt', img_save_path='D:/crawl/image/real', do_last_url_file_name=True)
        
        ## Features
        - 高速下载
        - 抓取所有图片
        - 自解网页编码
        - 过滤图片类型
        - 重构使用class交互，并建立run_factory，提供运行工厂，简化程序调用流程。
        - 增加url列表文件爬取功能。
        - 去重url数组。
        - 使用url最后以'/'符号结束的字符串作为图片名称，以便检查重复下载的情况。
        
        ## Communication
        - 未来已来 203737026
        
        ## Copyright and License
        code for everything
Platform: UNKNOWN
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
