起因

事件的起因是这个样子的，今天本来打算登录 CSDN 看我的以前的一篇博客，结果登陆的时候是这个样子的：

这已经不是第一次 CSDN 这么干了，之前让我验证用手机编辑短信发送验证已经恶心到我了。这一次简直让我忍无可忍。难道就是为了强行推官一波公众号。CSDN 的博客我从 15 年开始维护，后来其实都不是很喜欢，但毕竟是维护了一个蛮久的平台，这一次我终于不能忍了，再也不要忍受丑陋的模块，再也不要忍受恶心的广告，再也不要忍受这鬼逻辑。但是我之前的博客我得保存下来，马上动手。

动手

本来想装个逼，心想半个小时写个爬虫不就搞定了，人生苦短，我有 python. Naive。又折腾了好几个小时，兜兜转转。废话不说，先分析网络请求吧。我只希望保存博客的 markdown 格式文件，我首先打开文章编辑，老规矩，打开控制台网络窗口，看看请求，搞不好 xhr 里面就有，果不其然：

哈哈，一目了然，markdowncontent 不正是我们需要的么。心里顿时觉得半个小时更稳了。爬虫，当然是 requests，听说这个库的作者最近又出了 requests-html 正好可以用来解析。前面都很顺利，分析页面，看看博客内容一共有多少页，然后在每一页获取博客的 articleid 再去请求博客。

def get_page_urls(html):    page_urls_arr = []    page_urls = html.find('.pagination-wrapper .page-item a')    for page_url in page_urls:        if 'href' in page_url.attrs:            href = page_url.attrs['href']            page_urls_arr.append(href)            print(href)        page_urls_arr = list(set(page_urls_arr))    return page_urls_arr     def get_article_id_list(url):    id_list = []    r = session.get(url)    html = r.html    page_urls = get_page_urls(html)    for page_url in page_urls:        id_list = id_list + get_article_ids_by_page(page_url)    # print(id_list)    return id_listdef get_article_ids_by_page(page_url):    r = session.get(page_url)    html = r.html    article_ids = html.find('.blog-unit a')    article_isd_arr = []    for article_id in article_ids:        href = article_id.attrs['href']        article_isd_arr.append(parse_article_id(href))    return article_isd_arrdef parse_article_id(url):    return url.replace('http://blog.csdn.net/neal1991/article/details/', '')复制代码

我们这样就可以获取一个 article_id 组成的数组，然后通过和 ttp://mp.blog.csdn.net/mdeditor/getArticle?id= 拼接组成 url 就可以去请求博客了。

问题

很显然，我低估了问题吗，或许也可以说我没有从一个正确的角度去思考这个问题。去访问这个文章是需要权限的，也就是需要登陆之后才可以访问，我尝试直接访问，响应都是无权操作。那我们就登陆好了：

session = HTMLSession()r = session.post(login_url, auth=(username, passwd))session.get(url)复制代码

这里其实就是这个大概的意思，通过 session 似乎是可以直接访问的，但是还是不可以。后来我尝试首先获取 cookies，然后再次请求的时候把 cookies 塞进去请求，结果还是不行。哇。后来我才发现：

CSDN 果然不是一般的恶心,每次登陆的时候会给一个流水号，登陆验证的时候需要验证这个流水号，但是你拿 cookies 的时候和登陆的时候流水号不一致，所以无法通过验证。后来想到或许可以使用 headless chrome，于是就去用 ，使用体验和phantomjs 类似，顺嘴提一句，phantomjs 感觉都快不行了，最近维护者又内讧了。这种方式还是比较低效，而且还得去慢慢调试，最后还是用 python 吧。

找到了我最不愿意使用的方法，先从浏览器中把 cookies 拷贝下来，然后再去请求。因为一开始心里总是接受不了这种半自动化的方式，显得太 low。白猫黑猫，抓到老鼠就可以了。罢了。

def parse_cookie(str):    cookies = {}    for line in str.split(';'):        name, value = line.strip().split('=', 1)        cookies[name] = value    return cookies复制代码

def get_markdown_files(id_list, base_url):   for id in id_list:       url = base_url + id       get_markdown(url)def get_markdown(url):   cookies = parse_cookie(config['cookies'])   r = requests.get(url, cookies=cookies)   data = r.json()['data']   title = data['title']   markdown_content = data['markdowncontent']   invalid_characaters = '\\/:*?"<>|'   for c in invalid_characaters:       title = title.replace(c, '')   generate_file('data/' + title.strip() + '.md', markdown_content)def generate_file(filename, content):   if not os.path.exists(filename):       if content is None:           print(filename + 'is none')       else:           print(filename)           with open(filename, 'w', encoding='utf8') as f:               f.write(content)               f.close()复制代码

这里有几点注意一下，首先需要 format 下 cookies，然后就是文件名中的特殊字符需要转义，否则 oepn 会提示 FileNotFound。

结语

不管怎么样，最终问题还是解决了，虽然不是一开始期望的方式。其实有时候经常觉得写代码好费劲，没有一次是刷刷刷就把代码全部写出来，还要不断地调试，不断地 解决问题，最终才能达到目的。最终发花了几个小时，写了这几小段代码，一个小时写了这篇文章总结。累。

以上。

欢迎搜索微信号 mad_coder 或者扫描二维码关注公众号：