为了对抓下来的数据作更高效的分析，所以需要把抓下来的数据进行存储到数据库。而且后面我们还可能会对同学的文章统计作趋势分析，所以需要持久化数据。

一、数据库我建议使用sqlite3，sqlite3是文件数据库，连接起来比较方便，部署起来也很方便，而且我们的数据量不大

二、数据库中初步设计有下面几个表

• 用户表：记录用户信息，包括同学们和buddy
  *简书ID，姓名，email(用于群发邮件)，用户类型（同学还是buddy），头像网址(后续报告可能引入图片)

• 文章信息表：记录文章信息
  *文章ID（简书文章页网址/p/xxxxx后面的那段），文章标题，作者ID，发布时间（yyyy-MM-dd HH:mm:ss），文章网址，字数，评论量、喜欢数、阅读数、打赏数

• 用户关系表：关联同学和TA的buddy

三、数据库存入数据：

• 用户表里面的ID、用户名、email以及同学和buddy的关联关系需要事先导入（我们之前对每个同学的简书ID有统计）；头像网址等需要在爬虫爬取后填入数据库
• 每周作统计时，我们会遍历类型为同学的用户ID，根据ID，爬虫会抓取对应用户的文章列表，获取在指定日期内发表的文章信息，将其存储到数据库（如果文章之前存在就修改，不存在就new一条），同学也会把同学的头像网址信息存储到用户表

四、数据库使用：

根据暂时的需求，需要实现：

• 指定日期内所有同学的文章总数
• 指定日期内所有写过文章的同学数量（及在统计日期范围内文章数不为0）
• 指定日期内所有文章被阅读总数 “每一次阅读，就是一次分享”
• 指定日期内的总字数：一个字就是我们的一滴汗水（因为文章列表里没有单篇文章的字数，所以这需要后续爬取单篇文章，而相关抓取代码还没实现，所以此需求延后）
• 指定日期内发表了文章的同学姓名及此时间段内所有文章的信息
• 排序需求：
  • 指定日期内发表文章最多/文章阅读量最多的前n位同学；
  • 指定日期内阅读量/喜欢量/评论量最多的前n篇文章；

现在这些数据我放在了csv文件里，我们现在需要把它导入到数据库中，最后就不用解析csv文件了

数据库中初步设计有下面几个表

用户表：用于记录用户信息，包括同学们和buddy
*简书ID，姓名，email(用于群发邮件)，用户类型（同学还是buddy），头像网址(后续报告可能引入图片)

文章信息表：用于记录文章信息
*文章ID（简书文章页网址/p/xxxxx后面的那段），文章标题，作者ID，发布时间（yyyy-MM-dd HH:mm:ss），文章网址，字数，评论量、喜欢数、阅读数、打赏数

用户关系表：关联同学和TA的buddy

邮件附件中报告打开乱码问题
在电脑打开QQ邮箱下载下来查看没问题，手机上打开就是乱码