Skip to content

爬取豆瓣书影数据保存至Notion数据库

Notifications You must be signed in to change notification settings

amlei/Use-NotionAPI

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Saving data of the books and videos into the notion page with Python.

使用Python将图书和影视数据存放入Notion中。

🖼️介绍

环境

  • Python 3.10+ (建议 3.11 及以上)
  • Pycharm / Vs Code / Vs Code Studio

项目结构

│  .env - 虚拟环境
│  main.py - 主函数、执行程序
│  README.md
│  requirements.txt - 依赖库
│
├─assets - README.md文件
│
├─function - 其它功能函数
│  │  glo.py - 全局数据
│  │  initial.py - 初始化
│  │  logging.py - 日志输出
│  │  spider.py - 爬取个人豆瓣数据
│  │  __init__.py
│  │
│
├─icon - 图标
│      book.svg
│      movie.svg
│      video.svg
│
├─json - 类别数据
│      book.json - 书籍数据
│      video.json - 影视数据
│
├─last mark - 上次标记
│      new_book.txt - 上次书籍标记
│      new_video.txt - 上次影视标记
│
└─log - 日志文件

🐾 步骤

  1. Notion API创建
  2. 数据爬取
  3. 更新入Notion

🕷️ 网页数据

  • 头文件
    • URL
    • Cookie
    • User-Agent
  • 图书
    • 书名
    • 图像
    • 作者
    • 出版日期
    • 出版社
    • 标记数据
    • 短评
  • 影视
    • 影片名
    • 图像
    • 上映日期
    • 标记数据

🤖 Notion

🎢 特征

豆瓣网数据

  • 数据图像
  • 翻页数据提取
  • 增量更新

存入 Notion

  • 图标
  • 图像
  • 评星

🤖行动

1. 准备阶段

拥有豆瓣Notion账户。

image-20230612163511339

2. 修改必要数据

下载好源码后解压进入目录,执行以下步骤:(点击下载

  1. 安装依赖
pip install -r rerequirements.txt
  1. 打开 new_book.txtnew_video.txt 更改你的 Notion 页面中最新的标记数据

  2. 打开 .env 文件,修改必要参数

image-20240313172916768

  1. 运行 main.py 文件

image-20240313172931685

result

🔗其它链接

Notion API的使用——获取豆瓣书影数据更新入Notion数据库_哔哩哔哩

创建 Notion API

Notion API使用思路

About

爬取豆瓣书影数据保存至Notion数据库

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages