- 001. 课程介绍
- 002. Python开发环境安装
- 003. 第一个Python程序
- 004. 用Pycharm编写程序
- 005. 条件判断语句
- 007. 字符串
- 006. 循环控制语句
- 008. 列表(上)
- 009. 列表(下)
- 010. 元组_字典(上)
- 011. 字典(下)_集合
- 012. 函数
- 013. 文件操作
- 014. 异常处理
- 015. Python爬虫介绍
- 016. 准备工作
- 017. 构建流程
- 018. 补充urllib
- 019. 获取数据
- 020. 补充BeautifulSoup(上)
- 021. 补充BeautifulSoup(下)
- 022. 补充Re(正则表达式)
- 023. 正则提取
- 024. 标签解析
- 025. 保存数据到Excel
- 026. 补充SQLite
- 027. 保存数据到SQLite
- 028. 数据可视化简介
- 029. 补充flask(上)
- 030. 补充flask(下)
- 031. 首页制作
- 032. 列表页制作
- 033. 补充Echarts
- 034. ECharts应用
- 035. WordCloud应用
- 036. 项目完结
- 037. 项目要点补充1
- 038. 项目要点补充2
- 039. 项目要点补充3
- 040. 项目要点补充4
本课程是 Python 爬虫和数据分析项目实战课程,主要分 3 部分:
第 1 部分是 Python 爬虫,主要使用 Urllib 3 和 BeautifulSoup 抓取天猫商城和京东商城胸罩销售数据,并保存到 SQLite 数据库中;
第 2 部分是对抓取的胸罩销售数据进行数据清洗,主要是去除空数据,让数据格式更规范;
第 3 半部分利用 Pandas 对数据进行分析,以及使用 Matplotlib 对分析后的数据进行可视化。
通过一系列分析,可以得到中国女性胸部尺寸(胸围)的标准大小,想知道中国女性最标准的胸围是多少吗?想知道什么颜色的胸罩最畅销吗?想知道 C 罩杯以上的女性喜欢到天猫还是京东购买胸罩吗?答案尽在本课程中。
其一是Python 基础入门,包括环境配置、基本操作、数据类型、语句和函数;其二是Python 爬虫的构建,包括网页结构解析、爬虫流程设计、代码优化、效率优化、容错处理、反防爬虫、表单交互和模拟页面点击;其三是Python 数据库应用,包括MongoDB、MySQL 在Python中的连接与应用;其四是数据清洗和组织,包括NumPy 数组知识、pandas 数据的读写、分组变形、缺失值异常值处理、时序数据处理和正则表达式的使用;其五是综合应用案例,帮助读者贯穿爬虫、数据清洗与组织的过程;最后是数据可视化,包括Matplotlib 和Pyecharts 两个库的使用,涉及饼图、柱形图、线图、词云图、地图等图形,帮助读者进入可视化的殿堂。