xpath 和 lxml

• xpath
  • 一门从html中提取数据的语言

编码格式

a=u'string' :u 代表 unicode
a.encode('utf-8') : utf-8格式
a.decode('utf-8') : 从utf-8转至Unicode格式

from sys import argv
script,filename = argv 获取文件信息

1、渲染图表

1
2
3
4
5
6

from pyecharts import Bar

bar = Bar("我的第一个图表", "这里是副标题")
bar.add("服装", ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", ], [5, 20, 36, 10, 75])
# bar.print_echarts_options() # 该行只为了打印配置项，方便调试时使用
bar.render()    # 生成本地 HTML 文件

基本概念

• 数据库（database）
• 集合（collection）
• 文档（document）
  • 数据库和集合在MongoDB中不需要手动创建
    • 当创建文档时，如果文档所在集合或数据库不存在会自动创建数据库和集合

解决方案

• 1.多态：可以对不同类的对象使用相同的操作
• 2.headers=headers :反爬措施，防止浏览器以为是机器在工作
• 3.对象的状态由它的特性（比如名称）来描述
• 4.所有的对象都属于某一个类，称为类的实例
• 5.self参数用于对象自身的引用，实例化对象将自己作为第一个参
  数传入函数中，例如 若 foo为Person的实例，则foo.greet()可以看作Person.greet(foo)的简写

函数式编程

帮助函数 S.method?

Pandas

1.什么是Series

简单来说：一维带标签（索引）的数组

爬虫的分类

• 1.通用爬虫
• 2.聚焦网络爬虫
• 3.增量式网络爬虫
• 4.深层网络爬虫

requests