月度归档:2013年04月

自动查找小说的最新章节

核心思想是:

1 拿到一个书名后,到相关小说网站查找

2 查找到该小说网页后,查找“最新章节”几个字,拿到最新章节的链接。 http://www.17k.com/book/89718.html

或者进入“点击阅读”,然后拿最后一个“第xxx章”

首先用到urllib去下载页面:

==============================================================================

# get code of given URL as html text string
# Python3 uses urllib.request.urlopen()
# instead of Python2’s urllib.urlopen() or urllib2.urlopen()

import urllib.request

fp = urllib.request.urlopen(“http://www.python.org“)

mybytes = fp.read()
# note that Python3 does not read the html code as string
# but as html code bytearray, convert to string with
mystr = mybytes.decode(“utf8″)

fp.close()

print(mystr)

 

其次,获得链接的正则表达式方法为:

import re

part=re.compile(r’ref=”(.)”‘)

part.findall(内容)

超强匹配url地址的正则表达式

这个匹配url地址的正则表达式是我们为了过滤帖子里面的外部url地址而专门写的用来匹配所有的url地址的正则表达式。是经过了千锤百炼,经过事实检测的超强正则表达式。可以匹配所有的地址(若哪位GG有这个正则不匹配的地址,请联系我,谢谢!)!

([/w-]+/.)+[/w-]+.([^a-z])(/[/w- ./?%&=]*)?|[a-zA-Z0-9/-/.][/w-]+.([^a-z])(/[/w- ./?%&=]*)?

测试:

import re
import urllib.request
text='<a xxx>最新章节</a>哈哈’

while 1:
url1=”http://www.17k.com/book/89718.html”
get=urllib.request.urlopen(url1)
text=get.read().decode(‘utf8′)
get.close()
break

r=re.compile(r'<a.*?最新章节.*</a>’,re.U|re.I)
text1=r.findall(text)
print(text1)

还行,返回:

[‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″><b>校园全能高手&nbsp;&nbsp;第243章 惊心较量(下)</b></a>’, ‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″>第243章&nbsp;惊心较量(下)<br>&nbsp;&nbsp;“呼~!”<br>&nbsp;&nbsp;那中年警察缓缓吐出一口气息,脸上的表情也略微的缓和了一些……直到现在,他才算是从季枫那一记重踹中恢复过来。<br>&nbsp;&nbsp;由此可见,季枫刚才那一脚有多重,攻击力是何等的凌厉!<br>&nbsp;&nbsp;要知道,这中年警察的体质可是相当强悍的,他甚至可以跟季枫正面硬碰硬的进行一场激战,自己却也只是略微处于下风。<br>&nbsp;&nbsp;可见,这中年警察的身体强度也绝对不会比季枫弱太多!<br>&nbsp;&nbsp;然而即便是如此强悍的身体,在挨了季枫刚才那一记重踹之后,竟然好一会才恢复过来,那种内脏都仿佛被一脚踹碎的剧烈疼痛,才渐渐地消失,试想一下,如果季枫这一脚是踹在了一般的高手身上,恐怕会直接将人一脚给踹死</a>’]

 

修改了一下,结果是这样:

import re
import urllib.request
text='<a xxx>最新章节</a>哈哈’
text=”””[‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″><b>校园全能高手&nbsp;&nbsp;第243章 惊心较量(下)</b></a>’, ‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″>第243章&nbsp;惊心较量(下)<br>&nbsp;&nbsp;“呼~!”<br>&nbsp;&nbsp;那中年警察缓缓吐出一口气息,脸上的表情也略微的缓和了一些……直到现在,他才算是从季枫那一记重踹中恢复过来。<br>&nbsp;&nbsp;由此可见,季枫刚才那一脚有多重,攻击力是何等的凌厉!<br>&nbsp;&nbsp;要知道,这中年警察的体质可是相当强悍的,他甚至可以跟季枫正面硬碰硬的进行一场激战,自己却也只是略微处于下风。<br>&nbsp;&nbsp;可见,这中年警察的身体强度也绝对不会比季枫弱太多!<br>&nbsp;&nbsp;然而即便是如此强悍的身体,在挨了季枫刚才那一记重踹之后,竟然好一会才恢复过来,那种内脏都仿佛被一脚踹碎的剧烈疼痛,才渐渐地消失,试想一下,如果季枫这一脚是踹在了一般的高手身上,恐怕会直接将人一脚给踹死</a>’]
“””
while 0:
url1=”http://www.17k.com/book/89718.html”
get=urllib.request.urlopen(url1)
text=get.read().decode(‘utf8′)
get.close()
break

r=re.compile(r'<a.*?最新章节.*</a>’,re.U|re.I)
text1=r.findall(text)
print(text1[0])

p2=re.compile(r’ref=”(.*?)”‘)
text3=p2.findall(text1[0])
print(text3)

输出:

>>>
<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″><b>校园全能高手&nbsp;&nbsp;第243章 惊心较量(下)</b></a>’, ‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″>第243章&nbsp;惊心较量(下)<br>&nbsp;&nbsp;“呼~!”<br>&nbsp;&nbsp;那中年警察缓缓吐出一口气息,脸上的表情也略微的缓和了一些……直到现在,他才算是从季枫那一记重踹中恢复过来。<br>&nbsp;&nbsp;由此可见,季枫刚才那一脚有多重,攻击力是何等的凌厉!<br>&nbsp;&nbsp;要知道,这中年警察的体质可是相当强悍的,他甚至可以跟季枫正面硬碰硬的进行一场激战,自己却也只是略微处于下风。<br>&nbsp;&nbsp;可见,这中年警察的身体强度也绝对不会比季枫弱太多!<br>&nbsp;&nbsp;然而即便是如此强悍的身体,在挨了季枫刚才那一记重踹之后,竟然好一会才恢复过来,那种内脏都仿佛被一脚踹碎的剧烈疼痛,才渐渐地消失,试想一下,如果季枫这一脚是踹在了一般的高手身上,恐怕会直接将人一脚给踹死</a>
[‘/chapter/89718/10434068.html’, ‘/chapter/89718/10434068.html’]

这回有点用了。

发现了编码问题,有些网站是用gbk编码的….要解决这个问题。

 

现在解决了gb2312的问题,但是gbk的还不行:

import re
import urllib.request
text='<a xxx>最新章节</a>哈哈’
text=”””[‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″><b>校园全能高手&nbsp;&nbsp;第243章 惊心较量(下)</b></a>’, ‘<a href=”/chapter/89718/10434068.html” rel=”nofollow” target=”_blank” title=”最新章节更新日期: 2013-04-27 22:13:24″>第243章&nbsp;惊心较量(下)<br>&nbsp;&nbsp;“呼~!”<br>&nbsp;&nbsp;那中年警察缓缓吐出一口气息,脸上的表情也略微的缓和了一些……直到现在,他才算是从季枫那一记重踹中恢复过来。<br>&nbsp;&nbsp;由此可见,季枫刚才那一脚有多重,攻击力是何等的凌厉!<br>&nbsp;&nbsp;要知道,这中年警察的体质可是相当强悍的,他甚至可以跟季枫正面硬碰硬的进行一场激战,自己却也只是略微处于下风。<br>&nbsp;&nbsp;可见,这中年警察的身体强度也绝对不会比季枫弱太多!<br>&nbsp;&nbsp;然而即便是如此强悍的身体,在挨了季枫刚才那一记重踹之后,竟然好一会才恢复过来,那种内脏都仿佛被一脚踹碎的剧烈疼痛,才渐渐地消失,试想一下,如果季枫这一脚是踹在了一般的高手身上,恐怕会直接将人一脚给踹死</a>’]
“””
url2=”http://www.study520.com/read/266/”
url1=”http://www.17k.com/book/89718.html”
url3=”http://www.520xs.com/10003/”
while 1:
url=url2
get=urllib.request.urlopen(url)
text=get.read()

if (“utf” in str(text)):
text=text.decode(‘utf8′)
elif (“gbk” in str(text)):
text=text.decode(‘GBK’)
elif (“gb2312″ in str(text)):
text=text.decode(‘gb2312′)
get.close()
break

r=re.compile(r'<a.*?最新章节.*</a>’,re.U|re.I)
text1=r.findall(text)
print(text1[0])

p2=re.compile(r’ref=”(.*?)”‘)
text3=p2.findall(text1[0])
print(text3)

5.2日补充:

这段正则[一-龠]+ 能匹配简体和繁体

oschina.net的例程是:[u4e00-u9fa5]

看《精通正则表达式》3,里面python速度的测试例程使用了字符相加+=来构筑测试字符串,于是想到是不是应该直接用乘号构筑速度更快:

import re
import time
start=time.time()
tstr=’abcdefghijk’
tstr2=tstr
start=time.time()
for i in range(900000):
tstr += ‘abcdefghijklmn';

sec=time.time()-start
start=time.time()

tstr2 = ‘abcdefghijklmn’*900000
sec2=time.time()-start
print(sec,sec2)

输出:

0.390625 0.015625

可见速度相差了20多倍。

5.5日补充:

获得网页标题:

import urllib
import re
f = urllib.urlopen("http://www.google.com/")
raw_html = f.read()
patt = """<title>([^<]*)</title>"""
all = re.findall(patt, raw_html, re.IGNORECASE)
title = "".join(all)
print title

一些有趣的python库 zt

一些有趣的库

http://gorthon.sinaapp.com/article/home/100108/some-interesting-library

 

在我多年的 Python 编程经历以及在 Github 上的探索漫游过程中,我发掘到一些很不错的 Python 开发包,这些包大大简化了开发过程,而本文就是为了向大家推荐这些开发包。

请注意我特别排除了像 SQLAlchemy 和 Flask 这样的库,因为其实在太优秀了,无需多提。

下面开始:

1. PyQuery (with lxml)

安装方法 pip install pyquery

Python 解析 HTML 时最经常被推荐的是 Beautiful Soup ,而且它的确也表现很好。提供良好的 Python 风格的 API,而且很容易在网上找到相关的资料文档,但是当你需要在短时间内解析大量文档时便会碰到性能的问题,简单,但是真的非常慢。

下图是 08 年的一份性能比较图:

http://blog.ianbicking.org/wp-content/uploads/images/parsing-results.png

这个图里我们发现 lxml 的性能是如此之好,不过文档就很少,而且使用上相当的笨拙!那么是选择一个使用简单但是速度奇慢的库呢,还是选择一个速度飞快但是用起来巨复杂的库呢?

谁说二者一定要选其一呢,我们要的是用起来方便,速度也一样飞快的 XML/HTML 解析库!

而 PyQuery 就可以同时满足你的易用性和解析速度方面的苛刻要求。

看看下面这几行代码:

from pyquery import PyQuery
page = PyQuery(some_html)

last_red_anchor = page('#container > a.red:last')

很简单吧,很像是 jQuery,但它却是 Python。

不过也有一些不足,在使用迭代时需要对文本进行重新封装:

for paragraph in page('#container > p'):
    paragraph = PyQuery(paragraph)
    text = paragraph.text()

2. dateutil

安装方法:pip install python-dateutil

处理日期很痛苦,多亏有了 dateutil

from dateutil.parser import parse

>>> parse('Mon, 11 Jul 2011 10:01:56 +0200 (CEST)')
datetime.datetime(2011, 7, 11, 10, 1, 56, tzinfo=tzlocal())

# fuzzy ignores unknown tokens

>>> s = """Today is 25 of September of 2003, exactly
...        at 10:49:41 with timezone -03:00."""
>>> parse(s, fuzzy=True)
datetime.datetime(2003, 9, 25, 10, 49, 41,
                  tzinfo=tzoffset(None, -10800))

3. fuzzywuzzy

安装方法:pip install fuzzywuzzy

fuzzywuzzy 可以让你对两个字符串进行模糊比较,当你需要处理一些人类产生的数据时,这非常有用。下面代码使用Levenshtein 距离比较方法来匹配用户输入数组和可能的选择。

from Levenshtein import distance

countries = ['Canada', 'Antarctica', 'Togo', ...]

def choose_least_distant(element, choices):
    'Return the one element of choices that is most similar to element'
    return min(choices, key=lambda s: distance(element, s))

user_input = 'canaderp'
choose_least_distant(user_input, countries)
>>> 'Canada'

这已经不错了,但还可以做的更好:

from fuzzywuzzy import process

process.extractOne("canaderp", countries)
>>> ("Canada", 97)

4. watchdog

安装方法:pip install watchdog

watchdog 是一个用来监控文件系统事件的 Python API和shell实用工具。

5. sh

安装方法:pip install sh

sh 可让你调用任意程序,就好象是一个函数一般:

from sh import git, ls, wc

# checkout master branch
git(checkout="master")

# print(the contents of this directory
print(ls("-l"))

# get the longest line of this file
longest_line = wc(__file__, "-L")

6. pattern

安装方法:pip install pattern

Pattern 是 Python 的一个 Web 数据挖掘模块。可用于数据挖掘、自然语言处理、机器学习和网络分析。

7. path.py

安装方法:pip install path.py

当我开始学习 Python 时,os.path 是我最不喜欢的 stdlib 的一部分。尽管在一个目录下创建一组文件很简单。

import os

some_dir = '/some_dir'
files = []

for f in os.listdir(some_dir):
    files.append(os.path.joinpath(some_dir, f))

但 listdir 在 os 而不是 os.path 中。

而有了 path.py ,处理文件路径变得简单:

from path import path

some_dir = path('/some_dir')

files = some_dir.files()

其他的用法:

>>> path('/').owner
'root'

>>> path('a/b/c').splitall()
[path(''), 'a', 'b', 'c']

# overriding __div__
>>> path('a') / 'b' / 'c'
path('a/b/c')

>>> path('ab/c').relpathto('ab/d/f')
path('../d/f')

是不是要好很多?