2012年01月的文章

[置顶] 朋友借钱

IP地址库介绍

摘要

在CDN系统中,IP地址库在流量调度、网络服务质量监测等方面起到重要的作用,本文主要介绍了IP地址库的功能、内容以及IP地址库的生成和评价方法

什么是IP地址库?

所谓IP地址库,指的是提供了IP地址(段)同地理、ISP、结构等信息映射关系的一组数据

IP地址库有什么用?

IP地址库应用的场合较为广泛,下面举几个常见的例子:
(1)根据客户的IP地址确定客户来源,为后期的客户行为分析提供基础,例如需要统计学生群体的访问特点,这时我们就是通过分析来自教育网的IP地址的那些请求得到的
(2)为不同区域的用户提供不同的天气、物流、文化等信息。很多网站对于不同区域的用户提供了不同的访问内容,这些网站往往就是通过IP地址来确定用户的地域信息的
(3)区域化的广告投放。很多商家需要精准的广告投放,这就依赖于IP地址库的准确性。
(4)CDN调度系统希望将各区域的用户访问流量调度到最近的CDN节点,这点也依赖于IP地址库的准确性
(5)网站访问质量监测。 为了准确的提供各区域用户访问网站的质量,我们需要比较精确地知道访问用户所在的区域,这一点目前主要也是依靠IP地址库来实现的

IP地址库内容

IP地址库主要提供的是IP地址同下列一些常见信息的对应关系:
(1)国家、大区、省/州/区、(地级)市、县(级市)等地域信息
(2)ISP信息
(3)机构信息
(4)经、纬度
(5)详细地址
(6)路由信息

IP地址库的来源
现有很多的IP地址库,各IP库在提供者、提供信息等方面都比较相近,常见的有:
(1)APNIC(Asia-Pacific Network Information Center),亚太互联网络信息中心相关资源
IP地址段分配每日更新文件

http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest

whois服务方便了用户对NIC域名数据库的查询
(2)QQ纯真库 http://www.cz88.net/fox/
(3)IPInfodb http://ipinfodb.com/download.php?file=ipinfodb_one_table_full.sql.bz2
(4)MaxMind GeoIP http://geolite.maxmind.com/download/geoip/database/GeoLiteCity_CSV/GeoLiteCity_20100401.zip

IP地址库评价指标

如何评价一个IP地址库的优劣,个人觉得目前主要查看以下几个指标:
(1)粒度。所谓粒度,指的是IP地址库中IP(段)对应的其他信息的精确程度。例如,是精确到国家,还是能精确到市或县?不同的应用对IP地址库的粒度要求是不同的,但就IP地址库自身的评价指标来说,粒度越细,IP地址库的价值越大
(2)准确度。所谓准确度,指的是所提供信息的正确的程度,显然,准确度越高,IP地址库的价值越大
(3)覆盖度。所谓覆盖度,指的是对一个特定的集合,IP地址库涵盖该结合的程度。例如,中国IP(ipv4)地址有3.1亿,某IP地址库中含有中国的IP地址数为2.8亿,则覆盖度约为90%。显而易见,覆盖度越高,IP地址库越好

IP地址库的集成
不同的IP地址库在信息粒度、置信度、覆盖度等方面各有千秋,我们可以考虑将不同IP地址库的信息进行集成,原则上将,这样就能得到一个更好的IP地址库,这也是我们目前采用的思路

Apanic IP地址段的获取与整理方法介绍

摘要
APNIC负责管理亚太地区国家的IP地址和AS号码分配。本文介绍了如何通过APNIC提供的IP地址分配信息和whois工具生成一种IP地址库。

Apnic介绍
简而言之,Apnic是全球5个地区级的Internet注册机构(RIR)之一,负责亚太地区的以下一些事务:
(1)分配IPv4和IPv6地址空间,AS号
(2)为亚太地区维护Whois数据库
(3)反向DNS指派
(4)在全球范围内作为亚太地区的Internet社区的代表
更详细的Apnic介绍文档请参见:

http://www.apnic.net/about-APNIC/organization

或者

http://en.wikipedia.org/wiki/Asia-Pacific_Network_Information_Centre


Apanic IP地址分配信息总表

Apanic提供了每日更新的亚太地区IPv4,IPv6,AS号分配的信息表,访问url是

http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest

该文件的格式与具体内容参加
ftp://ftp.apnic.net/pub/apnic/stats/apnic/README.TXT

通过该文件我们能够得到Apnic辖下IPv4地址空间的分配情况。但从该文件中我们只能得到
apnic|CN|ipv4|1.2.2.0|256|20110331|assigned
等级机构|获得该IP段的国家/组织|资源类型|起始IP|IP段长度|分配日期|分配状态

但关于省、运营商、地址、路由等信息仍然无法获取

信息总表的扩展

在获取上述总表的基础上,我们通过不断的进行whois,就能得到更多的信息

例如,这对起始IP 1.4.4.0,我们运行whois 1.4.4.0,得到如下的信息

whois 1.4.4.0
[Querying whois.arin.net]
[Redirected to whois.apnic.net]
[Querying whois.apnic.net]
[whois.apnic.net]
% [whois.apnic.net node-1]
% Whois data copyright terms http://www.apnic.net/db/dbcopyright.html

inetnum: 1.4.4.0 – 1.4.4.255
netname: KNET
descr: KNET Techonlogy (BeiJing) Co.,Ltd.
descr: 4,South 4th treet, Zhongguancun,Haidian District,Beijing
country: CN
admin-c: HS1165-AP
tech-c: WL1818-AP
mnt-by: MAINT-CNNIC-AP
mnt-routes: MAINT-CNNIC-AP
mnt-irt: IRT-CNNIC-CN
status: ASSIGNED PORTABLE
changed: hm-changed@apnic.net 20110331
source: APNIC

person: Hanhui Sun
address: 4,South 4th treet, Zhongguancun,Haidian District,Beijing
country: CN
phone: +86-010-58813102
fax-no: +86-010-58812666-126
e-mail: sunhanhui@knet.cn
nic-hdl: HS1165-AP
mnt-by: MAINT-CNNIC-AP
changed: ipas@cnnic.net.cn 20110315
source: APNIC

person: Wenzhe Lu
address: 4,South 4th treet, Zhongguancun,Haidian District,Beijing
country: CN
phone: +86-010-58813017
fax-no: +86-010-58812666-126
e-mail: lwz@knet.cn
nic-hdl: WL1818-AP
mnt-by: MAINT-CNNIC-AP
changed: ipas@cnnic.net.cn 20110315
source: APNIC

其中我们比较关注的信息有:
inetnum:起始和终止IP地址
netname: 网络名(运营商/Org等)
country: 国家
descr: 描述信息(往往含有地域、ISP等信息)
address: 地址信息

通过不断对上述的信息总表的起始IP地址进行whois,我们可以得到详细的IP地址对应的地域、ISP、Org等信息

实现时,在对上述信息总表的起始IP地址进行whois时,需要考虑到两种情况:
(1)对信息总表起始IP地址进行whois时,得到的inetnum中包含的IP地址数目经常会小于信息总表中对应的IP数,因此往往需要多次whois才能得到最终的结果
(2)对信息总表起始IP地址进行whois时,得到的inetnum中的起始IP有可能会小于信息总表中的起始IP,这时也需要进行处理,否则可能使得最终的结果出现IP段交叉的情况

Apnic whois库处理流程总结
为了获取Apnic whois库的完整结果,可以遵循下面的流程:
(1)通过http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest获取Apanic负责分配的所有IPv4地址段的起始地址和长度
(2)通过对上述IP段进行whois操作,得到该IP段的相关信息
(3)whois结果的信息提取、处理和规范化。常见的处理包括国家、省、市、ISP、机构等信息的提取,英文与中文的转化等

通过上述三步,我们就能够得到whois库的结果

视频网站屏蔽广告


127.0.0.1 a.cctv.com
127.0.0.1 a.cntv.cn
127.0.0.1 ad.cctv.com
127.0.0.1 d.cntv.cn
127.0.0.1 adguanggao.eee114.com
127.0.0.1 cctv.adsunion.com
127.0.0.1 luck.v1.cn
127.0.0.1 acs.56.com
127.0.0.1 acs.agent.56.com
127.0.0.1 acs.agent.v-56.com
127.0.0.1 bill.agent.56.com
127.0.0.1 bill.agent.v-56.com
127.0.0.1 stat.56.com
127.0.0.1 stat2.corp.56.com
127.0.0.1 union.56.com
127.0.0.1 uvimage.56.com
127.0.0.1 v16.56.com
127.0.0.1 pole.6rooms.com
127.0.0.1 shrek.6.cn
127.0.0.1 simba.6.cn
127.0.0.1 union.6.cn
127.0.0.1 atm.youku.com
127.0.0.1 Fvid.atm.youku.com
127.0.0.1 html.atm.youku.com
127.0.0.1 lstat.youku.com
127.0.0.1 speed.lstat.youku.com
127.0.0.1 stat.youku.com
127.0.0.1 static.lstat.youku.com
127.0.0.1 urchin.lstat.youku.com
127.0.0.1 valb.atm.youku.com
127.0.0.1 valc.atm.youku.com
127.0.0.1 valf.atm.youku.com
127.0.0.1 valo.atm.youku.com
127.0.0.1 valp.atm.youku.com
127.0.0.1 vid.atm.youku.com
127.0.0.1 walp.atm.youku.com
127.0.0.1 adextensioncontrol.tudou.com
127.0.0.1 adplay.tudou.com
127.0.0.1 iwstat.tudou.com
127.0.0.1 nstat.tudou.com
127.0.0.1 stat.tudou.com
127.0.0.1 stats.tudou.com
127.0.0.1 tdap.tudou.com
127.0.0.1 tdcm.tudou.com
127.0.0.1 cpro.baidu.com
127.0.0.1 86mms.megajoy.com
127.0.0.1 86file.megajoy.com
127.0.0.1 86get.joy.cn
127.0.0.1 86log.joy.cn
127.0.0.1 casting.openv.com
127.0.0.1 m.openv.tv
127.0.0.1 uniclick.openv.com
127.0.0.1 wo318.k621.com
127.0.0.1 union.pomoho.com
127.0.0.1 pro.letv.com
127.0.0.1 t.top100.cn
127.0.0.1 images.sohu.com
127.0.0.1 adcount.sandai.net
127.0.0.1 advstat.xunlei.com
127.0.0.1 analytics-union.sandai.net
127.0.0.1 biz4.sandai.net
127.0.0.1 biz5.sandai.net
127.0.0.1 biz5c.sandai.net
127.0.0.1 cknum.sandai.net
127.0.0.1 click.cm.sandai.net
127.0.0.1 float.sandai.net
127.0.0.1 gvod.union.sandai.net
127.0.0.1 hubstat.sandai.net
127.0.0.1 logic.cpm.cm.sandai.net
127.0.0.1 mcfg.sandai.net
127.0.0.1 mpv.sandai.net
127.0.0.1 pubstat.sandai.net
127.0.0.1 server1.adpolestar.net
127.0.0.1 ub.dphub.sandai.net
127.0.0.1 vodsts.sandai.net
127.0.0.1 afp.qiyi.com
127.0.0.1 focusbaiduafp.allyes.com
127.0.0.1 cs.37see.com
127.0.0.1 js.5566ad.com
127.0.0.1 comment.ifeng.com
127.0.0.1 flvad.ifeng.com
127.0.0.1 favorites.ifeng.com
127.0.0.1 itv.ifeng.com
127.0.0.1 my.ifeng.com
127.0.0.1 partner.itv.ifeng.com
127.0.0.1 sc.ifeng.com
127.0.0.1 sta.ifeng.com
127.0.0.1 stadig.ifeng.com
127.0.0.1 survey.news.ifeng.com
127.0.0.1 t.ifeng.com
127.0.0.1 v.t.sina.com.cn
127.0.0.1 adsfile.qq.com
127.0.0.1 adsgroup.qq.com
127.0.0.1 adshmct.qq.com
127.0.0.1 adshmmsg.qq.com
127.0.0.1 dl.ddong.com
127.0.0.1 game.kugou.com
127.0.0.1 games.kugou.com
127.0.0.1 install.kugou.com
127.0.0.1 links.kugoo.com
127.0.0.1 mkg.kugou.com
127.0.0.1 myonline.kugou.com
127.0.0.1 sdn.kugoo.com
127.0.0.1 sdn.kugou.com
127.0.0.1 softstat.kugou.com
127.0.0.1 yx.kugou.com
127.0.0.1 g.koowo.com
127.0.0.1 g.kuwo.cn
127.0.0.1 wa.kuwo.cn
127.0.0.1 wa.koowo.com
127.0.0.1 notice.ppstream.com
127.0.0.1 stat.ppstream.com
127.0.0.1 update.111222.cn
127.0.0.1 game.pps.tv
127.0.0.1 afp.pplive.com
127.0.0.1 afv.pplive.com
127.0.0.1 caipiao.pplive.com
127.0.0.1 dh.pplive.com
127.0.0.1 g.pplive.com
127.0.0.1 ins-stat.pplive.com
127.0.0.1 ins-version.pplive.com
127.0.0.1 ins.pplive.com
127.0.0.1 iptable.pplive.com
127.0.0.1 live.v2.pplive.com
127.0.0.1 download.pplive.com
127.0.0.1 pp1.pplive.com
127.0.0.1 up.pplive.com
127.0.0.1 g.pptv.com
127.0.0.1 pp2.pptv.com
127.0.0.1 ppsj.pptv.com
127.0.0.1 wafp.pptv.com
127.0.0.1 wstat.pptv.com
127.0.0.1 h.g1d.net
127.0.0.1 p.g1d.net
127.0.0.1 ppva.g1d.net
127.0.0.1 video-va.g1d.net
127.0.0.1 pplive-ppva.datamaster.com.cn
127.0.0.1 pplive-probe.datamaster.com.cn
127.0.0.1 res-pplive.datamaster.com.cn
127.0.0.1 110.qvod.com
127.0.0.1 buffer-ad.qvod.com
127.0.0.1 insert-ad.qvod.com
127.0.0.1 pause-ad.qvod.com
127.0.0.1 text-ad.qvod.com
127.0.0.1 tj.qvod.com
127.0.0.1 update.qvod.com
127.0.0.1 hao.kuaibo.com
127.0.0.1 searchstat.kuaibo.com
127.0.0.1 qvodlink.hco.cc
127.0.0.1 g.uusee.com
127.0.0.1 sa.uusee.com
127.0.0.1 traffic.uusee.com
127.0.0.1 uhms.uusee.com
127.0.0.1 uuseeafp.allyes.com
127.0.0.1 ads.qianqian.com
127.0.0.1 ttmsg.qianqian.com
127.0.0.1 ttads.ttplayer.com
127.0.0.1 dcads.sina.com.cn
127.0.0.1 links.kugoo.com
127.0.0.1 links.kugoo.com