Multi process parallel acquisition tool for IP address data of ISP network operators in China
**区 ISP 网络运营商 IP 地址数据多进程并行处理批量获取工具
呵呵,妥妥的一个主机多进程网络性能,计算性能,读写性能测试工具!能以极致指标跑好这个脚本,才敢说有台好设备可以凑合用了。
v1.0.3
工具采用 Shell 脚本编写,参考并借鉴 clangcn( https://github.com/clangcn/everyday-update-cn-isp-ip.git )项目代码和思路,通过多进程并行处理技术,对信息检索和数据写入过程进行优化,极大提高 ISP 运营商分项地址数据生成效率,减少运行时间。
在提供 IPv4 数据获取的同时,增加 IPv6 数据获取功能,以及基于 CIDR 网段聚合算法的 IPv4/6 CIDR 地址数据的生成功能。
作为自主数据源产生的 CIDR 网段地址数据,非常适合路由器多线路宽带接入后的策略分流功能使用。
脚本在 Linux 环境下使用,运行平台包括:Ubuntu,CentOS Stream,Rocky,Deepin,ASUSWRT-Merlin,OpenWrt,......
适用的 Shell 类型:sh,ash,dash,bash,zsh,......
本产品同时也是本人 lzispcn 项目( https://github.com/larsonzh/lzispcn.git )从单进程进化到多进程的升级版本。
项目代码和算法全部开源公开,欢迎有闲人士研究、探索和教化,共同进步。
-
从 APNIC 下载最新 IP 信息数据。
-
从 APINC IP 信息数据中抽取出最新、最完整的**大陆及港澳台地区所有 IPv4/6 原始地址数据。
-
采用多进程并行处理方式,向 APNIC 逐条查询**大陆地区的 IPv4/6 原始地址数据,得到归属信息,生成能够包含**大陆地区所有 IPv4/6 地址的 ISP 运营商分项数据。
-
通过 CIDR 聚合算法生成压缩过的 IPv4/6 CIDR 格式地址数据。
-
**区 IPv4/6 地址数据:含 4 个地区分项和 7 个 ISP 运营商分项
-
大陆地区
-
**电信
-
**联通/网通
-
**移动
-
**铁通
-
**教育网
-
长城宽带/鹏博士
-
**大陆其他
-
-
香港地区
-
澳门地区
-
**地区
-
-
百度网盘
-
国外开源代码托管平台(GitHub)
-
国内开源代码托管平台(Gitee)
脚本使用前最好将所在系统升级到最新版本,同时要在系统中联网安装脚本执行时必须依赖的软件模块:whois,wget
- Ubuntu | Deepin
sudo apt update
sudo apt install whois
sudo apt install screen # 可选项
- CentOS Stream | Rocky
sudo dnf install -y epel-release
sudo dnf update -y
sudo dnf install -y gcc make perl kernel-devel kernel-headers bizp2 dkms whois
sudo dnf update kernel-*
sudo dnf install -y screen # 可选项
sudo reboot
- ASUSWRT-Merlin
先安装 Entware 软件存储库:
插入格式化为 ext4 格式的 USB 盘,键入
系统自带的 amtm 命令,在终端菜单窗口中
选择安装 Entware 到 USB 盘。
opkg update
opkg install whois
opkg install screen # 可选项
- OpenWrt
opkg update
opkg install whois
opkg install wget-ssl
opkg install screen # 可选项
其他 Linux 平台系统依此类推。
-
下载本工具的软件压缩包 lzsipcn-[version ID].tgz(例如:lzispro-v1.0.3.tgz)。
-
将压缩包复制到设备的任意有读写权限的目录。
-
在 Shell 终端中使用解压缩命令在当前目录中解压缩,生成 lzispro-[version ID] 目录(例如:lzispro-v1.0.3),其中包含一个 lzispro 目录,是脚本所在目录。
tar -xzvf lzispro-[version ID].tgz
-
将 lzispro 目录整体复制粘贴到设备中有读写运行权限的目录位置存储。
-
在 lzispro 目录中,lzispro.sh 为本工具的可执行脚本,若读写运行权限不足,手工赋予 755 以上即可。
假设当前位于 lzispro 目录
启动脚本 ./lzispro.sh
强制停止 ./lzispro.sh stop
-
通过 Shell 终端启动脚本后,在操作过程中不要关闭终端窗口,这会导致程序执行过程意外中断。为防止远程终端窗口在长时间运行中意外掉线或关闭,建议在服务端的 Linux 系统中安装 screen 全屏幕窗口管理命令模块,并在 screen 会话中执行脚本运行命令,可确保终端窗口掉线或关闭后,也能在 screen 会话后台完成脚本运行。
-
主脚本在系统中只能有一个实例进程运行。若上次运行过程中非正常退出,再次运行如果提示有另一个实例正在运行,在确认系统中本脚本确实没有实例正在运行后,可以执行「强制停止」命令或重启系统,然后再执行「启动脚本」命令。由于采用多进程并行处理机制,一旦工作过程被打断,或强制关闭后,为避免残余进程还在后台运行,请执行一次「强制停止」命令,以清理脚本非正常退出后遗留的临时数据,同时关闭垃圾进程。
-
进行 ISP 运营商分项数据归类时,脚本需要通过互联网访问 APNIC 做海量信息查询,可能要耗费一、两个小时以上时间。切勿中断此执行过程,并耐心等候。
-
若要减少 ISP 运营商分项数据归类处理时间,可根据设备硬件平台性能,在不影响设备正常使用的前提下,酌情并适可而止的修改查询 ISP 信息归类数据的「并行查询处理多进程数量 PARA_QUERY_PROC_NUM」参数,取值越大,效率越高,用时越短。例如,从缺省的 4 进程,提高到 8 进程,16 进程,甚至 64 进程,效率可能获得翻倍,或数倍提高,大大降低程序运行时间,改善应用体验。
在项目目录 lzispro 下,脚本为获取和生成的每类文本形式的数据设有独立的存储目录,在程序执行完成后,从这些目录中可获取所需数据。用户也可以根据需要,在脚本参数配置时修改最终输出的目录名称、路径,以及具体的数据文件名称。
[lzispro]
[func]
lzispdata.sh -- ISP 数据进程脚本
[apnic] -- APNIC 的 IP 信息数据
[isp] -- IPv4 原始地址数据
[cidr] -- IPv4 CIDR 地址数据
[ipv6] -- IPv6 原始地址数据
[cidr_ipv6] -- IPv6 CIDR 地址数据
[tmp] -- 运行中的临时数据
lzispro.sh -- 主进程脚本
lzispro.sh 脚本是本工具的主程序,可用文本编辑工具打开查看、修改其中的内容。
该代码的前部分有供用户自定义的变量参数,具体使用可参考内部注释。
项目目录
目标数据文件名
需要获取哪类数据
并行查询处理多进程数量
信息查询失败后的重试次数
是否显示进度条
系统日志文件定义
......
直接删除 lzispro 目录。
华硕 GT-AX6000 梅林固件路由器,四核心 ARM CPU,主频 2.0 MHz,脚本「并行查询处理多进程数量」参数设置为:PARA_QUERY_PROC_NUM="48"。实际用时从单进程的两个多小时减少到 10 分钟以下。并行查询处理多进程同时运行时,CPU 四个内核的资源占用率均在 60 ~ 70 % 之间,路由器网络内外之间均保持畅通。
使用 64 个查询处理进程,OpenWrt 跑疯了。这是在 VirtualBox 虚拟机里的软路由,主机系统 Windows 11,11 代 U 的笔记本电脑,无线连接路由器,平时看不出有啥性能,不可思议!
能跑哈,再折腾下,128 个进程,行不?3 分钟半,大部分时间耗在 CIDR 聚合计算上,ISP 数据生成用时很少,若放到服务器上,效果更好。
安装在 11 代 U 笔记本电脑 VirtualBox 虚拟机里的 Linux 服务器,配置 4 GB 内存和 4 个处理器。脚本「并行查询处理多进程数量」参数设置为:PARA_QUERY_PROC_NUM="128",使用 128 个查询处理进程。
2 分钟 8 秒,太快了!
使用装在 VirtualBox 虚拟机里的 Ubuntu Server,还是 128 个查询进程,开启进度条显示,
过程中规中矩,扣除起始时快时慢的 APNIC IP 信息数据 FTP 下载时间,大多数时候没有 CentOS Stream、Rocky 快。虚拟机里还有 Ubuntu 桌面版和一个 Deepin 桌面版,跑起来总体上要比服务器版慢。
所有系统都升级到当前最新正式版本,除去两个 Linux 路由器专用系统,公平起见,所有虚拟机中的 Linux 系统,内存、处理器、存储、网卡等均采用相同配置,都走**移动千兆宽带,运行中尽可能使用执行速度更快的 Shell 环境,如 sh、ash、dash,bash 比较臃肿,效率有些低,但也只在理论上,实际受其他影响,差别没想象的大。
几轮测试下来,最大影响因素还是网络。一般夜里,或凌晨前测试效果较好,白天时段较慢,肯定与业务繁忙程度、网络节点中继流量及国际出口拥堵状况有关,最好找我区绝大部分人类活动能力较弱的垃圾时间折腾。由于 APNIC 负责亚太地区网络地址,主机繁忙时间与我兔作息较为接近,事实如此?我也仅是打酱油时无意间特么猜测,总有些不规矩的家伙积极从事反人类的加班加点,搞得鸡毛都飞不动了。。。
谁说国货不行,无意间又用 128 进程测了一下这个刚升级的桌面版系统,屌爆逆天,还特么怎么玩,一分多钟。。。
最后用 Ubuntu 桌面版测了一下 128 个进程并行查询处理的情况,结果令人失望,比过去最快曾到过 2 分 51 秒慢的很多,有些离谱,可能此刻网络状况变差,GitHub 也连不上了,啥破网络。折腾一宿,感觉测的是网络状态,无语!
小众需求,开源不易,欢迎投喂 😘
![]() |
![]() |
---|