概述
目前主流的网络数据分析工具主要有两类,一类是http协议分析工具,如fiddler,这类工具擅长对字符串类型协议分析;另一类是原始网络数据包的监听分析,如Wireshark,这类工具擅长分析网络底层行为。这两类工具一类擅长字符串协议分析,另一类擅长网络底层行为分析,但是上述两类工具分析二进制流类型协议时,就显得力不心了,TcpEngine (官网:http://www.tcpengine.cn/)补充上述两类工具的空白,提供了二进制流协议分析的方法。
TcpEngine擅长分析Tcp长连接协议,在数据流协议出现数据错误时使用,比如使用了tcp|websocket协议的网络游戏出现数据错误时,使用本工具对游戏网络数据分析,查找数据错误原因。这款工具不但可以在发开环境中使用,也可以在非开发环境中使用,比如网络数据错误发生在测试环境或用户环境,可以使用本工具在发生错误环境中监听拷贝网络数据,保存到文件再交给技术开发人员慢慢分析。
目前只支持在win32平台运行,工具分两部分,应用软件部分和系统内核WFP模块,WFP(Windows Filtering Platform) 是windows推出的用于TCP/IP协议栈五层各层里面对数据包进行交互操作的基础框架,这里用于监听拷贝指定的网络数据。使用前需要安装WFP,由于WFP内核模块还没有数据签名,使用前需要按下面链接指导步骤重启和设置系统http://www.xitongcheng.com/jiaocheng/win10_article_10547.html
界面
启动界面如下图所示。
运行界面如下图所示,奇数行是原始的数字流,偶数行是对应的解析后的可读数据。
使用方法
TcpEngine使用WFP截取应用层网络数据,WFP是内核模块,进行数字签名,杀毒软件会直接报名,并且使用需要按http://www.xitongcheng.com/jiaocheng/win10_article_10547.html进行一些设置,WFP模块TcpEngine官网已公开源代码,你了可以下载重新编译。以管理员身份运算TcpEngine,点击主界面新建文档,如下图所示。
点击开始,输入需要监听的网络地址(支持域名和真实IP地直)和端口,如下图所示。
点击“接收并解析”或“接收不解析”,把要监听的网络信息写入WFP内核,当监听的网络有数据流通时,就拷贝一分到TcpEngine中,如下图所示。
本示例使用的是flamingo应用演示,收到的是加密后数据,我们需要对它解密,按TcpEngine规则实现了flamingo算法,在TcpEngine官网有示例代码,使用方法,1、先暂停;2、加入解密库,如下图所示。
再点击刷新,得到解密后的数据,如下图所示。
这时可以编写解析规则对原始数据进行解析,再“刷新并解析”,可以得到正常数据,如下图所示。
解析规则
每个不同的应用定义了不同的Tcp协议,面对千变万化的协议,TcpEngine提供的方案是半编程的解析规则,需要你根据自己的协议,编写解析规则来解析你的数据。解析规则借鉴了编程的变量,分支(if)和循环(for)。
比如我们的数字流协议定义如下图所示。
那我们对应的解析规则如下所示。
int32 id;
int32 msgLen;
if(0 < msgLen)
{
byte[msgLen] body;
}
如果我们的id=1000消息的消息体如下图所示。
if(1000 == id) {
int32 loginId = split(body);
text[msgLen-4] = split(body);
}
完整的解析规则如下图所示。
如果我们的消息体是结构体数组,那么我们可以用for表达式循环解析,示例如下图所示。
如果我们的消息体是结构体数组,那么我们可以用for表达式循环解析,示例如下图所示。
网络数据说明
当我们的网络数据出错时,需要按我们自定义的协议规则解析网络数据成为我们可阅读的格式,一般情况下,我们的网络数字流是按固定的格式连续组成二进制数据流。我们向您提供了半编程式的方法对这类网络数据解析,把不可阅读的数字流解析成可阅读的数据格式。
工具通过wfp内核模块从系统内核拷贝指定网络数据,当我们的网络程序向网络发送或接收一段完整的数据时,会拷贝一份应用层的数据到工具,每一条数据会生成两行数据,奇数行是原始数据,紧接偶数行是对应的解析数据。由原始数据行颜色标识数据类型,如下图所示。
解析参数
在解析网络数据前,我们需要分别对发送和接收的数据设置好数据类型,发送和接收两种类型都要设置,发送类型的设置只对发送数据有效,接收类型的设置只对接收数据有效。
设置参数有四种,分别是字节序;字符编码;网络协议;指定解码库(后续再说明),需要注意,参数设置必须全部小写。
set endian = big; 设置字节序,对基本数字类型有影响,如 四个字节的int型等,目前主流的网络序都使用大端字节序,也叫网络字节序。支持的值有 big 大端字节和little小端字节序两种。
set encoding = utf-8; 设置字符串编码,对字符串数据类型有影响,当前只支持 utf-8和local(本地类型)两种编码格式。
数据类型
解析规则的功能是把连续无规则无法阅读的数据流解析成规则的,可阅读的数据格式,方法是把连续的字节按变量的形式划分到一个整体并显示代表的值,如把连续的四个字节划分成整型,或如把多个字节划分成一个字符串变量,工具支持的变量类型如下列表。
数据类型列表
char 字符型,一个字节,显示ASCII 字符。
byte 字节型,一个字节,以十六进制显示。
int8 有符号整型,一个字节,以十进制显示。
uint8 无符号整型,一个字节,以十进制显示。
int16 有符号整型,两个字节,以十进制显示。
uint16 无符号整型,两个字节,以十进制显示。
int32 有符号整型,四个字节,以十进制显示。
uint32 无符号整型,四个字节,以十进制显示。
int64 有符号整型,八个字节,以十进制显示。
uint64 无符号整型,八个字节,以十进制显示。
float32 有符号浮点型,四个字节,以十进制显示。
float64 有符号浮点型,八个字节,以十进制显示。
string 字符串型,可变长度,如果指定了长度,则按指定长度划分字节数,如果不指定长度,一直划分到遇到零为止,如果刚好本行结束,则本数据类型不参与解析。
text 字符串型,可变长度,如果指定了长度,则按指定长度划分字节数,如果不指定长度,一直划分到遇到零为止,如果刚好本行结束,则使用下一行参与继续解析。
来源:https://www.cnblogs.com/tcp-engine/p/16174565.html
本站部分图文来源于网络,如有侵权请联系删除。