読者です 読者をやめる 読者になる 読者になる

tsharkでpcapファイルからHTTP情報を抽出する

Wiresharkには、Wiresharkと同等の機能を持つCLIコマンドとしてtsharkが付属している。 tsharkではオプションとして-T fields -e <field> [-e <field> ...]を指定することで、指定したフィールドのデータをタブ区切りで出力することができる。

次の例では、dump.pcapというファイルから対象をHTTPのみに絞り込んだ上で、エポック秒、送信元・送信先のIPアドレスTCPポート番号および各種HTTP情報を書き出す。

$ tshark -r dump.pcap -T fields -e frame.time_epoch -e ip.src -e tcp.srcport -e ip.dst -e tcp.dstport -e http.request.method -e http.request.uri -e http.host -e http.user_agent -e http.response.code -e http.server -e http.content_type -e http.content_length "http"
1436986529.646386000    10.0.2.15       45616   183.79.235.148  80      GET     /       www.yahoo.co.jp Wget/1.15 (linux-gnu)
1436986529.700081000    183.79.235.148  80      10.0.2.15       45616                                   200     nginx   text/html; charset=UTF-8
1436986529.759357000    10.0.2.15       53979   124.83.230.249  80      GET     /robots.txt     k.yimg.jp       Wget/1.15 (linux-gnu)
1436986529.815389000    124.83.230.249  80      10.0.2.15       53979                                   404     YTS/1.20.10     text/html; charset=iso-8859-1
1436986529.854421000    10.0.2.15       36326   124.83.254.251  80      GET     /robots.txt     lpt.c.yimg.jp   Wget/1.15 (linux-gnu)
1436986529.928312000    124.83.254.251  80      10.0.2.15       36326                                   404     ATS     text/html; charset=utf-8        162
1436986529.964301000    10.0.2.15       53981   124.83.230.249  80      GET     /robots.txt     i.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.004200000    124.83.230.249  80      10.0.2.15       53981                                   404     YTS/1.20.10     text/html; charset=iso-8859-1   3231
1436986530.005313000    10.0.2.15       53981   124.83.230.249  80      GET     /images/clear.gif       k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.022590000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       43
1436986530.025674000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/sp/cgrade/logo-mh-150217.gif        k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.059537000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       6150
1436986530.061766000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_w-140325.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.078845000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       264
1436986530.080611000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_i-140325.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.101198000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       233
1436986530.102426000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_m-140325.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.126180000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       237
1436986530.127047000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_d-140325.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.143635000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       225
1436986530.150385000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_k-140325.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.177203000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       245
1436986530.180516000    10.0.2.15       53981   124.83.230.249  80      GET     /images/top/searchbox/s_mp-140325.gif   k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.197362000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       237
1436986530.198396000    10.0.2.15       53981   124.83.230.249  80      GET     /images/common/tv.gif   k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.218191000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       341
1436986530.219691000    10.0.2.15       53981   124.83.230.249  80      GET     /images/icon/photo.gif  k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.238256000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       360
1436986530.240735000    10.0.2.15       53981   124.83.230.249  80      GET     /images/new2.gif        k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.258350000    124.83.230.249  80      10.0.2.15       53981                                   200     YTS/1.20.10     image/gif       111
1436986530.274762000    10.0.2.15       36328   124.83.254.251  80      GET     /im_siggfsXBwwG4fZVOAjOlg94Z.g---x120-y120/amd/20150715-00000060-asahi-000-view.jpg     lpt.c.yimg.jp   Wget/1.15 (linux-gnu)
1436986530.292408000    124.83.254.251  80      10.0.2.15       36328                                   200     ATS     image/jpeg      8486
1436986530.310006000    10.0.2.15       53983   124.83.230.249  80      GET     /images/top/sp/cgrade/pb_bg.gif k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.329179000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       94
1436986530.330416000    10.0.2.15       53983   124.83.230.249  80      GET     /images/top/sp/cgrade/info_btn-140325.gif       k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.349955000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       229
1436986530.351301000    10.0.2.15       53983   124.83.230.249  80      GET     /images/top/sp/cgrade/iconMail.gif      k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.370669000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       209
1436986530.371757000    10.0.2.15       53983   124.83.230.249  80      GET     /images/sicons/ybm161.gif       k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.390212000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       282
1436986530.391321000    10.0.2.15       53983   124.83.230.249  80      GET     /images/sicons/box16.gif        i.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.408870000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       256
1436986530.410496000    10.0.2.15       53983   124.83.230.249  80      GET     /images/top/sp/cgrade/icon_point.gif    k.yimg.jp       Wget/1.15 (linux-gnu)
1436986530.429079000    124.83.230.249  80      10.0.2.15       53983                                   200     YTS/1.20.10     image/gif       100

最後の"http"は出力する対象をHTTPデータのみに絞り込むフィルタである。 また、対応するフィールドがないものは空文字列として扱われる。

フィールド名の一覧は下記のリファレンスにある。

HTTPに限らず、DNSなど他のプロトコルでも同様にして必要なフィールドのみを選択してタブ区切りで抽出することが可能である。 pcapのファイルサイズが非常に大きくWiresharkでの表示に時間がかかる場合や、他のスクリプトから解析結果を利用したい場合などに便利。