终于碰到所谓的大文件日志分析了

RT，一天几个G的日志——在服务器上打开，速度是没问题，但好多输入限制，下载到本地，先用了gvim windows版本打开，等了许久，/ ?pattern查找下确实卡啊，其他软件都没法操作了，内存不够，不过还不至于崩溃，暂时还没敢用ue打开1.5G的log文件。

PC机器，2G内存，2GHZ*2核心CPU，不给力啊。

对了，linux下有split分割文件，windows下有相应的工具否？

cywin
tail －f xxx

PS：UE还是可以打开比较大的文件。。。。

干嘛要用gvim打开？
如果装了grep awk 之类的那就用他们。 否则装个perl之类的吧。

btw.. 发下牢骚powershell处理大文件不是一般的难用。。。

icefishc 写道
干嘛要用gvim打开？
如果装了grep awk 之类的那就用他们。 否则装个perl之类的吧。

btw.. 发下牢骚powershell处理大文件不是一般的难用。。。



...我是下载到本地——windows环境的。。。

key232323 写道
icefishc 写道
干嘛要用gvim打开？
如果装了grep awk 之类的那就用他们。 否则装个perl之类的吧。

btw.. 发下牢骚powershell处理大文件不是一般的难用。。。



...我是下载到本地——windows环境的。。。


也可以用python

key232323 写道
icefishc 写道
干嘛要用gvim打开？
如果装了grep awk 之类的那就用他们。 否则装个perl之类的吧。

btw.. 发下牢骚powershell处理大文件不是一般的难用。。。



...我是下载到本地——windows环境的。。。

看到了..所以才说"如果装了。。。"
装个脚本语言吧

抛出异常的爱 写道
cywin
tail －f xxx

PS：UE还是可以打开比较大的文件。。。。



不用cygwin，也可以tail -f xxx，msys或者cygwin带的tail本身就是一个标准的pe可执行文件。


随手给你个windows下的gawk吧。

http://blogs.ejb.cc/archives/1654

抛出异常的爱 写道
cywin
tail －f xxx

PS：UE还是可以打开比较大的文件。。。。



1.5G的文本文件，很容易撑爆2GB的32位用户空间的，在linux还是windows下都一样。


靠谱的是用perl或者C#的textstreamreader，读一行丢一行。

考虑一下用数据库

可以装unix util的windows版本, 不是一般的好用,grep, cat, fgrep, zcat这些工具分析2G的文件还是没问题, 不过如果你要有什么特殊需求就用perl/python.写个脚本分析也很快