电商爬虫第一版完工

清明节三天憋在家终于搞定针对京东的爬虫,今天下班回来,抓紧把程序部署到vps上。毕设还有一堆活要做,Come on!

整理下这几天遇到的麻烦:

开发环境:

本机:Mac OS X 10.9

jdk:1.7

maven :3.3.1

mongodb:3.0
一、maven 问题汇总

1.maven 之环境变量

Exception in thread “main” java.lang.UnsupportedClassVersionError: org/apache/maven/cli/MavenCli : Unsupported major.minor version 51.0

好吧,这个是不是问题的问题,不要鄙视我,但是我就是没设置环境变量……

解决方案:设置JAVA_HOME呗

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home

顺便提一句,安装maven时,记得看官方给你说明,比较下网上那些所谓的参考教程,你就知道网上说的不仅千篇一律还错误连篇!官网给的说明很清晰!

2.maven 之编译打包

之前一直在eclipse下用m2e插件管理工程,但是不可能跑到vps上装一个eclipse啊,好吧,我把整个工程打包成jar扔到了远程上,让它自己玩去吧~

maven打包时,遇到各种问题。不好意思,抛得各种错误没有记录,将pom.xml中的build部分贴出来吧,其中指定了运行的main class:

[caption id=”” align=”alignnone” width=”488”]maven-build maven-build[/caption]

关于maven的初步介绍和使用,推荐一篇教程http://my.oschina.net/huangyong/blog/194583

maven直接打包也很简单,配置好后,直接clean再package,搞定

mvn clean package

二、log4j 的问题,现在仍没明白……
log4j是一个操控日志信息的一个工具,其他的自行Google,我在eclipse下运行完全正常,但是打包后运行就报

log4j:WARN No appenders could be found for logger (org.apache.ibatis.logging.LogFactory).
log4j:WARN Please initialize the log4j system properly.

调了一下午没解决,没解决……然后晚上回来莫名其妙好了。不懂了
附上配置文件:

 

[caption id=”” align=”alignnone” width=”517”]log4j-config log4j-config[/caption]

三、Java 内存溢出java.lang.OutOfMemoryError

当时在eclipse下直接用debug configurations配置了jvm得内存,部署到ubuntu下又抛了内存溢出,

直接在运行的时候加上Xms和Xmx参数。

好困,先睡觉:)