詳解如何使用Spark和Scala分析Apache訪問日志

來源：本站原創(chuàng)|時(shí)間：2020-01-11|欄目：Scala|點(diǎn)擊：次

安裝

首先需要安裝好Java和Scala，然后下載Spark安裝，確保PATH 和JAVA_HOME 已經(jīng)設(shè)置，然后需要使用Scala的SBT 構(gòu)建Spark如下：

$ sbt/sbt assembly

構(gòu)建時(shí)間比較長。構(gòu)建完成后，通過運(yùn)行下面命令確證安裝成功：

$ ./bin/spark-shell

scala> val textFile = sc.textFile("README.md") // 創(chuàng)建一個(gè)指向 README.md 引用
scala> textFile.count // 對(duì)這個(gè)文件內(nèi)容行數(shù)進(jìn)行計(jì)數(shù)
scala> textFile.first // 打印出第一行

Apache訪問日志分析器

首先我們需要使用Scala編寫一個(gè)對(duì)Apache訪問日志的分析器，所幸已經(jīng)有人編寫完成，下載Apache logfile parser code。使用SBT進(jìn)行編譯打包：

sbt compile
sbt test
sbt package

打包名稱假設(shè)為AlsApacheLogParser.jar。
然后在Linux命令行啟動(dòng)Spark：

// this works
$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell

對(duì)于Spark 0.9，有些方式并不起效：

// does not work
$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell
// does not work
spark> :cp AlsApacheLogParser.jar

上傳成功后，在Spark REPL創(chuàng)建AccessLogParser 實(shí)例：

import com.alvinalexander.accesslogparser._
val p = new AccessLogParser

現(xiàn)在就可以像之前讀取readme.cmd一樣讀取apache訪問日志accesslog.small：

scala> val log = sc.textFile("accesslog.small")
14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=309225062
14/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)
log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15
scala> log.count
(a lot of output here)
res0: Long = 100000

分析Apache日志

我們可以分析Apache日志中404有多少個(gè)，創(chuàng)建方法如下：

def getStatusCode(line: Option[AccessLogRecord]) = {
 line match {
  case Some(l) => l.httpStatusCode
  case None => "0"
 }
}

其中Option[AccessLogRecord]是分析器的返回值。

然后在Spark命令行使用如下：

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count

這個(gè)統(tǒng)計(jì)將返回httpStatusCode是404的行數(shù)。

深入挖掘

下面如果我們想知道哪些URL是有問題的，比如URL中有一個(gè)空格等導(dǎo)致404錯(cuò)誤，顯然需要下面步驟：

過濾出所有 404 記錄
從每個(gè)404記錄得到request字段(分析器請(qǐng)求的URL字符串是否有空格等)
不要返回重復(fù)的記錄

創(chuàng)建下面方法：

// get the `request` field from an access log record
def getRequest(rawAccessLogString: String): Option[String] = {
 val accessLogRecordOption = p.parseRecord(rawAccessLogString)
 accessLogRecordOption match {
  case Some(rec) => Some(rec.request)
  case None => None
 }
}

將這些代碼貼入Spark REPL，再運(yùn)行如下代碼：

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count
val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))
val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct
distinctRecs.foreach(println)

總結(jié)

對(duì)于訪問日志簡單分析當(dāng)然是要grep比較好，但是更復(fù)雜的查詢就需要Spark了。很難判斷 Spark在單個(gè)系統(tǒng)上的性能。這是因?yàn)镾park是針對(duì)分布式系統(tǒng)大文件。

以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持我們。

上一篇：DataFrame:通過SparkSql將scala類轉(zhuǎn)為DataFrame的方法

欄目：Scala

下一篇：Scala的文件讀寫操作與正則表達(dá)式

本文標(biāo)題：詳解如何使用Spark和Scala分析Apache訪問日志

本文地址：http://www.jygsgssxh.com/a1/Scala/11997.html

更多Scala

雷火电竞-中国电竞赛事及体育赛事平台

Scala

詳解如何使用Spark和Scala分析Apache訪問日志

您可能感興趣的文章

閱讀排行

本欄相關(guān)

隨機(jī)閱讀