วารสารวิชาการเทคโนโลยีอุตสาหกรรม (J. Ind. Tech.) อยู่ในฐานข้อมูล Thai-Journal Citation Index Centre (TCI) กลุ่ม 1 (2564 - 2567) และ Asean Citation Index (ACI) มีค่า JIF = 0.094 และ T-JIF (3 ปีย้อนหลัง): 0.165 | The Journal of Industrial Technology (J. Ind. Tech.) is indexed in Thai-Journal Citation Index Centre (TCI) Tier 1 (2021 - 2024) and Asean Citation Index (ACI) with impact factor, T-JIF: 0.094 and 3-years T-JIF: 0.165

Large-Scale Web Traffic Log Analyzer using Cloudera Impala on Hadoop Distributed File System
ประเภทบทความ : บทความวิชาการ
หมวดหมู่ : วิศวกรรมคอมพิวเตอร์
Resource planning and data analysis are important for network services in order to increase the service efficiency. Nowadays, Large websites or web servers have a large number of visitors, which mean a large web traffic log need to be stored in the plain text or the relational database. However plain text and relational database are not efficient to handle a large number of data. Moreover, the web traffic log analysis hardware or software that can handle such a big data is also expensive. This research paper proposes the design of a large-scale web traffic log analyzer using PHP language to show the visitors traffic data analysis in the form of charts. The Hadoop Distributed File System (HDFS) is used in conjunction with other related techniques to gather and store visitors traffic log. Cloudera Impala is used to query web traffic log stored in HDFS while Apache Thrift is an intermediary connecting Cloudera Impala to PHP web. Upon testing our large-scale web traffic log analyzer on HDFS Cluster of 8 nodes with 50 gigabytes of traffic log, our system can query and analysis web traffic log then display the result in about 4 seconds
วันที่ลง01/07/2019 336

บทความใกล้เคียง

รับข่าวสารจากเรา

รับข่าวสารจากทางเรา ท่านจะสามารถเข้าถึงข่าวสารได้ก่อนใคร แค่เพียงใส่อีเมลของคุณ