[NEW] Python – ดึงข้อมูลสภาพอากาศระดับวัน | สภาพ อากาศ ลอนดอน – NATAVIGUIDES

หากคุณทำงานเป็นนักวิทยาศาสตร์ข้อมูลที่คุณต้องสร้างแบบจำลองบางอย่างเพื่อรับการพยากรณ์ยอดขายข้อมูลสภาพอากาศจะกลายเป็นองค์ประกอบที่สำคัญมากในการรับตัวแปรสภาพอากาศซึ่งเป็นตัวแปรหลักสำหรับโมเดลข้อมูลของคุณในอัลกอริทึมการเรียนรู้ของเครื่อง ตอนนี้คุณควรเข้าใจวิธีการขูดหน้าเว็บและดึงข้อมูลแล้ว

การใช้ข้อมูลสภาพอากาศ –ลองนึกถึง บริษัท ที่ต้องการพิจารณาข้อมูลสภาพอากาศเพื่อปรับปรุงความแม่นยำของการคาดการณ์การขาย สิ่งนี้อาจเริ่มจากนักวิทยาศาสตร์ข้อมูลในห้องปฏิบัติการข้อมูล นักวิทยาศาสตร์ข้อมูลอาจจัดเตรียมข้อมูลสภาพอากาศในห้องปฏิบัติการเพื่อปรับแต่งแบบจำลองการคาดการณ์ เมื่อเขายืนยันว่าข้อมูลสภาพอากาศจะส่งผลกระทบต่อโมเดลของเขาชุดข้อมูลใหม่นี้อาจได้รับการตรวจสอบคุณภาพการปฏิบัติตามข้อกำหนดและลิขสิทธิ์โดยผู้ดูแลข้อมูลจากนั้นผู้เชี่ยวชาญด้านไอทีจะทำการรวมข้อมูลโดยอัตโนมัติเพื่อให้ข้อมูลสภาพอากาศไหลเข้าใกล้เรียลไทม์ใน Data Lake ขององค์กรและจัดทำเป็นเอกสารลงในแค็ตตาล็อกข้อมูลเพื่อให้นักวิเคราะห์ธุรกิจและผู้ใช้ทางธุรกิจสามารถใช้งานได้

คุณสามารถมีแนวทางที่ไม่เหมาะสมมากขึ้นโดยพิจารณาว่า IT ควรนำข้อมูลมาใช้โดยใช้เครื่องมือการรวมข้อมูล จากนั้นนักวิทยาศาสตร์ข้อมูลในห้องปฏิบัติการข้อมูลของพวกเขาจะใช้แพลตฟอร์มวิทยาศาสตร์ข้อมูลในขณะที่สำนักงานของ CDO จะใช้กรอบการกำกับดูแลข้อมูล แต่พวกเขาจะทำงานเป็นทีมด้วยวิธีที่ไม่ดีได้อย่างไร? และใครสามารถควบคุมชุดแนวทางปฏิบัติเครื่องมือและชุดข้อมูลที่แตกต่างกันนี้ได้

นี่คือสิ่งที่การจัดการข้อมูลร่วมกันเป็นข้อมูลเกี่ยวกับการอนุญาตให้ผู้คนทำงานเป็นทีมเพื่อเก็บเกี่ยวผลประโยชน์ทั้งหมดจากข้อมูลของคุณ

มี API แบบชำระเงินจำนวนมากที่ให้ข้อมูลเฉพาะแก่คุณและจะถูกเรียกเก็บเงินสำหรับทุกสถานที่ หากคุณไม่มีงบประมาณโครงการที่เพียงพอคุณสามารถเขียนโค้ดของคุณเอง (โค้ดการลบเว็บ) ใน python เพื่อรับข้อมูลสภาพอากาศระดับวันของคุณสำหรับสถานที่ใด ๆ

การขูดเว็บทำงานอย่างไร –เมื่อเราขูดเว็บเราจะเขียนโค้ดที่ส่งคำขอไปยังเซิร์ฟเวอร์ที่โฮสต์เพจที่เราระบุไว้ โดยทั่วไปโค้ดของเราจะดาวน์โหลดซอร์สโค้ดของหน้านั้นเช่นเดียวกับเบราว์เซอร์ แต่แทนที่จะแสดงหน้าเว็บด้วยสายตาจะกรองผ่านหน้าที่ค้นหาองค์ประกอบ HTML ที่เราระบุและแยกเนื้อหาที่เราสั่งให้แตกออก

การดาวน์โหลดข้อมูลสภาพอากาศ – ตอนนี้เรารู้เพียงพอแล้วที่จะดำเนินการแยกข้อมูลเกี่ยวกับสภาพอากาศในท้องถิ่นจากเว็บไซต์ National Weather Service ขั้นตอนแรกคือค้นหาหน้าที่เราต้องการขูด

ที่นี่เราจะใช้MeteoGuru.uk เพื่อรับข้อมูลสภาพอากาศระดับวัน เราจะใช้ไลบรารีที่พบบ่อยที่สุดใน Python เพื่อเขียนโค้ดของเราและจะพยายามเขียนในลักษณะที่ง่ายมากเพื่อให้คุณเข้าใจโค้ดแต่ละบรรทัดได้อย่างง่ายดาย

ด้านล่างนี้คือ UI สำหรับลอนดอนจากMeteoGuru.uk

การใช้ CSS Selectors เพื่อรับข้อมูลสภาพอากาศ –เรายังสามารถค้นหารายการโดยใช้ตัวเลือก CSS ตัวเลือกเหล่านี้เป็นวิธีที่ภาษา CSS ช่วยให้นักพัฒนาระบุแท็ก HTML เพื่อจัดรูปแบบ นี่คือตัวอย่างบางส่วน:

• p a– ค้นหาaแท็กทั้งหมดภายในpแท็ก
• body p a– ค้นหาaแท็กทั้งหมดภายในpแท็กภายในbodyแท็ก
• html body– ค้นหาbodyแท็กทั้งหมดภายในhtmlแท็ก
• p.outer-text– พบทั้งหมดแท็กที่มีระดับของpouter-text
• p#first– พบทั้งหมดpแท็กที่มี ID firstของ
• body p.outer-text– ค้นหาpแท็กใด ๆ ที่มีคลาสouter-textภายในbodyแท็ก

• ดาวน์โหลดหน้าเว็บที่มีการคาดการณ์
• สร้างBeautifulSoupคลาสเพื่อแยกวิเคราะห์เพจ

• คำขอ – จำเป็นต้องใช้ไลบรารีที่สำคัญนี้เพื่อรับข้อมูลจากเว็บเซิร์ฟเวอร์ไปยังเครื่องของคุณและมีคุณสมบัติที่ยอดเยี่ยมเพิ่มเติมเช่นการแคชด้วย
• Beautiful Soup 4 – นี่คือไลบรารีที่เราเคยใช้ที่นี่และออกแบบมาเพื่อกรองข้อมูลตามแท็ก HTML ที่ตรงไปตรงมา

# คำร้องขอ
นำเข้าไลบรารี

# Pandas เป็นไลบรารี Python แบบโอเพนซอร์สที่ได้รับอนุญาต BSD ซึ่ง
มีโครงสร้างข้อมูลที่ใช้งานง่าย # ประสิทธิภาพสูงและเครื่องมือวิเคราะห์ข้อมูลสำหรับภาษาโปรแกรม Python
นำเข้าแพนด้าเป็น pd

#import datatime library
จาก datetime import datetime

ตัวแปรสาธารณะ – เป็นตัวแปรที่จะใช้ภายในรหัส python ทั้งหมดตามที่ระบุด้านล่าง –

# กำหนด url ฐาน
base_url =“ https: //%s.meteoguru.uk/ “

# กำหนดรายชื่อเดือนสำหรับเก็บข้อมูลสภาพอากาศ
lst = [“ พฤษภาคม 2019”,” มิถุนายน -2562”,” กรกฎาคม – 2019”,“ สิงหาคม -2562”,” กันยายน-2019”,” ตุลาคม -2562”,” พฤศจิกายน – 2019 “,” ธันวาคม – 2019 “,” มกราคม – 2020 “,” กุมภาพันธ์ -2020 “,” มีนาคม -2020 “,” เมษายน -2020 “,” พฤษภาคม -2020 “,” มิถุนายน -2020 “,” กรกฎาคม – 2019 “,
” สิงหาคม – 2020 “]

ฟังก์ชัน Python สำหรับการลบเว็บ – ในฟังก์ชันนี้เราจะส่ง URL ของเว็บเพื่อดาวน์โหลด / คัดลอกทั้งหน้าเว็บ ในเว็บไซต์สภาพอากาศนี้มี div สี่ตัวที่ซ่อนข้อมูลสภาพอากาศเช่น –

1. ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันเพื่อเริ่มต้นวันธรรมดา
2. ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันเพื่อสิ้นสุดวันธรรมดา
3. ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันสำหรับการเริ่มต้นสุดสัปดาห์
4. ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันเพื่อสิ้นสุดวันหยุดสุดสัปดาห์

#function เพื่อรับข้อมูลสภาพอากาศโดยพารามิเตอร์อินพุต url
def get_weather_data (url):
# url = ‘https://june-2020.meteoguru.uk/’
page =

request.get (url) #Parsing a page with BeautifulSoup
soup = BeautifulSoup (page.content, ‘html.parser’)

# extract region
region = soup.find (“ h2”, attrs = {“ class”:“ mb -0”}). text.replace (‘Weather for’, ”). replace (‘, Archive’, ”)

# get next 2-3 days ‘weather dataframe
ndf = pd.DataFrame (column = [“ region”, “date”, “วัน”, “สภาพอากาศ”, “max_temp”, “min_temp”, “ลม”, “ความชื้น”])

# ใช้วิธีการค้นหาซึ่งจะส่งคืนวัตถุ BeautifulSoup
วันเดียว= soup.find (“ div ”, attrs = {“ class”:“ grid-wraper clearfix width100”}). find (“ div”, attrs = {“ class”:“ row”})

# ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันสำหรับการเริ่มต้นวันธรรมดา
สำหรับวันในหน่วยวัน .findAll (“ div”, attrs = {“ class”:“ pl-0 pr-0 grid-box mb-1 ที่ปัดเศษโดยมีขอบ width1_7 เริ่มต้นวันธรรมดา nextmonth”}):
#print (วัน)
date_name = day.find (“ div”, attrs = {“ class”:“ pl-1 pr-1 round background-gray-1 width100”}). text.replace (‘ \ t ‘,’ ‘) แทนที่ (‘ \ n ‘,’ ‘). split (‘, ‘)
date = date_name [0]
dayn = date_name [1]
max_temp = day.find (“ p”, attrs = { “ class”:“ pt-2 mb-1 center-text big-text-1 text-center”}) text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ (‘° C’, ”)

min_temp = day.find (“ p”, attrs = {“ class”:“ pt -1 mb-0 pb-0 center-text”}). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ (‘° C’, ”)
temp = day.find (“ span”, attrs = {“ class”:“ mb-2 pt-0 mt-0 text-center width100 fz-08”}). text.replace (‘\ xa0’, ”). split (‘:’)
weather = temp [0]

wind = temp [1] .split (‘,’) [0]. แทนที่ (‘mph’, ”)
ความชื้น = temp [3] .replace (‘%’, ”)
#append dataframe
ndf = ndf.append ({“ region”: region,” da te”: วันที่,” วัน”: วัน,“ สภาพอากาศ”: สภาพอากาศ,“ max_temp”: max_temp,“ min_temp”: min_temp,” wind”: ลม,” ความชื้น”: ความชื้น}, ไม่สนใจ_index = จริง)

# การค้นหาอินสแตนซ์ทั้งหมด ของแท็กพร้อมกันสำหรับการสิ้นสุดวันหยุดสุดสัปดาห์
สำหรับวันในหน่วย days.findAll (“ div”, attrs = {“ class”:“ pl-0 pr-0 grid-box mb-1 ที่ปัดเศษด้วยเส้นขอบ width1_7 สิ้นสุดในสุดสัปดาห์ถัดไป”}) :
#print (วัน)
date_name = day.find (“ div”, attrs = {“ class”:“ pl-1 pr-1 round background-gray-1 width100”}). text.replace (‘\ t’, ”) .replace (‘\ n’, ”). split (‘,’)
date = date_name [0]
dayn = date_name [1]
max_temp = day.find (“ p”, attrs = {“ class”: “ pt-2 mb-1 ศูนย์ข้อความใหญ่ข้อความ 1 ศูนย์ข้อความ”}) text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n ‘,’ ‘) แทนที่ (‘ + ‘,’ ‘) แทนที่ (‘ ° C ‘,’ ‘)
#max_temp = day.find (“ p”, {“ class”:“ pt-2 mb-1 ข้อความตรงกลาง big-text-1 text-center”}). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”)
min_temp = day.find (“ p”, attrs = {“ class”:“ pt-1 mb-0 pb-0 center-text”}). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t ‘,’ ‘) แทนที่ (‘ \ n ‘,’ ‘) แทนที่ (‘ + ‘,’ ‘) แทนที่ (‘ ° C ‘, ”)
temp = day.find (“ span”, attrs = {“ class”:“ mb-2 pt-0 mt-0 text-center width100 fz-08”}) text.replace (‘\ xa0’, ”) .split (‘:’)
weather = temp [0]
#print (temp)
wind = temp [1] .split (‘,’) [0] .replace (‘mph’, ”)
ความชื้น = อุณหภูมิ [3] .replace (‘%’, ”)
#append dataframe
ndf = ndf.append ({“ region”: region,” date”: date,” day”: dayn,“ weather”: weather,“ max_temp” : max_temp,“ min_temp”: min_temp,” wind”: ลม,” ความชื้น”: ความชื้น}, ignex = True)

# ค้นหาอินสแตนซ์ทั้งหมดของแท็กพร้อมกันสำหรับการเริ่มต้นสุดสัปดาห์
ของวันในหน่วยวัน .findAll (“ div”, attrs = {“ class”:“ pl-0 pr-0 grid-box mb-1 ปัดเศษด้วย-border width1_7 เริ่มต้นสุดสัปดาห์ถัดไป”}):
#print (วัน)
date_name = day.find (“ div”, attrs = {“ คลาส”:“ pl-1 pr-1 พื้นหลังที่โค้งมน – สีเทา -1 width100”}). text.replace (‘\ t’, ”) แทนที่ (‘\ n’, ”). Split (‘,’ )
date = date_name [0]
dayn = date_name [1]
max_temp = day.find (“ p”, attrs = {“ class”:“ pt-2 mb-1 center-text big-text-1 text-center”} ) .text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ (‘ ° C ‘,’ ‘)
#max_temp = day.find (“ p”, {“ class”:“ pt-2 mb-1 center-text big-text-1 text-center”}). text.replace (‘\ xa0’, ”) แทนที่ ( ‘\ t’, ”) แทนที่ (‘\ n’, ”)
min_temp = day.find (“ p”, attrs = {“ class”:“ pt-1 mb-0 pb-0 center-text” }). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ ( ‘° C’, ”)
temp = day.find (“ span”, attrs = {“ class”:“ mb-2 pt-0 mt-0 text-center width100 fz-08”}). text.replace ( ‘\ xa0’, ”). split (‘:’)
weather = temp [0]
#print (อุณหภูมิ)
wind = temp [1] .split (‘,’) [0] .replace (‘mph’, ‘ ‘)
moisture = temp [3] .replace (‘% ‘,’ ‘)
#append dataframe
ndf = ndf.append ({“ region”: region,” date”: date,” day”: dayn,“ weather”: สภาพอากาศ,“ max_temp”: max_temp,“ min_temp”: min_temp,” wind”: ลม,” ความชื้น”: ความชื้น}, ignex = True)

# ค้นหาทุกอินสแตนซ์ของแท็กพร้อมกันเพื่อสิ้นสุดวันธรรมดา
สำหรับวันในหน่วยวัน .findAll ( “ div”, attrs = {“ class”:“ pl-0 pr-0 grid-box mb-1 ปัดด้วย-border width1_7 สิ้นสุดวันจันทร์หน้า”}):

date_name = day.find (“ div”, attrs = {“ class”:“ pl-1 pr-1 round background-grey-1 width100”}) xt.replace (‘\ t’, ”) แทนที่ (‘\ n’, ”). split (‘,’)
date = date_name [0]
dayn = date_name [1]
max_temp = day.find (“ p ”, attrs = {“ class”:“ pt-2 mb-1 center-text big-text-1 text-center”}). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’ , ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ (‘° C’, ”)
#max_temp = day.find (“ p”, {“ class ”:“ pt-2 mb-1 center-text big-text-1 text-center”}). text.replace (‘\ xa0’, ”) แทนที่ (‘\ t’, ”) แทนที่ ( ‘\ n’, ”)
min_temp = day.find (“ p”, attrs = {“ class”:“ pt-1 mb-0 pb-0 center-text”}). text.replace (‘\ xa0’ แทนที่ (”) แทนที่ (‘\ t’, ”) แทนที่ (‘\ n’, ”) แทนที่ (‘+’, ”) แทนที่ (‘° C’, ”)
temp = วัน .find (“ span”, attrs = {“ class”:“ mb-2 pt-0 mt-0 text-center width100 fz-08”}). text.replace (‘\ xa0’, ”). ‘:’)
สภาพอากาศ = อุณหภูมิ [0]
#print (อุณหภูมิ)
ลม = อุณหภูมิ [1] .split (‘,’) [0] .replace (‘mph’, ”)
ความชื้น = อุณหภูมิ [3] .replace ( ‘%’, ”)
#append dataframe
ndf = ndf.append ({“ region”: region,” date”: date,” day”: dayn,“ weather”: weather,“ max_temp”: max_temp,“ min_temp” : min_temp, “wind”: ลม, “ความชื้น”: ความชื้น}, ไม่สนใจ _index = จริง)

#return da dataframe สภาพอากาศระดับ y
ส่งกลับ ndf

การดึงข้อมูลทั้งหมดออกจากหน้า –ตอนนี้เรารู้วิธีดึงข้อมูลแต่ละชิ้นแล้วเราสามารถรวมความรู้ของเรากับตัวเลือก css และรายการความเข้าใจเพื่อแยกทุกอย่างออกจากหน้าเว็บในครั้งเดียวและเราต้องสร้าง URL ของเว็บเพื่อ เรียกวิธีนี้ตามที่ระบุด้านล่าง –

if __name__ ==“ __main__”:

# กำหนดคอลัมน์ dataframe ที่มีส่วนหัว
df = pd.DataFrame (คอลัมน์ = [“ ภูมิภาค”,” วันที่”,“ วัน”,” สภาพอากาศ”,“ max_temp”,“ min_temp”,“ ลม” ,”ความชื้น”])

# รายการใหม่สำหรับการทดสอบ
lst = [“ พฤษภาคม 2019”]

#for loop ในกรณีที่คุณมีเวลาหลายเดือน
สำหรับ ymon ใน lst:
print (ymon)
url = base_url% (ymon)
print (url)
# get data
df = df.append (get_weather_data (url), ignored_index = True)
print (df .ศีรษะ())

หลังจากรันโค้ดแล้วเราจะได้รับข้อมูลต่อไปนี้ –

พ.ค. 2562
https://may-2019.meteoguru.uk/

ฟังก์ชันการโทรสำหรับสถานที่หลายแห่ง – หากคุณต้องการเรียกใช้รหัสเดียวกันสำหรับสถานที่หลายแห่งคุณต้องสร้างรายการใหม่เพื่อให้มีสถานที่เหล่านี้ตามที่ระบุด้านล่าง –

# รายการตำแหน่งสภาพอากาศ
loc = [“ England”,” Wales”,” london”]
#base url สำหรับหลาย ๆ สถานที่
burl = ‘https: //%s.meteoguru.uk/%s/’

ตอนนี้คุณจะเห็นว่าเราได้เปลี่ยน URL พื้นฐานซึ่งใช้พารามิเตอร์สองตัวโดยตัวแรกใช้% s สำหรับเดือนสภาพอากาศและใช้% s ที่สองสำหรับตำแหน่ง

# รายการตำแหน่งสภาพอากาศ
loc = [“ England”,” Wales”,” london”]
#base url สำหรับสถานที่หลายแห่ง
burl = ‘https: //%s.meteoguru.uk/%s/’
#for loop สำหรับตำแหน่ง
สำหรับ l ใน loc:
#loop สำหรับหลายเดือน
สำหรับ ymon ใน lst:
#pass พารามิเตอร์ใน url ฐาน
url = burl% (ymon, l)
#print urls
print (url)
#append dataframe
df = df.append (get_weather_data (url ), ไม่สนใจ_index = True)
#save dataframe ลงใน csv
df.to_csv (“ weather_Uk.csv”, index = False)

https://may-2019.meteoguru.uk/England/
https://may-2019.meteoguru.uk/Wales/
https://may-2019.meteoguru.uk/london/

การรวมข้อมูลของเราเข้ากับ Pandas Dataframe –ตอนนี้เราสามารถรวมข้อมูลลงใน Pandas DataFrame และวิเคราะห์ได้แล้ว DataFrame คือออบเจ็กต์ที่สามารถจัดเก็บข้อมูลแบบตารางทำให้การวิเคราะห์ข้อมูลทำได้ง่าย

เดือนที่ร้อนที่สุดของปีเป็นปกติเมื่อเดือนสิงหาคมอุณหภูมิสูงสุดที่สามารถ 90 F (30 C) แต่อุณหภูมิเฉลี่ยในเดือนสิงหาคมประมาณ 70 F (22 C) เดือนที่หนาวเย็นเป็นปกติเมื่อเดือนมกราคมอุณหภูมิสามารถจมประมาณ 33 F (1 C) หิมะสวยหายากในลอนดอน แต่ถ้ามันไม่ตกก็มักจะอยู่ในเดือนมกราคมหรือกุมภาพันธ์ บางบริการรถไฟได้รับผลกระทบจากสภาพอากาศที่เลวร้าย อย่าลืมที่จะตรวจสอบกับผู้ให้บริการขนส่งของคุณก่อนที่จะเดินทางถ้าหิมะมีการคาดการณ์