본문 바로가기

Intelligent Vehicle School/Python

(5)

[Intelligent Vehicle School][python] api 공공데이터포털에서 데이터를 가져오겠습니다. 우선 인증키와 url(서비스url)를 복사합니다. 그리고 요청변수를 통해 데이터 규격을 맞춰 원하는 데이터를 불러올 수 있습니다. key값은 'serviceKey=' 이후에 추가해줍니다. url ? p=1%=검색어 그리고 requests.get()으로 데이터를 불러옵니다. 그리고 문자열에서 beautifulSoup형으로 변환해줍니다. 지금 파일이 .xml인데, beautifulSoup()에 들어가는 데이터는 Default가 html이기 때문에 xml이라고 명시해줍니다. 그리고 각 태그의 속성값에 접근하기 위해, 우선 tag들을 찾고 반복문으로 json형식의 파일을 생성합니다. 위에 url설정 부분을 수정하기 용이하게 parameter형식으로 변환하겠습니다. 그리..

[Intelligent Vehicle School][python] folium folium 지도 정보를 불러오기 위해 folium을 import 해줍니다. [위도, 경도]와 zoom크기를 설정해서 볼 수도 있습니다. 그리고 marker를 생성합니다. 생성한 marker를 add_to()를 이용하여 지도에 붙여줍니다. 또한 tooltip을 이용하여 marker에 설명을 달아줄 수도 있습니다. 이번에는 circlemarker를 생성해보겠습니다. circlemarker의 다양한 option을 사용해볼 수 있습니다. 위도와 경도가 포함된 데이터를 불러옵니다. column명을 바꿔주겠습니다. 데이터 값을 보니 결측치가 하나씩 있습니다. 결측데이터를 확인해보니, 초등학교의 데이터이기 때문에 사용하는데 관련이 없다는 것을 알 수 있습니다. 이제 두 데이터프레임을 합쳐보겠습니다. merge()로..

[Intelligent Vehicle School][python] pandas, excel 새로운 자료구조 2개 - series - dataframe => data를 다룰 때 필요한 모든 기능들이 다 만들어져있다. 1. series - 1차원 자료구조 index를 수정할 수도 있다 기능들 2. dataframe - 2차원 자료구조 - loc : 포인트 접근 - iloc : 순서로 접근 - slicing seaborn에서 'tips' 데이터를 불러옵니다. tip column을 기준으로 내림차순 정렬할 때 sort_values()를 사용할 수 있습니다. 한 번에 여러개 column을 정렬하려고 할 때는, column값들을 list안에 넣어서 parameter로 전달합니다. 통계치를 보기 위해서는, str type을 숫자로 변경해주어야한다. 이때 확인하고 싶은 column에 대해 list로 넣어줄 ..

[Intelligent Vehicle School][python] 웹크롤링2 스타벅스 데이터 불러오기 https://www.starbucks.co.kr/store/store_map.do 불러온 코드에서 아래와 같이 찾게되면, '비동기적'으로 찾게 되어 결과값을 return 받을 수 없게된다. st_bs.find_all('p', class_='result_details') f12 -> network -> 왼쪽 창에서 '지역 검색' -> 왼쪽 창에서 '전체' Name에 'getSotre.do ~~'라고 되어있는 이름의 Headers를 통해 meta정보를 알 수 있다. 그리고 Request Method가 POST로 되어있다. 데이터를 불러올 때 get, post가 존재한다. - get : url --> 누구나 볼 수 있는 정보(개인정보를 포함할 수 있다는 문제) - post : url..

[Intelligent Vehicle School][python] 웹 크롤링, 엑셀화 - requests : 요청보내서 응답받기 - bs4 : 코드에서 원하는 데이터 검색 import requests # 요청보내서 응답받기 import bs4 # 코드에서 원하는 데이터 검색 url로 정보 가져오기 url = 'https://search.daum.net/search?w=news&nil_search=btn&DA=STC&enc=utf8&cluster=y&cluster_page=1&q=bitcoin&p=1&sort=recency' resp = requests.get(url) 불러온 정보 확인 -> .text resp.text beautifulsoup으로 형변환 news_bs = bs4.BeautifulSoup(resp.text) 뉴스 제목 찾기 - 태그를 잘 살펴보자 # find => 첫번째거 ..

이전 1 다음

티스토리툴바