분류 전체보기

[python] 공공 데이터 포털 API 불러오기

python을 활용하여 공공데이터 포털에 존재하는 Open API 형태의 데이터 불러오기 불러온 데이터를 테이블 데이터로 변환해주는 실습 진행 - !! 실습 데이터 https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15028195 공공데이터 포털의 전국과속방지턱표준데이터를 활용해보았다 ※ 일반 파일 데이터는 로그인 없이도 다운이 가능하지만, API 신청을 위해서는 로그인이 요구됨 실습전 API 활용신청을 해야하며, 개인마다 주어지는 API KEY값을 활용한다 공공데이터 포털에서 공개되는 API는 대부분 바로 자동 승인이 이루어진다! 활용신청 이렇게 승인처리된 데이터를 눌러주면 개인에게 주어진 인증키를 볼 수 있는 창으로 넘어가게..

[python] colab pycaret 설치

코랩에서 여러 모델의 성능을 비교해볼 수 있는 pycaret을 사용하기 위해 설치를 하려고 기존에 다른 패키지를 설치하는 것처럼 설치했더니,, !pip install pycaret 오류가 발생한다.. sklearn 버전에 맞게 재설치 우선 설치된 sklearn의 버전이 0.23.2로 맞추어져야 한다고 오류가 떠서 버전에 맞게 sklearn을 삭제 및 재설치 해준다 !pip uninstall sklearn -y !pip install --upgrade sklearn !pip install scikit-learn==0.23.2 --user 위 코드를 실행시킨 다음 런타임 재실행 후 다시 sklearn의 버전을 확인하여야 0.23.2 버전으로 설치된 것을 확인할 수 있다 import sklearn sklear..

[Qgis] 특정 컬럼 기준으로 속성 테이블 결합

※ 해당 글은 QGIS 3.16을 기준으로 작성되었습니다 qgis에서 작업을 할 때마다 특정 기능들을 찾아보기도 하고, 심지어 분명 해봤던 것임에도 불구하고 까먹어서 또 찾아보기 때문에,,, 기억력이 나쁜 나를 위해 결합 방법 기록하기 대구광역시 100m 격자별 id에 해당하는 데이터를 기준으로 테이블 데이터의 id와 결합할 것이다 즉, 격자 데이터와 테이블 데이터의 같은 컬럼을 기준으로 데이터 결합! 내가 가진 데이터 특정 컬럼이 동일한 두 데이터를 준비한다 ( 필자의 경우 격자 데이터를 csv로 추출하여 파이썬에서 가공 후, 다시 qgis에 불러와 결합하는 경우로 id가 동일 ) 속성 결합 방법 격자 데이터의 속성 → 결합 → 좌측 하단의 + 버튼을 누르면 벡터 결합 추가라는 창이 뜨게 된다여기서 결..

[python] LabelEncoder

범주형 컬럼을 인코딩하려는 데 컬럼이 너무 많아서 원핫인코딩을 사용할 수 없는 상황이다 그래서 LabelEncoder를 사용하려고 했으나 array가 1차원 형식이어야 한다는 조건 때문에 train데이터에 적용이 안되는 문제가 있었다 LabelEncoder 사용시 전체 컬럼에 적용할 것인지, 또는 특정 컬럼에 적용할 것인지에 따라 약간씩 코드가 달라진다 하나의 컬럼에 LabelEncoder 적용하기 인코딩 할 컬럼이 몇 개 되지 않는 경우에는 하나씩 적용하면 사용하면 좋다!원래 LabelEncoder를 사용할 시 여러 개를 한 번에 돌리는 것보다 하나의 컬럼을 각각 확인해가며 변환하는 것이 가장 좋은 방법이라고 한다 from sklearn.preprocessing import LabelEncoder en..

[python 쌩기초] Numpy

데이터 분석이라 함은,, 응당 마주할 수 밖에 없는 패키지가 Numpy 와 Pandas 라고 생각된다 원래는 단순히 import numpy as np를 기계적으로 치고서는 뭐가 들어있는지 제대로 파악도 못한 채 쓸 때마다 " 아,, 이런 게 있었구나 " 하면서 그때 그때 알아가고는 했는데 이번 빅데이터 분석 기사를 치고 나서 내가 사용하는 패키지에 대해 잘 알아두는 것도 굉장히 중요하다는 생각이 들었다 함수는 알아도 어디 패키지인지 몰라서 np.dropna, pd.dropna, df.dropna등.. 엄청나게 난리를 쳤기 때문 이번은 numpy에 대한 간략한 설명과 어떤 기능을 담고 있는지 살펴볼 것이다! Numpy 다차원 배열의 연산기능을 모아놓은 꾸러미이며, 수치 연산을 위한 다양한 기능을 담고 있는..

[python 쌩기초] 함수 / 람다

조건문과 반복문 다음에는 이것들을 활용한 함수를 만들어본다 데이터 EDA할 때 동일한 코드를 여러 번 사용하게 되는데, 이때 함수가 굉장히 필수적이라고 느꼈다! 처음에는 스스로 함수를 만든다는 것 자체에 덜컥 겁내했는데 알고 보면 별 거 아닌 놈 그치만,, 기초부터 탄탄히 ㅎ 사용자 함수 만들기 ※ 사용자 함수 더보기 더보기 def 함수이름 (인자): 함수 본문 return # 온도에 따른 커피추천 함수 만들기 def coffee(temp): if temp>0: print('아이스 아메리카노') else: print('따뜻한 아메리카노') # 함수활용 print(coffee(30)) print(coffee(-10)) c = coffee(30) print('추천 커피는 {}입니다.'.format(c)) #..

[python 쌩기초] 조건문 / 반복문

학교 수업에서 파이썬 기초만 지겹게 했던터라 스스로 기초를 다시 공부할 일은 없을 거라고 생각했는데.. 어느 정도 파이썬과 친숙해지고 나니 기초만큼 중요한 게 없구나를 깨닫고 책을 펼쳤다..! 분석을 위한 코딩을 할 때는 for문을 많이 활용하는 것같은데, 늘 남의 코드를 보고 작성하다보니 헷갈리기도,, 답답하기도 해서 나만의 for문을 만들기 위해 초심잡고 공부 시작 ! 조건문 # 온도가 0도보다 높다면 '아이스 아메리카노'를 추천하자 today_temp = 30 if today_temp > 0 : print('아이스 아메리카노') # 온도가 0도보다 높다면 '아이스 아메리카노'를, 반대로 낮다면 '따뜻한 아메리카노'를 추천하자 today_temp = 30 if today_temp > 0: print(..