arvigoes

select 와 select_one 의 차이점에 대해서는 이전에 알아보았습니다. arvigoes.tistory.com/188?category=825629 BeautifulSoup select 크롤링을 하기 위해서 필수적으로 BeautifulSoup 을 사용하게 됩니다. Request 에 대해서 엄청난 양의 Response 를 보게 되면 사용 할 수 밖에 없는 듯 합니다. 더 좋은게 있다면 그걸 사용하겠지만 지식 arvigoes.tistory.com 오늘은 select 의 결과로 리턴 되는 bs4.elementResultSet 에 대해 알아보고자 합니다. select 의 결과가 몇개인지를 확인 하는 방법입니다. # select & select_one 사용법 from bs4 import BeautifulSo..

파이썬에는 기본으로 제공되는 라이브러리 가 있습니다. 프로젝트에서 익숙하게 사용하고 있었지만 따로 설치하거나 한 적은없는 라이브러리이죠 sys, io, os 등 이 라이브러리들은 파이썬이 설치될때 자동으로 설치되는 기본 제공라이브러리 입니다. 여러 과정을 거쳐 필수적으로 있어야 되는 기능들이 이에 포함이 되어 버젼이 변경될때 추가 또는 삭제 변경등이 배포 됩니다. 이 기본라이브러리에는 아주 많은 기능이 있지만 오늘은 os 라이브러리의 system 함수를 사용해서 windows 를 종료하는 기능을 만들어 보겠습니다. 완성 코드입니다. import os def shutdown() : os.system("shutdown -s -t 0") if __name__ == "__main__": shutdown() 저대..

파이썬으로 mysql 연결을 위해 검색을 하다 문제(?) 의 pymysql 을 알게 되었습니다. 많이들 사용하고 있는듯 하여 아무 의심없이 사용. 처음에는 아무 문제 없이 로그인 테이블 insert 다 잘되길래 잘 되는 것 같아 좋구나 하고 사용했습니다. 그런데 컴퓨터를 재부팅 한 뒤에 connect 단에서 부터 실패를 하였습니다. 원인은 "cryptography is required for sha256_password or caching_sha2_password" 패스워드 암호화와 관련있는 내용인듯 한데 pymysql은 아무 옵션도 제공이 되지 않더군요 이를 해결하기 위해 cryptography 를 설치 하기로 경정!!! pip install cryptography 결과는 실패!!! 이유는 visual..

우선 pandas 를 설치 해 줍니다. pip install pandas 든 pycharm 에서 설정에서 추가 해 주셔도 됩니다. import pandas excel_data = pandas.read_excel('data.xls') 잘 읽었는지 확인을 위해 실행해 봅니다. 전 이런 에러가 나오네요 xlrd 를 설치 해야 하나 봅니다. pandas 처럼 xlrd 를 추가로 설치 해 봅니다. xlrd Description 을 보면 'Library for developers to extract data from Microsoft Excel(TM) spreadsheet files. 이라고 되어있네요 pandas 도 저 라이브러리를 통해 데이터를 가져 오나 봅니다. 저라이브러리만 설치해도 되지만 pandas 가 ..

pyinstaller 는 하나의 프로젝트를 실행가능한 파일 (exe - 실행파일) 로 만들어 주는 툴 입니다. pyinstaller 을 사용하기 위해서는 pyinstaller 를 우선 설치 해야 합니다. cmd(명령프롬프트) 를 실행하여 (윈도우키 + R -> 실행 -> cmd ) pyinstaller 설치를 위한 명령어를 입력합니다. 만약 pip 명령을 찾을 수 없다면 arvigoes.tistory.com/190 python console 모듈 설치 파이썬 콘솔에서 pip 실행하여 requests 를 install 시도 하였으나 안됨 여기에서도 하는 방법은 있을듯 한데 지금은 몰라요.....orz... 찾아보려니 밤늦은 시간이라...귀찮아서... 대신 cmd 에서 설치 하 arvigoes.tistory..

파이썬 콘솔에서 pip 실행하여 requests 를 install 시도 하였으나 안됨 여기에서도 하는 방법은 있을듯 한데 지금은 몰라요.....orz... 찾아보려니 밤늦은 시간이라...귀찮아서... 대신 cmd 에서 설치 하면 python console 에서도 적용이 됩니다. 저는 python path 가 환경 변수에 등록이 안되어 있어 직접 경로에 가서 pip 를 실행 했습니다. 환경 변수에 등록이 되어있는지는 pip 누르고 엔터 눌러서..pip 가 실행되면 ok 아니라면 직접 찾으셔서 환경 변수 등록 하시던지 경로에서 직접 실행 하시면 됩니다. 편안하게 IDE 에서 실행하는것도 방법. pip install requests 설치가 잘 됩니다. python console 에서도 잘 사용이 됩니다. 환경..

크롤링을 하기 위해서 필수적으로 BeautifulSoup 을 사용하게 됩니다. Request 에 대해서 엄청난 양의 Response 를 보게 되면 사용 할 수 밖에 없는 듯 합니다. 더 좋은게 있다면 그걸 사용하겠지만 지식 수준이 짧아서 이만한게 없네요 select 는 이 response 에서 내가 필요로 하는 부분을 검색 하게 해 주는 함수 입니다. select 에는 select 와 select_one 두가지가 있습니다. select_one 은 조건에 맞는 최초의 한개의 결과만 가져 오는 것이고, select 는 조건에 해당하는 전부를 가져 옵니다. # select & select_one 사용법 from bs4 import BeautifulSoup r = requests.get("크롤링 웹 페이지 주소..

파이참 에서 selenium import 하기

import csv fimename = "E:\\경로\\" + "파일이름" + ".csv" csvfile = open(fimename, "w", newline="") csvwriter = csv.writer(csvfile) header = ['컬럼1', '컬럼2', '컬럼3', '컬럼4'] csvwriter.writerow(header) for item in data: row = [item[1], item[3], item[5], item[7] csvwriter.writerow(row) csvfile.close() csv 파일의 경우 excel 로 보기보다는 데이터 저장용이므로 header 는 필요없습니다. header 를 사용한 이유는 데이터 저장을 보기위해 header 도 같이 입력 했습니다. 파일 오..

https://www.data.go.kr/ 공공데이터포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Dataset)와 Open API로 제공하는 사이트입니다. www.data.go.kr 공공데이터 포털 회원가입 저는 일반인이라 일반 회원으로 가입했습니다. 가입하실때 공인인증서가 필요하네요 저는 증권사 인증서로 가입시도 했는데 잘 되네요 가입후 로그인 오픈 API 선택 부동산 거래 정보 선택 공공데이터 보기 선택 오픈 API 국토교통부 실거래가 정보 선택 아파트매매 실거래 상세 자료 활용신청 선택 시스템 유형은 온라인 서비스로 만들어 DB 에 저장하고 그 데이터를 활용..