chuuvelop 님의 블로그

imdb에서 클라이언트 변경 후 크롤링  https://www.imdb.com/chart/top/ IMDb Top 250 MoviesAs rated by regular IMDb voters.www.imdb.com 01. Network를 클리어한 후 URI에 접속후 「Network ＞headers」 에서 User-Agent를 확인 import requestsfrom bs4 import BeautifulSoupurl = "https://www.imdb.com/chart/top/"headers = {"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safar..

공공데이터포털 API 사용법 https://www.data.go.kr/ 공공데이터 포털국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datasewww.data.go.kr 약국 정보 조회 서비스서울시 마포구의 약국 정보 조회하기서울시 마포구에서 화요일 20시에도 영업을 하고 있는 약국 찾기 01.「마이페이지 > Open API > 인증키 발급현황」에서  API키를 발급받음  02. 「데이터찾기」에서 활용하고자 하는 API를 클릭https://www.data.go.kr/data/15000576/openapi.do 국립중앙의료원_전국 약국 정보 조회 서비스전국 약국 정보를 조..

네이버 블로그 검색 API 사용법 01. 「Naver  Developers」페이지에 접속 후, Application>어플리케이션 등록에서 API키를 발급 https://developers.naver.com/main/ NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com  02. 리퀘스트를 작성 client_id = "[01에서 발급받은 Client ID]"client_secret = "[01에서 발급받은Client Secret]"url = "https://openapi.naver.com/v1..

영화진흥위원회 오픈 API 사용법 https://www.kobis.or.kr/kobisopenapi/homepg/main/main.do 영화진흥위원회 오픈APIOPEN API 서비스 영화진흥위원회 영화관입장권통합전산망에서 제공하는 오픈API 서비스로 더욱 풍요롭고 편안한 영화 서비스를 즐겨보세요.www.kobis.or.kr  01.  「키 발급/관리 」에서 키 발급 02. OPEN API를 클릭 후 안내대로 리퀘스트 작성https://www.kobis.or.kr/kobisopenapi/homepg/apiservice/searchServiceInfo.do 영화진흥위원회 오픈API제공서비스 영화관입장권통합전산망이 제공하는 오픈API서비스 모음입니다. 사용 가능한 서비스를 확인하고 서비스별 인터페이스 정보를 ..

import time from selenium import webdriver from selenium.webdriver.common.by import By from bs4 import BeautifulSoup from urllib.request import urlopen from selenium.webdriver.common.keys import Keys# selenium으로 DOM 에 접근하는 방법- 단일 객체 반환(bs4의 find()와 같은 형태)    - find_element- 리스트 객체 반환(bs4의 find_all()과 같은 형태)    - find_elements# 웹 접속하기url = "https://www.naver.com"driver = webdriver.Chrome() #셀레니움이..

셀레니움(selenium)설치 01. Anaconda Prompt를 실행   02. pip install selenium 을 입력 후 엔터 03. Successfully installed가 확인 되면 창을 종료

01. 정적 크롤링 모듈from bs4 import BeautifulSoupfrom urllib.request import urlopen요청 모듈로 가져온 HTML 코드를 파이썬이 쓸 수 있는 형태로 변환해주는 역할url = "https://chuuvelop.tistory.com/"page = urlopen(url)soup = BeautifulSoup(page, "lxml") ##lxml자리에 원하는 파서 이름을 쓰면 됨 print(soup)HTML코드가 출력됨  02. 파서내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보를 가공해주는 프로그램lxmlc언어로 구현되어 속도가 가장 빠름html5lib속도가 가장 느림가장 안정적html.parserlxml과 html5lib의 중간 속도※ lxml, h..

01. requests로 웹페이지 접속import requests as rq url = "https://chuuvelop.tistory.com/"rq.get(url) rq.post(url) url = "https://chuuvelop.tistory.com/a"res = rq.get(url) # 없는 주소로 요청# 응답코드 가져오기print(res.status_code)404 url = "https://chuuvelop.tistory.com/"res = rq.get(url)print(res.status_code)200 # 헤더 가져오기print(res)print(res.headers){'date': 'Wed, 15 Jan 2025 11:14:08 GMT', 'content-type': 'text/html;..

01. 예외처리의 필요성문제 발생으로 인해 프로그램이 비정상적으로 종료되는 것을 막고 발생한 문제에 대한 정보를 전달하기 위해 사용try-except 문예외처리를 위한 기본 구조      try:            ...       except [발생오류[as 오류 메시지 변수]]:            ...try 블록 실행 중 오류가 발생하면 except 블록이 실행됨try 블록에서 오류가 발생하지 않는다면 except 블록은 실행되지 않음 02. 예외처리 방법try, except만 쓰는 방법발생 오류만 포함한 except문발생 오류와 오류 메시지 변수까지 포함한 except문# try, except만 쓰는 방법try:    4 / 0except:    print("error")error # 발생 오..

01. 라이브러리와 프레임워크라이브러리(library)정상적인 제어를 하는 모듈프레임워크(framework)제어 역전이 발생하는 모듈 제어 역전(IoC; Inversion of Control) 라이브러리 = 정상적인 제어라이브러리는 모듈의 기능을 개발자가 직접 호출from math import sin, cos, tan, floor, ceilprint(sin(1))print(cos(1))print(tan(1))0.84147098480789650.54030230586813981.5574077246549023 print(floor(2.5))print(ceil(2.5))23 프레임워크직접적으로 무언가를 진행하는 코드는 없음from flask import Flask ##간단한 웹사이트를 만드는 코드app = Fl..