반응형

# 1. Language/🌊 Python 10

셀레니움(Selenium) # 셀레니움 강의 추천

프로젝트 진행 중, 데이터 크롤링을 해 본 팀원이 없어서 공부를 따로 했어야 했다. 코치님께 말씀드리니 아래의 강의를 추천해주셨다. 나도코딩 유투브의 웹 크롤링 강의! 패기넘치는 "무료강의는 별로다?ㅋㅋ"의 썸네일이 알려주듯이 강의는 매우 좋았다..!! 왜 인프런 같은 사이트에서 팔지 않는지 의문이들정도! 이 강의는 약 5시간짜리 강의기 때문에 간단한 스크래핑을 위해서는 아래의 목차만 챙겨보라고 하셨다. HTML XPath Requests User Agent Beautifulsoup Selenium 정 매우 시간이 부족하고 바쁘다면 Selenium강의만 보아도 나쁘지않은 것 같다. 강의 질이 매우 좋아서 시간이 나면 마저 공부해볼 예정이다.

셀레니움(Selenium) # ElementNotInteractableException Message: element not interactable에러

상황 셀레니움으로 스크래핑을 하다가 ElementNotInteractableException Message: element not interactable 에러를 만났다. 내가 만났던 에러는 아래와 같다. Traceback (most recent call last): ... (생략) ... self.error_handler.check_response(response) File "C:\Python39\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.Elemen..

셀레니움(Selenium) # chrome not reachable 에러

상황 카카오 맵에 "광주 북구 카페"라고 검색하면 나오는 카페 리스트에서 카페 이름, 주소, 전화번호, 이미지 등을 가지고 오는 스크래핑을 셀레니움(Selenium)을 통해 진행하고 있었다. 총 34페이지 분량인 상황. 그런데 3페이지까지 스크래핑을 완료하고 4페이지부터는 chrome not reachable 에러가 뜨면서 프로그램 종료.. 그래서 다시 4페이지부터 스크래핑할 수 있도록 코드를 짜고 다시 진행했지만 한 페이지를 못 가고 다시 chrome not reachable 에러 후 종료 😅 구글에 검색해보니 개발 초창기(셀레니움 코드를 짤 때)에 사용했던 Chrome의 버전과 현재(셀레니움 코드를 실행 할 때)의 버전이 달라졌기 때문이라고 한다. Chrome 버전이 달라지면 chromedriver...

셀레니움(Selenium) # 크롤링/스크래핑한 데이터 DB에 넣기

우리는 광주 지역의 카페에 대한 정보를 스크래핑하고 싶었다. 그래서 카카오맵에 '전라도 광주 광산구 송정1동 카페' 라고 검색한 화면에서 볼 수 있는 카페의 이름, 주소, 영업시간, 전화번호를 스크래핑하려 하고있다. 스크래핑을 위해 VScode에서 로직을 짰고, 그 결과는 아래 영상과 같다. VScode에서 실행하면 다음과 같이 창이 자동으로 뜨고 자동으로 페이지 변환까지 하며 스크래핑 한다. 그리하여 얻은 결과값은 아래와 같다. [{'address': '광주 광산구 송도로304번길 15-14', 'cafe_name': '비행기카페', 'opening_hours': '영업시간 매일 09:30 ~ 22:00', 'telephone': '062-941-0003'}, {'address': '광주 광산구 상무대..

TIL # Python 예제

약수란? 값을 특정 숫자로 나누었을 때(%) 나머지가 0인 경우! N = 10 for i in range(1, N+1): if N%i == 0: print(i, end=' ') # 1 2 5 10 자릿수 더하기 문제 자연수 number를 입력 받아, 각 자릿수의 합을 계산하여 출력하시오. 예시) sum_of_digit(1234) #=> 10 sum_of_digit(4321) #=> 10 def sum_of_digit(number): print('---------------------') # 1. 변수 초기화 total = 0 # 2. 반복 # 몫을 계속 나누다가 0/10 => 0, # 더이상 나눌 수 없는 False가 될 때까지 반복한다 while number / 10: # number, remainde..

TIL # Python 이론정리

String 문자열은 + 연산자로 이어붙이고, * 연산자로 반복시킬 수 있습니다. 'hi' * 10 # 'hihihihihihihihihihi' 'hi' + 'hong' # 'hihong' 당연히 변수화해서도 사용가능합니다. a = 'hi' b = ', hong' a + b # 'hihong' end print의 기본은 ,end='\n'이지만 아래와 같이 사용할 수도 있다. print('내용을 띄워서 출력하고 싶으면?', end=' ') print('옆으로 띄워짐') # 내용을 띄워서 출력하고 싶으면? 옆으로 띄워짐 print('개행 문자 말고도 가능합니다', end='!') print('진짜로', end='!') print('알고보면 print는 기본이 \\n', end='!') # 개행 문자 말고도 ..

텔레그램 챗봇 & 공공데이터 API

🍔 텔레그램 챗봇 https://py.hphk.io/bots 코드를 수정하는 곳. 파이썬 챗봇의 답변을 제어할 수 있다. 해당 링크로 들어가서 ''안녕'' 혹은 ''점심 메뉴''의 코드 수정을 한 다음, 텔레그램**파이썬 챗봇**과의 대화에 ''안녕'' 혹은 ''점심 메뉴''를 치면 내가 입력한 코드대로 챗봇이 답장해준다. 🧇 공공데이터 포털사이트 API 공공데이터 API를 사용하기 위해선 우선데이터 사용신청을 해야한다. 공공데이터 신청하기 공공데이터 포털사이트 구글링 하여 사이트 들어가기 검색창에 '대기환경' 검색 오픈API 메뉴의한국환경공단 에어코리아 대기오염 정보"클릭 스크롤 내리면활용신청이 보임. 클릭! 이렇게 활용신청을 마친 후 1~2시간 뒤에 마이페이지의 신청내역에 들어가면 승인이 나 있을 것..

Markdown 사용법

🍖마크다운 일반 텍스트 형식 구문을 사용하는 마크업 언어의 일종이다. 사용법이 쉽고 간단하며 빠르게 문서 정리를 할 수 있다. 단 ,HTML을 완벽히 대체하지는 않는다. 문서작성하기에 좋은 경량화된 언어이다. hwp 이런거 버리장~~ 에버노트, 노션 이런거도 좋은데 개발자들은 마크다운 언어를 써서 문서작성 하는게 좋다 🧀 Typora 마크다운 언어의 제일 좋은 툴. Typora 사용법 ‘#’ 의 개수가 적을수록 큰 제목, 많은 수록 소 제목. Ctrl + / 소스코드 보기 다시 누르면 예쁘게 보기 shift + tab 상위 항목으로 이동 가능 줄바꿈 태그 ‘*’는 에스터리스크라 부른다. velog 마크다운을 정식으로 지원함 1. 리스트 만들기 *를 적은 뒤에 스페이스바. 하이픈(-)으로도 가능하다 그 바..

[2021.01.13] VS code 사용법

VS code 사용설명서 1. 기본 VS Code 사용하려면 파일을 만들기 원하는 폴더 안에 들어가서 바탕에 오른쪽 마우스 클릭하면 Code로 열기가 뜨는데 클릭하면 실행됨. .py 파이썬 확장자명 2. 단축키 Shift + Alrt + 아랫방향 위의 코드를 그대로 복사해서 붙여줌 Alt 로 여러 구문 지정 여러 구문만 따로 선택하여 단체로 수정가능 터미널 껐다 켜기 Ctrl + ~혹은` Ctrl + / 주석처리 Ctrl + ~혹은` 터미널 껐다 키기 Ctrl + b 탐색기 껐다 켜기 Ctrl + shift + p short cut 검색 Ctrl + / 키 안먹을 때 윈도우키 + 스페이스하면 된다 모니터 오른쪽 하단에 한글이 2종류인데 MS입력기 버전일때만 주석 단축키가 먹히기 때문임! Alt + Shi..

Python 프로그래밍을 위한 설치

1. Python설치 이후 수업에서 다른 라이브러리와의 호환성 문제가 일어날 수 있으므로 3.9 가 아닌 3.8 버전으로 설치합니다. 2. Jupyter Notebook 설치 3. Git설치 프로젝트 관리를 위한 프로그램으로 가장 대표적인 버전 관리 시스템(VCS) 진행되는 모든 프로젝트, Homework, Workshop 관리를 위해 4. VS Code (Visual Studio Code) 설치 코드 편집기 5. Typora 설치 개발자들의 문서 마크다운(Markdown .md) 편집을 위한 마크다운 편집기 Typora [참고] IDEL언제 쓰나요? 우리는 현재 VS code를 이용해 파일단위로 작업중.. 그런데 IDEL은 기본적으로 연습장 느낌의 대화형임. ==>> 파이썬 코드 연습할 때 바로바로 테..

반응형