728x90 Programming269 [머신러닝] 간편한 분석 도구 오렌지 orange3 설치 및 사용법 GUI 기반의 머신러닝 및 데이터 분석 도구 오렌지 (orange3)에 대해 알아보겠습니다. ※ 해당 게시글은 생활코딩 오렌지3 강의 내용을 정리한 컨텐츠입니다. - 생활코딩 오렌지3 강의 보러가기 오렌지3란? 특별한 코딩 없이 마우스 드래그 앤 드롭으로 표로 된 데이터를 분석할 수 있도록 도와주는 도구 대표적인 기능 표의 열람 및 가공 표를 시각화 표를 통계적으로 분석 머신러닝을 이용해서 표를 이용 오렌지3 설치하기 - 오렌지3 다운로드하기 오렌지3는 무료 툴로 아래의 사이트에서 본인의 운영체제에 맞게 다운로드할 수 있습니다. 윈도우에서 설치가 안되는 경우 c: 드라우브에 orange3 폴더를 만들고 그곳에 설치해서 해결한 사례가 있습니다. 계정 이름이 한글인 경우에 영문 이름의 계정을 만들어서 설치에.. 2021. 6. 6. [Python] 정규표현식 텍스트 전처리 (원하는 문자 추출) 데이터를 다루다보면, 문자열을 기호에 맞게 처리해야 하는 경우가 종종 발생합니다. 파이썬 모듈 중에서 문자열이나 text 처리를 쉽게 할 수 있는 re 모듈을 이용하여 원하는 문자만 추출하는 추출하는 방법을 배워보도록 하겠습니다. ※ 레퍼런스에 여러 가지 자료를 잘 정리한 블로그와 웹사이트를 올려놓았으니 궁금하신 분들은 찾아보시기 바랍니다! 한글만 추출하기 re 패턴 : [^ㄱ-|가-힣+] => 한글+띄어쓰기 제외한 글자 패턴 import re def test(s): hangul = re.compile('[^ ㄱ-ㅣ가-힣+]') # 한글과 띄어쓰기를 제외한 모든 글자 # hangul = re.compile('[^ \u3131-\u3163\uac00-\ud7a3]+') # 위와 동일 result = han.. 2021. 6. 5. [Python] 파이썬 이미지 사이즈 분류하기 파이썬 모듈 중에서 이미지 처리 및 분석을 쉽게 할 수 있는 라이브러리 PIL (Python Image Library)의 pillow 모듈이 있습니다. jpg를 포함하여 다양한 이미지 파일 형식을 지원하고 간편한 이미지 처리와 다양한 그래픽 기능을 제공하는 이미지 프로세싱 라이브러리 중 하나입니다. Problem ◈ picture 폴더에 있는 대용량의 사진 파일을 사이즈 기준 (1125 x 2000)으로 분류하기 특정 작업을 위해 사이즈 wide가 1125, height가 2000 미만인 사진들로 구성이 되어야 하는데 이를 하나하나 속성 검색하며 분류하기에는 리소스가 너무 많이 투입되는 문제 발생 이를 해결하기 위해, 파이썬으로 자동화하는 코드 생성 import os from PIL import Imag.. 2021. 6. 2. [Python] 파이썬 영화 사이트 (씨네21) 크롤링 2 안녕하세요. 저번 게시물에 이어 파이썬 영화 데이터 크롤링 2편 포스팅하겠습니다. 씨네21 크롤링 ▶ 2차 크롤링 작업 - result_data01 kr_c_link kr_c_name http://www.cine21.com/db/writer/info/?pre_code=E20041252 박평식 http://www.cine21.com/db/writer/info/?pre_code=E20041291 이용철 http://www.cine21.com/db/writer/info/?pre_code=E20041338 황진미 http://www.cine21.com/db/writer/info/?pre_code=E20041283 이동진 ˙˙˙˙ ˙˙˙˙ 2차까지는 Selenium으로 작업하였습니다. result_data01에서.. 2021. 6. 1. [Python] 파이썬 영화 사이트 (씨네21) 크롤링 안녕하세요. 코딩하는 금융인입니다. 오늘은 과거 제가 진행했던 영화 데이터 프로젝트에서 데이터 수집 과정에서 제가 사용했던 크롤링 방식을 소개해드리고자 합니다. 데이터 분석에서 가장 중요한 부분이 무엇이라고 한다면, 많이들 데이터 수집 그리고 전처리 과정이 빠지지 않고 언급됩니다. 아무리 훌륭한 분석툴과 기법을 가지고 있더라도 잘못된 수집, 전처리 과정을 거친 데이터는 잘못된 분석으로 이끌기에 정확한 수집, 전처리 능력은 데이터 분석가로서 필수 역량입니다. 주로 저는 웹사이트 관련된 코딩 업무를 할 때, 속도면에서 중요하지 않다면 자동화 과정을 볼 수 있는 파이썬 selenium을 주로 사용하고 빠르게 처리해야 한다면 requests를 주로 사용합니다. 물론, 두 가지 다 사용하는 경우가 많고 html을.. 2021. 5. 31. [MySQL] 중복 데이터 찾기 및 제거 MySQL로 중복 데이터 처리하기 데이터 예시 - SQL Fiddle에서 데이터 확인 id first_name last_name email 1 Carine Schmitt carine.schmitt@verizon.net 2 Jean King jean.king@me.com 3 Peter Ferguson peter.ferguson@google.com 4 Janine Labrune janine.labrune@aol.com ˙˙˙ ˙˙˙ ˙˙˙ ˙˙˙ ※ 출처 : MySQLTutorial 중복 데이터 확인 (중복 행) ▶ 쿼리 실행 SELECT first_name, last_name, email, COUNT(*) as cnt FROM contacts GROUP BY email, first_name, last_na.. 2021. 5. 30. 이전 1 ··· 40 41 42 43 44 45 다음 728x90
