Archive.Munch

Keep : 프로젝트 완료 후에도 간직하고 싶은 잘했던 것 / 좋았던 것Problem : 프로젝트 중 겪었던 어려움(기술, 소통, 협업, 에러 등 프로젝트 진행 관련된 그 어느 것이든) / 프로젝트 완료 후에도 아쉬움으로 남는 것Try : Problem 중 해결된 사항에 대한 해결 방법 / 해결되지 않은 사항에 대한 피드백etc : 그냥 끄적거림,,, 기간 : 2024. 05. 02 ~ 2024. 05. 21 1. Keep"여러 사이트의 데이터셋을 가져와 연관 지으며 더 구체화된 데이터셋을 구성할 수 있었다"데이터를 여러군데서 크롤링해오려고 시도했고, 하나의 테이블이 아닌 영향을 미칠 수 있는 여러 개의 테이블을 join 하여 최종 데이터셋을 구성하였다. join 하는 과정에서 어떤 컬럼을 기준으로 jo..

[ Optuna ] Optuna: A hyperparameter optimization framework — Optuna 3.6.1 documentation© Copyright 2018, Optuna Contributors. Revision 39f83f7e.optuna.readthedocs.io✅ 하이퍼파라미터 최적화를 위한 파이썬 라이브러리로, 모델의 성능을 향상시키는데 필요한 최적의 하이퍼파라미터를 자동으로 탐색.→ 베이지안 최적화 알고지름 기반*베이지안 : 과거의 데이터를 바탕으로 추→ 목적함수의 값을 최소화하거나, 최대화하는 데 사용됨특징하이퍼파라미터 최적화: 주어진 목적 함수의 값을 최소화하거나 최대화하기 위한 최적의 하이퍼파라미터를 찾습니다.자동화된 하이퍼파라미터 탐색: Optuna는 사용자가..

[ cross validation ]✅ 모델의 성능을 평가하기 위한 효과적인 방법 중 하나로, 모델의 성능을 정확하게 추정하기 위해 사용.다음과 같은 종류들이 있다.k-fold cross validationleave-one-out cross validationstratified k-fold cross validation [ K-Fold ]✅ 과적합을 막기 위한 방법 중 하나로, 각 다른 학습/검증데이터 셋을 K개 만들고 각 세트에서 학습과 검증을 수행하는 방법→ 데이터가 적을 때는 K를 크게 하고, 데이터가 많을 때는 k를 작게 하는 것이 일반적. 특히 데이터가 적을 때 유용하다K-fold : 위 이미지처럼 앞에서부터 일정한 크기의 test 데이터 정의Stratified K-fold : true/fals..

05-4. 태블로 기능 part 3✔️ Tableau Public 사용 # 지도 만들기0. 데이터셋 확인 1. 지도를 만들려는 데이터의 차원에서 마우스 오른쪽 - 지리적 역할 - 해당되는 내용 선택(주/시/도) 2. 위도와 경도에 따라 자동으로 생성된 지도 및 마크 확인 3. 지도 생성 시 자동으로 '위도'와 '경도' 측정값이 생성됨4. 합계(매출) 측정값을 '크기'마크에 넣어 필터링5. '지역' 차원을 색상에 넣어 색상 구분6. '시도' 차원을 레이블에 넣어 시도 출력   # 대시보드 생성하기지금까지 우리가 작업한 화면은 '워크시트'이다. 이제 이러한 워크시트 요소들을 한 군데 모을 수 있는 '대시보드'를 만들어보자.  1. 새 대시보드 생성 📍주로 좌측 상단에 처음으로 시선이 가니 , 요약 정보를 ..

[ASAC] 05-3. 태블로 기능 part2✔️ Tableau Public 사용 2️⃣ 태블로의 다양한 기능들 part 2 # 수식 계산하기sum, max와 같은 간단한 수식이 아닌 코드를 통한 수식 계산 가능계산된 필드 만들기 → 수식 작성window_avg : 창 내 식의 평균 반환 / window_min : 최소값 반환 / window_max : 최대값 반환테이블 계산 함수 doc. 참고 https://help.tableau.com/current/pro/desktop/ko-kr/functions_functions_tablecalculation.htm 테이블 계산 함수이 문서에서는 Tableau의 테이블 계산 함수와 관련 사용법을 소개합니다help.tableau.comif 문 등 논리함수 doc. ..

[ASAC] 05-2. 태블로 기능✔️ Tableau Public 사용 1️⃣ 태블로의 다양한 기능들 # 데이터 그룹핑같은 의미를 가지는 다른 카테고리를 ctrl을 이용해 다중선택 후 그룹화 할 수 있다→ 그룹 후 결과 확인 # 화면 비율 조정상단 툴 바의 도움말 하단에 `전체 보기` 드롭다운 메뉴를 조정하여 화면 비율을 조정할 수 있다.# 색상 필터카테고리가 너무 많을 땐 색상을 많이 넣으면 정신없고 시각화가 잘 안 된다색상은  4~최대 6개까지만 사용하자. 이를 넘어가면 사람이 이해하기 어렵다# 차트 레이블 표시레이블에 표시할 컬럼을 `마크`의 레이블에 가지고 오면 레이블이 표시된다. 범위 및 모양 등 조정 가능하다

[ASAC] 05-1. 태블로 기초✔️ Tableau Public 사용 0️⃣ 태블로 사용법 # 드래그 앤 드롭을 통해 데이터 파일 불러오기 가능  # 시트 추가: 하단 탭을 통해 워크스페이스, 대시보드 등을 추가하고 이름을 설정할 수 있다 # 자료형 : 위 이미지에서, 각 데이터의 컬럼명 위를 보면 #, Abc... 등 자료형을 확인할 수 있다연속형 : 끊어지지 않는 “무한대”범위. 뷰에 추가하면 “축”이 추가됨불연속형 : 개별적인 “유한대”범위. 뷰에 추가하면 “머리글”이 추가됨 # 차원 vs 측정값측정값(Measure) : 매출 ~ 할인율 과 같이 집계할 수 있거나 양적인 자료를 포함하는 필드차원(Dimension)  : 고객이름 ~ 하위범주 와 같이 카테고리 정보를 포함하거나 집계될 수 없는 정보..

03-3. MySQL 기본 데이터베이스 자료형 Char VS varcharchar : 문자열varchar : 가변적인 문자열 Open DataBase Connectivitiy(ODBC)✅ 응용 프로그램과 데이터베이스 간의 연결통⇒ 응용프로그램에서 데이터에 접근할 때 어떠한 DBMS를 사용하는지 의식할 필요 없이 접근할 수 있다 백틱(backtick) (`)✅ 테이블 명에 공백이 들어가는 경우 사용ex) `member tbl` → 이 경우 따옴표를 사용하면 오류가 나게 된다. Query(쿼리)✅ 정보를 검색하기 위해 데이터베이스에 사용자가 보내는 요청   하위 쿼리(서브쿼리)✅ SQL은 하나의 쿼리문이 다른 변수로 치환이 되지 않기 때문에, 쿼리 안에 쿼리가 들어가는 하위 쿼리의 사용이 빈번하다.  Tod..

03-2. MySQL 알아보기 MySQL✅ 현재 가장 인기 있는 오픈소스 RDBMS 중 하나로, 현재는 Oracle에서 관리 중에 있다.* MySQL은 모든 변수명을 소문자로 처리하기 때문에, 대/소문자의 구분이 없다 cmd 창에서 mysql 서버에 접속하기show databases; → 여러 데이터베이스 확인show tables; → 데이터베이스 내부의 테이블 확인use database; → 해당 데이터베이스 사용select * from databases; → 데이터베이스에서 모든 컬럼 조회하기 (limit 10) Workbench 설치  MySQL은 cmd 창에서 사용이 가능하다. 시각적으로 좀 더 편하게 사용하도록 만든 툴이 workbench인데, 아래 링크를 통해 다운로드할 수 있다. https:..

03-1. SQL - 데이터베이스란? 데이터베이스데이터의 집합여러 명의 사용자나 응용 프로그램이 공유하는 데이터동시에 접근 가능한 데이터의 저장공간DBMS (Data Base Management System)DB를 관리/운영하는 역할ex) MySQL, Oracle … [ DBMS 분류 ]1️⃣ 계층형 DBMStree 형태로 계층적인 작업 가능유연성 부족구축 후 구조 변경 까다로움2️⃣ 망형 DBMS계층형 DBMS의 문제점 개선을 위해 고안1:1, 1:N, N:N관계를 지원한다효과적이고 빠른 데이터 추출이 가능하지만, 내부 구조가 복잡하다(포인터 사용) 3️⃣ 관계형(R) DBMS (Relationship DBMS)데이터 Table이라는 단위로 구성업무 변화에 쉽게 순응유지보수 편리대용량 데이터, 무결성 ..