티스토리

Take This Waltz

검색하기

블로그 홈

Take This Waltz

jiwonkoh.tistory.com/m

gojw 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

2024년 Method of the Year: spatial proteomics 12월 6일 네이쳐 메소드에서 올해의 메소드를 발표했다. 2013년에는 single-cell sequencing이, 작년에는 long-read sequencing이 선정되었다. 2024년 올해의 메소드는 Spatial proteomics인데, 말 그대로 단백체학을 공간의 개념으로 확장한 방법이라고 볼 수 있다. 이 용어는 상당히 범위가 넓은 Umbrella term인데, 아래와 같은 기술들을 포함한다. - Cyclic immunoflurescence (cycIF)- Co-detection by indexing (CODEX)- Iterative bleaching extends multiplexity (IBEX)- Multiplexed ion beam imaging (MIBI)- Imaging mass cy.. 공감수 0 댓글수 0 2024. 12. 8.
[Bioinfo] RNA-seq project 1 - (2) data cleaning, indexing - data download - data transformation - data cleaning - data mapping - mapped read counting - DEGs(Statistical analysis) - Gene expression pattern - data visualization Read cleaning 데이터를 다운받은 후에 raw read cleaning을 진행한다. read cleaning을 하는 이유는 에러가 있는 nucleotide를 제거하고, 중복 read를 제거하기 위함이다. Duplicates를 다루는 방법? 이론적으로 기존 라이브러리의 각각의 template에 대해 하나의 read를 사용해야하는데, NGS의 과정 중 PCR amplification이 있기 때문에 여러개.. 공감수 0 댓글수 0 2022. 8. 12.
[Bioinfo] RNA-seq project 1 - (1) data download - data download - data transformation - data cleaning - data mapping - mapped read counting - DEGs(Statistical analysis) - Gene expression pattern - data visualization 분석을 시작하기 전 데이터를 생산해야하는데, 이미 시퀀싱이 끝난 데이터를 다운로드 받아와서 분석을 진행했다. https://www.ncbi.nlm.nih.gov/sra Home - SRA - NCBI www.ncbi.nlm.nih.gov 1. BioProject를 선택하고 원하는 종과 시퀀싱 방법을 적는다. 2. 원하는 프로젝트를 고른다. Accession 번호 (PRJNA806646)을 이용해서 검색이 가능.. 공감수 1 댓글수 0 2022. 7. 25.
[Algorithm] Sliding Window + 1695. Maximum Erasure Value array에서 특정 구간의 최대 합을 찾을 때, 인덱스 0부터 모든 subarray의 합을 구해볼 수 있을 것이다. 이 때 시간복잡도는 O(n^2)으로, Sliding Window기법을 통해 시간복잡도를 O(n)으로 낮출 수 있다. 리트코드 1695. Maximum Erasure Value = unique한 값만 존재하는 subarray의 합 중 가장 큰 합 찾기 [4, 2, 1, 2, 6] 1. 인덱스 0부터 윈도우 크기를 키우다가, 중복되는 값이 나오면 (=2) 앞에서부터 윈도우 크기를 줄임 [4] = 4 [4, 2] = 6 [4, 2, 1] = 7 [2, 1, 2] [1, 2] 2. 윈도우에 unique한 값만 존재하면, 합이 얼마인지 찾기 [1, 2] = 3 [1, 2, 6] = 9 class S.. 공감수 0 댓글수 0 2022. 6. 12.
[Algorithm] Binary Tree + 530. Minimum Absolute Difference in BST 리트코드 530. Minimum Absolute Difference in BST Binary Search Tree에 있는 전체 노드의 차이 중 가장 적은 숫자를 리턴한다. (서로 부모-자식 관계인 노드가 아니여도 됨) 115ms가 걸린 내 코드랑 디스커션에 있는 55ms 걸린 코드를 비교해보려고 한다. 나는 단순하게 전체 노드를 저장해서 가장 작은 차이를 골랐는데, BST의 성질을 이용하지 못했다. 디스커션의 코드는 왼쪽 자식 노드가 항상 부모 노드보다 작고, 오른쪽 자식 노드가 항상 부모 노드보다 크다는 것을 이용했다. 55ms class Solution: def getMinimumDifference(self, root: Optional[TreeNode]) -> int: d.. 공감수 0 댓글수 0 2022. 6. 1.
[R] ggplot으로 linear regression 시각화 ggplot(dataframe, aes(x-axis, y-axis)) + geom_point(alpha = 0.5) + geom_smooth(method='lm', se=FALSE) alpha = scatter plot의 점을 불투명하게 method = smoothing method (lm, glm, loess, gam) se = confidence ribbon을 나타나게 할지 (default TRUE) 공감수 0 댓글수 0 2022. 5. 30.
[WEEK1] Introduction to Statistics in R - Datacamp Career Track "R Statistician" 를 시작했다. 1. Summary Statistics - Measures of center = mean, median: - left skewed, right skewed = skewed data일수록 median 사용 - Measures of spread = quartiles, quantiles and quintiles = Box plot uses quartiles - Variance and standard deviation - Interquartile range (IQR) = Height of the box quantile(0.75) - quantile(0.25) - IQR 이용해서 outlier 구별 가능 < Q1 - 1.5*I.. 공감수 0 댓글수 0 2022. 5. 19.
[Autoencoder] Denoising Autoencoder란? 이번 캐글 TPS의 일등 리더보드 솔루션은 Denoising Autoencoder을 사용했다. Autoencoder Autoencoder란 feature selection, feature extraction에 사용되는 Feedforward 뉴럴넷이다. 인풋 데이터를 인코더를 이용해서 압축해 코드를 만들고, 코드를 디코더를 통해 아웃풋으로 만든다. 이 과정에서 인풋의 중요한 특성들을 뽑아내게 된다. Autoencoder를 만드는데 3가지가 필요한데, 1. 어떻게 encoding? 2. 어떻게 decoding? 3. 아웃풋과 타겟을 비교할 loss function Autoencoder은 fully connected NN이고, 4개의 하이퍼파라미터를 갖는다. 학습 방법은 기존 NN과 동일하게 backpropa.. 공감수 0 댓글수 0 2022. 5. 2.
[캐글] Tabular Playground Series - April 회고 2022년 다시 참가한 TPS 4월이 끝났다. 106/816 (13%) Multivariable Time Series Classification 문제였고, 처음에는 CNN, LSTM 모델 만들어보고, 나중에 XGBoost, LGBM 모델 만들어서 대회 끝나기 이틀 전부터 앙상블했다. 앙상블은 그냥 점수보면서 weighted averaging했다. 모델은 xgboost, lgbm, bi-lstm, lstm, cnn-lstm 이렇게 다섯개 사용했다. 이번 대회에서 가장 많이 시간을 쓴건 LSTM인데, 전에 코세라 딥러닝에서 내용만 들어봤고 써보는건 처음이였다. 그 외에, - Pandas가 복잡해지면 어려웠음. ➡️ kaggle course Pandas - EDA할 때 통계적인 부분이 모자란게 FE까지 영향을.. 공감수 0 댓글수 0 2022. 5. 1.
[LSTM] LSTM + Fully Connected Layer 두가지 방법 LSTM return_sequences LSTM의 return_sequences=True는 아웃풋 시퀀스 전체를 다음 layer로 넘긴다. return_sequences=False는 마지막 아웃풋만 다음 layer로 넘긴다. 따라서 더 적은 정보를 담고있기 때문에, accuracy가 떨어진다. y3 = LSTM(128, return_sequences=True)(y2) x2 = Dense(64, activation='swish')(y3) # ValueError: Shapes (None, 60) and (None, 1) are incompatible y3 = LSTM(128, return_sequences=False)(y2) x2 = Dense(64, activation='swish')(y3) return_.. 공감수 0 댓글수 0 2022. 4. 23.
[CNN] Conv1D의 causal padding이란 convolution 연산은 인풋에 커널을 곱해서 feature map을 만든다. 연산을 거칠 때마다 feature map의 크기가 인풋의 크기보다 작아지는데, 이 문제를 해결하는 것이 padding이다. padding을 통해서 인풋의 크기 (spatial dimension)를 유지할 수 있고, 또 인풋의 모든 파트를 feature map에 반영할 수 있게된다. (padding이 없으면 2D 이미지의 중간 부분만 커널이 여러번 지나가게됨) causal padding 시계열 데이터를 다룰 때, 위의 사진처럼 4개의 인풋이 한개의 타겟에 영향을 미친다고 하자. 커널 사이즈를 4로 정해서 인풋과 아웃풋을 매핑할 수 있다. 하지만 2, 3, 4의 값은 4개의 인풋이 전부 존재하지 않는다. causal paddi.. 공감수 0 댓글수 0 2022. 4. 22.
[cv] 시계열 데이터 Cross Validation - GroupKFold GroupKFold is a variation of k-fold which ensures that the same group is not represented in both testing and training sets. For example if the data is obtained from different subjects with several samples per-subject and if the model is flexible enough to learn from highly person specific features it could fail to generalize to new subjects. GroupKFold makes it possible to detect this kind of ov.. 공감수 0 댓글수 0 2022. 4. 16.
[FE] 시계열 데이터 lag feature 추가하기 EDA를 통해서 어떤 feature들을 선택하거나 추가할지 정할 수 있다. 시계열 데이터를 다룰 때 lag feature을 추가할 수 있다. lag feature는 이전 타임스텝의 데이터를 뜻한다. lag value가 1이면 한개 전 타임스텝의 데이터, 2이면 두개 전 타임스텝의 데이터이다. 타임스텝별로 어떤 트렌드가 있다면 그만큼을 lag value로 정해준다. 예를들어 일주일마다 어떤 트렌드가 있으면 lag value을 7로 정해줄 수 있다. 또 이전 타임스텝의 데이터가 존재하지 않을 때 Nan값이 들어가기 때문에 pandas fillna()를 이용해서 0으로 바꿔준다. # lag value = 1 # sequence라는 컬럼을 groupby df[feature + '_lag1'] = df.group.. 공감수 0 댓글수 0 2022. 4. 15.
[Algorithm] Bucket Sort + 347. Top K Frequent Elements Bucket Sort INPUT: 길이가 n인 리스트 (array), 키값이 균등하게 분포한다고 가정 1. 구간을 n등분한 버킷을 만든다. 2. array[i]를 인덱스가 n * array[i]인 버킷의 위치에 추가한다. 3. 각각의 버킷에 여러개의 요소가 있으면 insertion sort로 정렬한다. 리트코드 347. Top K Frequent Elements - Bucket Sort를 이용한 풀이 - n이 인풋 리스트의 길이일 때, 빈도는 1에서 n까지 분포. (가장 작은 빈도수 = 1, 가장 큰 빈도수 = n) - 빈도수는 collections.Counter()로 센다. Counter()은 소를 key로, 빈도수를 value로 가진 딕셔너리를 리턴. INPUT: 숫자를 요소로 가진 리스트 1. 길이.. 공감수 0 댓글수 0 2022. 4. 14.
[LSTM] LSTM unit, cell, layer에 대한 이해 LSTM unit (num_units), cell? LSTM cell은 3개의 게이트로 구성되어있고, 이를 통해서 기존 RNN보다 긴 시퀀스를 학습할 수 있게된다. 아래 사진은 한개의 cell에 대한 설명이다. keras LSTM의 인풋 중 하나인 num_units는 hidden state (output)의 차원이다. 위 사진의 빨간색 동그라미의 개수가 num_units이다. 따라서 위의 그림은 2개의 units를 가진 하나의 LSTM cell이다. 그리고 다음 cell이 전 hidden state (units, ht)와 input (xt)를 더하고 세개의 게이트를 지나서, 다음 hidden state (units, ht+1)를 계산한다. (= layer의 num_units에 지정해준 개수) 반복되는 L.. 공감수 5 댓글수 0 2022. 4. 13.
[LSTM] keras.layers.LSTM()의 input_shape LSTM의 첫번째 layer에는 input_shape를 넣어줘야한다. LSTM 모델의 input은 항상 3D이다. = (# of samples, timestep, # of features) 3D로 넣어주기 위해서 기존 데이터를 형식에 맞게 reshape해줘야 한다. 예를 들어서 train.shape가 (1558080, 13) test.shape가 (733080, 13)일 때 train = train.reshape(int(len(train)/60), 60, 13) test = test.reshape(int(len(test)/60), 60, 13) print(f'train reshape: {train.shape}') print(f'test reshape: {test.shape}') # train reshap.. 공감수 0 댓글수 0 2022. 4. 10.
[Algorithm] Top 75 LeetCode https://www.teamblind.com/post/New-Year-Gift---Curated-List-of-Top-75-LeetCode-Questions-to-Save-Your-Time-OaM1orEU New Year Gift - Curated List of Top 75 LeetCode Questions to Save Your Time New Year Gift to every fellow time-constrained engineer out there looking for a job, here's a list of the best LeetCode questions that teach you core concepts and techniques for each category/type of proble.. 공감수 0 댓글수 0 2022. 2. 21.
[DL] Andrew Ng 교수님의 논문 읽는 법 - Compile a list of papers: try to create a list of research papers, posts and whatever text or learning resource you have. - Skip around the list: basically, you should read research papers in a parallel fashion; meaning try to tackle more than one paper at a time. Concretely, try to quickly skim and understand each of these paper and do not read it all, maybe you read 10–20% of each one and pr.. 공감수 0 댓글수 0 2022. 1. 5.
[WEEK13] Feature Engineering for NLP in Python WEEK 12에 이어서 두번째 NLP 관련 강의였다. 1. Basic features and readability scores - Readability test = 얼마나 쉽게 읽히는 글인지? => Flesch reading ease, Gunning fog index, Simble Measure of Gobbledygook (SOMG), Dale-Chall score - Flesch reading ease => 가정 1. 길이가 길수록, 2. average number of syllables 가 클수록 읽기 어려운 글 2. Text preprocessing, POS tagging and NER - Tokenization and Lemmatization - Part-of-speech tagging (POS.. 공감수 0 댓글수 0 2021. 12. 6.
[캐글] Tabular Playground Series - November 회고 11월 TBS 끝났다. 10월이 탑 19%라 더 높이 들어가는게 목표였는데 이루지 못했다 😅 대회 시작 처음에는 머신러닝 알고리즘으로 여러개를 해봤다. catboost, xgboost, lgbm, knn 그리고 앙상블했다. 여기서 모델을 더 만들어서 앙상블할까 하다가 방향을 틀어서 NN을 이용해서 모델을 만들었다. 이건 다른 캐글러가 올린 노트북을 참고해서 했고 마침 코세라 강의도 딱 CNN 전까지 끝나서 개념은 정리된 상태였다. 그리고 월말에는 거의 못해서 NN을 살짝 건드리고 대회가 끝이 났다. 디스커션에 있던 페이퍼들도 읽고 그러려고 했는데, 후반부가 흐지부지돼서 아쉽다. 12월에는 아예 tabular data + NN만 집중해서 풀어봐야겠다. 공감수 0 댓글수 0 2021. 12. 1.
[WEEK12] Introduction to Natural Language Processing in Python DataCamp 스터디 새로운 토픽 NLP에 들어갔다. 포스팅하지 않은 주에는 주로 Feature Engineering, Preprocessing, Model Validation 에 관한 내용을 다뤘다. NLP는 이 강의를 통해서 아예 처음 배웠는데 주로 텍스트를 어떻게 전처리할지에 관한 내용이였다. 그리고 여러 NLP library를 import해서 사용해봤다. 1. Regular expressions & word tokenization - Regular expressions (regex) -> import re re.search(), re.match(), re.findall() - Introduction to tokenization - Word tokenization with NLTK 2. Simpl.. 공감수 0 댓글수 0 2021. 11. 29.
[cv] LOOCV vs K-Fold and bias-variance trade-off - LOOCV (Leave-One-Out Cross Validation) vs K-Fold? 일단 두가지 모두 다 Cross-validation 기법이다. 데이터의 양은 정해져있고, (더 많은 데이터셋을 구하는건 더 어려운 일) overfitting 문제를 줄이기 위해서 Cross-validation를 한다. LOOCV: 한개의 관측값을 validation set으로 이용. 당연히 계산양이 많아지고, overfitting 되기 쉬워 데이터셋의 크기가 작을 때 사용함. K-Fold: fold의 개수에 따라서 데이터셋을 나누고, 그 중 하나를 validation set으로 이용. - Bias-variance trade-off LOOCV: low bias, high variance. 전체 n개의 데이터라고 하.. 공감수 0 댓글수 0 2021. 11. 22.
[EDA] Pandas.skew() 가 skewness를 계산하는 방법 pandas .skew()는 bias default = False, 반대로 scipy skew()는 bias default = True 공감수 0 댓글수 0 2021. 11. 19.
[캐글] Tabular Playground Series - October 회고 TBS 10월은 continuous, categorical 이 섞인 상당히 큰 데이터셋이였다. feature 개수만 287개였고, row도 길어서 한번 학습하는데 시간이 오래 걸렸다. 나는 XGBoost를 주로 시도해보고 다른 방법(LGBM, Catboost, NN 등)은 못해봤는데, feature이 287개여서 여러가지 feature engineering + XGBoost를 사용했다. feature engineering은 KMeans로 클러스터를 만들어서 추가해주거나 categorical feature을 인코딩하는 방법들을 배웠다. 어떻게 스코어를 올릴 수 있을지 고민하기보다 새로운 것들을 이해하고 배우는데에 시간을 더 많이 썼다. Datacamp 강의에서 배운건 진짜 기초였고, 캐글에 있는 Noteb.. 공감수 0 댓글수 0 2021. 11. 5.
[WEEK2] Unsupervised Learning in Python 두번째 주가 끝났다. 비지도학습과 클러스터링, 차원 축소 방법에 대해서 배웠다. 수학적인 내용이 많아서 '역시 수학이..' 싶었던 일주일이였고, 마지막에 추천시스템까지 다뤄서 쉽지 않은 코스였다. 수학 공부해야지 + 이번주는 NMF 적용할 수 있는 데이터셋 찾아서 연습. (아마도 영화 줄거리 위키..?) 1. Clustering for dataset exploration - Unsupervised learning, clustering (K Means) - Evaluating a clustering - Transforming features for better clustering 2. Visualization with hierarchical clustering and t-SNE - Visualizing h.. 공감수 0 댓글수 0 2021. 9. 7.
[캐글] 첫번째 노트북 발행 - Fish Market 캐글에 있는 Fish Market이라는 데이터셋으로 생애 첫번째 노트북을 썼다. 이 데이터셋과 연관된 Task는 두개였는데, 물고기의 무게 예측이랑 물고기 종 예측 중 난 무게 예측을 해봤다. 비록 간단한 회귀문제였지만, 처음으로 스스로 score을 낸 문제라서 기쁨 😙 이번주에 배운 데이터캠프 내용으로 다음주도 새로운 데이터셋을 풀어봐야겠다. - EDA 매우 중요한 것 같은데, 통계적 베이스가 너무 부족하다는 것을 느꼈다. - 어떻게 하면 score을 더 올릴 수 있을지 고민했다. (현재 95%) - Outlier data를 어떻게 처리할 수 있을까? = 혼자만 다른 경향을 갖고있는 물고기 종류. 공감수 0 댓글수 0 2021. 9. 5.
DataCamp ML Scientist 참고 자료 DataCamp의 ML Scientist 과정을 들으면서, Andrew Ng Deeplearning.ai 코스를 함께 듣고 있다. ML Scientist에서 다루는 내용이 되게 많은데, 원리에 대한 설명이 부족한 경우가 있어서 구글링이나 유튜브로 개념을 더해줘야 한다. 참고해서 공부한 링크들을 나중에 찾아보기 편하도록 정리해두었다. https://docs.google.com/document/d/1Y6pr4eNQRj8EuCLW94j58edu7HQeRLuQRwou2TtQDDs/edit?usp=sharing DataCamp_ML Scientist Syllabus WEEK1 Supervised Learning with sklearn About sklearn train_test_split module https:.. 공감수 0 댓글수 0 2021. 9. 2.
[WEEK1] Supervised Learning with scikit-learn 스터디 첫 주가 끝났다. 지도학습의 전반적인 내용과 sklearn 사용법에 대해 배웠다. 1. Classification: classification problems using supervised learning techniques. - Supervised Learing = using already labeled data - Numerical / Visual EDA = pandas, seaborn - k-Nearest Neighbors Algorithm = setting a decision boundary - Measuring model performance - Train/test split = split data for training the model, testing - Overfitting and .. 공감수 0 댓글수 0 2021. 8. 31.
[링크] The Beginner’s Guide to Kaggle elitedatascience.com/beginner-kaggle The Beginner's Guide to Kaggle In this guide, we'll cover everything beginners need to know about getting started on Kaggle. Plus, we'll share our 7 favorite tips for enjoying Kaggle. elitedatascience.com 공감수 0 댓글수 0 2021. 1. 31.
[링크] My Machine Learning Journey and First Kaggle Competition towardsdatascience.com/my-machine-learning-journey-and-first-kaggle-competition-fcb57523d614 My Machine Learning Journey and First Kaggle Competition How i started Data Science and First Experience. towardsdatascience.com 공감수 0 댓글수 0 2021. 1. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.