PCA(Principal Components Analysis)主成分分析作為降維最經典的方法，它屬於一種線性、非監督、全域的降維演算法。PCA的目的是找到資料中的主成份，並利用他們表徵原始資料，進而達到降為的目的Nov 1, 2022Nov 1, 2022
Leetcode SQL 10 Days Study Plan(Day2) With Oracle SQL(Delete, Decode, Case When, Update)1873. Calculate Special BonusJul 4, 2022Jul 4, 2022
Leetcode SQL 10 Days Study Plan(Day1) With Oracle SQL(Select, Join, Where)595. Big CountriesJul 4, 2022Jul 4, 2022
支持向量機(Support Vector Machine, SVM)(二) Soft-margin前面介紹了Hard-margin的SVM，找到一個分界線，能將數據進行有效的分類，但當數據中存在一定的噪聲SVM也會將噪聲擬合，因此存在著過擬合的風險，而Soft-Margin…May 8, 2022May 8, 2022
支持向量機(Support Vector Machine, SVM)(一) Hard-marginSVM是眾多監督式學習方法中十分出色的一種，基本原理就是找到一個分界線，能將數據進行有效的分類，同時保證分界線兩邊的樣本儘可能遠的距離這個分界線。 而SVM又有兩種不同的算法，分別是hard-margin、soft-marginAug 18, 2021Aug 18, 2021
L1, L2 Regularization 原理與L1 Regularization的稀疏性L1 Regularization & L2 Regularization，這兩種方式其實就是在 Loss Function 中加上對應的 L1 及 L2 penalty (懲罰項)，以此來減緩overfitting的情形。Aug 12, 2021Aug 12, 2021
Maximum Likelihood Estimation (MLE) and Maximum A Posterior (MAP) in Machine LearningThe Frequentist advocates Maximum Likelihood Estimation (MLE), which is equivalent to minimizing the Cross Entropy or KL Divergence between…Jul 22, 2021Jul 22, 2021
Published inGeek CultureVariational Autoencoder(VAE)As a generative model, the basic idea of VAE is easy to understand: the real sample is transformed into an ideal data distribution through…Jul 8, 20211Jul 8, 20211
機器學習-EM演算法(Expectation maximization algorithm)(四)Experiment-Image Segmentation Using Gaussian…First, use the K-means algorithm to find K central pixels. Second, use Expectation maximization (EM) algorithm to optimize the parameters…May 31, 2021May 31, 2021
機器學習-EM演算法(Expectation maximization algorithm)(三)高斯混和模型Gaussian Mixture Model(GMM)高斯混合模型顧名思義就是將 K 個高斯分布湊在一起成為一個新的機率分布。每個高斯分布出現的機率為 πk，另外每個高斯分布都有其參數 μk 及 Σk。可以寫成以下數學式子：May 5, 2021May 5, 2021
機器學習-EM演算法(Expectation maximization algorithm)(二)K-meansK-means(K均值聚類)是一種基於中心的聚類演算法，透過迭代，將樣本分到K個類中，使每個樣本與其所屬類中心的距離之和最小。May 5, 2021May 5, 2021
機器學習-EM演算法(Expectation-maximization algorithm)(一)在統計計算中，最大期望（EM）算法是在機率模型中尋找參數最大概似估計的算法，其中機率模型依賴於無法觀測的隱變量。最大期望算法經常用在機器學習和計算機視覺的數據聚類（Data…Apr 20, 2021Apr 20, 2021
高斯過程(Gaussion Process)(含python實作)迴歸的目的是為了找到一個函數來儘可能貼近地描述一組給定的數據點(用函數擬合數據)。高斯過程是觀測值出現在一個連續域（例如時間或空間）的隨機過程。其中結合先驗知識，它利用數據點之間同質性的度量作為核函數，構造協方差函數，通過訓練樣本得到聯合機率密度，進而求得新數據預測分布。它最直觀…Apr 12, 2021Apr 12, 2021
貝氏分類器(Naive Bayes Classifier)(含python實作)貝式分類器是一中基於機率模型的貝式分類器是一中基於機率模型的機器學習模型，並且假設每個特徵都是相互獨立的，可以同時接受離散型變數和連續型變數。透過計算，我們可以知道在已知的資料下哪個目標的發生機率最大，由此去做分類。Apr 8, 20211Apr 8, 20211
[最佳化演算法]粒子群演算法Particle swarm optimization (PSO)簡單來說，一群被稱為粒子的潛在解在多維度解空間中找尋最佳解位置，粒子每次移動都會參考自身過往曾找到的的最佳解位置、所有粒子的過往最佳解位置，然後再決定移動方向還有距離。Apr 7, 2021Apr 7, 2021
關於深度學習中的Loss Function(Entropy、Cross Entropy、KL Divergence and f-Divergence)深度學習用到的目標函數基本上都是「損失函數(loss function)」，而模型的好壞有絕大部分的因素來至損失函數的設計。損失函數基本上可以分成兩個面向(分類和回歸)，基本上都是希望最小化損失函數。常見的損失函數有Entropy、Cross Entropy、KL…Apr 1, 2021Apr 1, 2021
Sequential Bayesian Learning繼上次推導完的Bayesian Inference(下方連結)，這次要來繼續推導Sequential Bayesian Learning的部分。Mar 31, 2021Mar 31, 2021
決策樹(Decision Tree)常見的三種算法(ID3、C4.5、CART)決策樹作為一種常見的分類模型，首先要先知道怎麼分這些節點，哪個節點適合作為起始根部，節點的判斷依據及數值的認定為何，此時就會利用到所謂的決策樹算法，例如ID3、C4.5、CART，他們可以將特徵值量化，自動建構並決定決策樹的每個節點。Mar 22, 20211Mar 22, 20211
常見梯度下降法Gradient Descent(GD、SGD、Min-Batch SGD、Momentum、Adagrad、RMSProp、Adam)梯度下降是一種尋找函數極小值的優化方法，在深度學習模型中常常用來在反向傳播過程中更新神經網路的權重。 此篇，在線性回歸問題中我用了梯度下降實現了GD、SGD、Min-Batch SGD、Momentum、Adagrad、RMSProp、Adam。Mar 22, 2021Mar 22, 2021
![[最佳化演算法]粒子群演算法Particle swarm optimization (PSO)](https://miro.medium.com/v2/resize:fill:80:53/1*BoWBY_kWfDcmBW3wCt8Smg.png)
![[最佳化演算法]粒子群演算法Particle swarm optimization (PSO)](https://miro.medium.com/v2/resize:fill:160:107/1*BoWBY_kWfDcmBW3wCt8Smg.png)
