mycTW Note

發表於 更新於 分類於 ，

MongoDB Index Intersection，索引交集

MongoDB 索引交集，初次看到這個東西覺得很神奇，查了一下是在 2.6 版本提供的新功能。

用途是一個查詢中，可以使用兩把 Index 進行協助查詢，注意，至多只能是兩把！所以你想把每個欄位都單獨建立索引，讓他能夠自由組合就錯了。

說明文件開頭也聲明：

  • 請使用 Compound Index 而非使用 Index Intersection
  • explain 上也不會優先使用它
  • 若查詢中有排序，就不能使用它

看了上述三項，應該很多情境都不會用了。

在更細去探討之前，先了解 Index。

例如我們現有一把 Index

閱讀全文 »

發表於 更新於 分類於 ，

Environment

  • macOS Monterey
  • DotNet SDK 6.0.101
  • Rider IDE 2021.3.2
  • DotNet Core Project

升級 DotNet Core 版本後，有遇到某些專案會無法建置，錯誤如下：

NETSDK1177: Failed to sign apphost with error code 0

解法 1

  • Step1: 刪除專案底下的 obj 資料夾
  • Step2: 執行 Nuget restore

通常就可以解決了，如果還是無法，還有第二種…

解法2

直接輸入 xcode-select --install，等待安裝完畢即可

閱讀全文 »

發表於 更新於 分類於

API 測試相關文章可以參考以下連結：

  1. Postman, API 測試工具教學
  2. Mockoon, 不會寫程式也能自己建立 API 伺服器
  3. Postman, 學會變數功能快速切換設定值

Postman 發展至今已經是很強大的 API 測試工具，早期為單純的 API 測試，接著陸續加入了腳本、整合多個測試、個人同步、團隊協作甚至是開發 API 與 Mock server(模擬伺服器)，讓你不需要熟稔程式也能開發自己的 API。

前置作業

  1. 到 Postman官網 下載並安裝好 Postman
  2. 選擇以下任一個 API 測試網站，挑一個覺得順眼的就可以了

接下來我們練習的 API 會直接打到這些網站之一的接口

閱讀全文 »

發表於 更新於 分類於 ，

MongoDB, out, merge

本篇接續 MongoDB $out 教學，介紹的是 $out 語法的進階版本 $merge，客製化程度更高了，能夠處理衝突時該使用覆蓋還是略過等。

$merge 僅能在 aggregation pipeline 中使用，且必須是最後一個執行的階段，也就是說在前面可以執行任何的資料篩選、操作和轉型，最終輸入到目的地。

語法與參數

1
2
3
4
5
6
7
{ $merge: {
     into: [collection]  // 或是 { db: [db], coll: [collection] },
     on: [field] // 或是 [ field1, field2 ], 指定唯一的欄位，選填參數
     let: [variables],        // 選填參數
     whenMatched: [ replace | keepExisting | merge | fail | pipeline ],  // 選填參數
     whenNotMatched: [ insert | discard | fail ]         // 選填參數
} }

從上述語法上可以得知

  • into 就是匯入的集合
  • on 指定唯一的欄位，用來做文件比對是否相符，以進行 whenMatched 或 whenNotMatched 動作，可以是一個或多個欄位
  • let 可以讓使用者自定義的變數 $$xxx
  • whenMatched 當遇到衝突時該..
    • replace 直接取代
    • keepExisting 略過
    • merge 嘗試合併(預設選項)
    • fail 直接回傳失敗
    • pipeline 若有自定義的 user variable，就必須使用 pipeline 參數來客製整個操作細節
  • whenNotMatched
    • insert 直接寫入(預設選項)
    • discard 忽略此資料
    • fail 直接報錯

注意事項

閱讀全文 »

發表於 更新於 分類於

2021 年是個改變很多的一年，疫情關係迎來了這份工作第一次 WFH，剛開始生活與工作平衡拿捏不是很好，工時不知不覺就多了很多，畢竟是隨時隨地都能夠自由工作的狀態，是一個很好的學習體驗。

至於改變很多，指的是踏出工作上的舒適圈，雖然我對外人的說法總是開玩笑地說「中年危機，中年危機啦！」，一部分來說是事實，主要原因還是來自些許的憤怒，社會走跳，要讓人信服需要各種程度的「砍讚」，即便是再小的事情也一樣，氣的部分是不夠被信任，即使是對的也不被接受，氣別人不如氣自己，那麼我就更加努力地去鑽研，直到夠格為止。

我生性健忘，想到了之前荒廢已久的部落格，興起念頭開始邊讀文件邊實作並記錄在部落格上；適逢 iThome鐵人賽，燃起參加的念頭，但在這個時刻，突然驚覺原來阻礙我的念頭是擔心程度不足而丟臉。這是一個很糟糕的想法，有的人是完美主義，有的人是害怕失敗，但這些都不應該存在的，我的理念就是不去嘗試，狀況永遠不會改變，沒有人是完美準備好才上陣的。

  • 證照考試
  • 鐵人賽
  • 部落格

從踏出舒適圈開始，這段旅程讓我學到了非常多，也養成了學習的習慣，雖然在「年紀」的因素下，做任何事情都是時間的投資，成功與效益就變得格外重要，我不能否認這個看法，卻也搞得壓力很大。很多學習不見得是當下用得到，你也不會知道未來何時用得到，甚至是額外的益處也預料不到。

結果來看，還是沒有得到認可，說不失望是假的，但也代表做得不夠好、還有進步空間。

立了下一年度的目標，繼續迎戰！

閱讀全文 »

發表於 更新於 分類於 ，

建議搭配第二篇 MongoDB 索引的 ESR 規則詳解 一起閱讀

我原本以為對官方來說這是一個很基本的查詢通則，沒想到在 MongoDB Manual 搜尋不到相關的文獻，只有在官方 blog 的 Performance Best Practices: Indexing 這篇文章有介紹到 ESR 規則，讓我有點意外。

ESR(Equality, Sort, Range) 意思是指查詢條件與 Index 必須按照這個順序來安排，才能夠達到最佳的效能。

  • Equality: {$eq}
  • Sort: .sort({ })
  • Range: {$gte:{ }}

什麼情況適用

基本上你有使用 Index 就要這樣做，也就是都要這樣做。

假設你的查詢條件沒有排序，那就可以跳過 sort 階段。

假設你的查詢條件有排序，那 sort 必須緊跟在前一個 equality 階段。

例如有一把 index {a:1, b:1, c:1}

閱讀全文 »

發表於 更新於 分類於

NVM 顧名思義就是 Node Version Manager，會寫這篇文章也是因為升版本 NodeJS 後，Hexo 反而不支援相關功能，於是需要降版本來使用相關功能。特別來補一下，怕之後忘記怎麼處理。

NVM Git Repository

  • Step1

curl nvm!

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash

1
2
3
4
5
6
7
8
➜  source git:(master) ✗ curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 14984  100 14984    0     0  51491      0 --:--:-- --:--:-- --:--:-- 51491
=> Downloading nvm from git to '/Users/mingyi/.nvm'
=> Cloning into '/Users/mingyi/.nvm'...
...
  • Step2

設定執行檔

export NVM_DIR="$HOME/.nvm" [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm [ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion"

  • Step3
閱讀全文 »

發表於 更新於 分類於

TypeError [ERR_INVALID_ARG_TYPE]: The “mode” argument must be integer. Received an instance of Object

Hexo deploy 失敗

今天一如往常修改了一些 blog 內容後準備發布，發現怎麼遲遲未更新，回去看 terminal 才發現這個錯誤。

TypeError [ERR_INVALID_ARG_TYPE]: The "mode" argument must be integer. Received an instance of Object

完整資訊如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
上略
~
INFO  Deploying: git
INFO  Clearing .deploy_git folder...
INFO  Copying files from public folder...
FATAL Something's wrong. Maybe you can find the solution here: http://hexo.io/docs/troubleshooting.html
TypeError [ERR_INVALID_ARG_TYPE]: The "mode" argument must be integer. Received an instance of Object
    at copyFile (node:fs:2774:10)
* (HEAD detached at FETCH_HEAD)
  master
...skipping...
    at tryCatcher (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/util.js:16:23)
    at ret (eval at makeNodePromisifiedEval (/usr/local/lib/node_modules/hexo-cli/node_modules/bluebird/js/release/promisify.js:184:12), <anonymous>:13:39)
    at /Users/mingyi/Documents/blog/node_modules/hexo-fs/lib/fs.js:181:12
    at tryCatcher (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/util.js:16:23)
    at Promise._settlePromiseFromHandler (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:512:31)
    at Promise._settlePromise (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:569:18)
    at Promise._settlePromise0 (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:614:10)
    at Promise._settlePromises (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:694:18)
    at Promise._fulfill (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:638:18)
    at Promise._resolveCallback (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:432:57)
    at Promise._settlePromiseFromHandler (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:524:17)
    at Promise._settlePromise (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:569:18)
    at Promise._settlePromise0 (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:614:10)
    at Promise._settlePromises (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:694:18)
    at Promise._fulfill (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:638:18)
    at Promise._resolveCallback (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:432:57)
    at Promise._settlePromiseFromHandler (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:524:17)
    at Promise._settlePromise (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:569:18)
    at Promise._settlePromise0 (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:614:10)
    at Promise._settlePromises (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:694:18)
    at Promise._fulfill (/Users/mingyi/Documents/blog/node_modules/bluebird/js/release/promise.js:638:18)

之後才熊熊想到 nodeJS 版本升級了，上網一查果然沒錯!!

1
2
3
4
➜  source git:(master) ✗ hexo -v
hexo: 3.8.0
hexo-cli: 1.1.0
os: Darwin 20.6.0 darwin x64

我升級的是 nodeJS 17.2 版本，目前 hexo 並不支援啊～～
要使用 nvm 來降版本，降到 nodeJS 13 版本之後就能順利部署了！！

閱讀全文 »

發表於 更新於 分類於 ，

如何選擇好的 Shard key

  • 4.2 版本之後，shard key 欄位可以被修改
  • 4.4 版本之後，shard key 可為不存在的欄位，不需要每個文件都有此欄位
  • 5.0 版本之後，可以動態 reshard a collection
  • Shard key 分佈都是一個區間(range)，都是 include lower bound, exclude upper bound，例如：
    • 下界: 0
    • 上界: 5
    • 範圍: 0 <= x < 5

High Cardinality

中文叫做高的基數，剛開始也是一知半解。
簡單來說就是該欄位必須範圍夠廣，因為 shard 數量是依照 shard key 進行分配與產生的，最大上限就是 shard key 的範圍。

例如我們選擇 洲(continent) 當作 shard key，那麼 shard 數量不能超過 7 個，因為地球就只有七個大洲。這當然不會是一個好的 shard key。

Frequency

這邊說的是 shard key 欄位的分布狀況，假設用台灣各個城市當作 shard key 就不是很好，因為大部分人會集中在北部，尤其台北市與新北市，這樣 shard 資料量分佈就會很不均衡。

Monotonically Changing

不要選用單純遞增或遞減的欄位作為 shard key，例如日期或者遞增的 sequence number。

因為 shard key 是有上下限的設計，最高為 max，最低為 min。假設選用遞增數字來當 shard key，新的資料進來永遠都會位在 最大的 shard。

閱讀全文 »

發表於 更新於 分類於 ，

因為這次內容比較多，就減少文字的描述了，直接上乾貨(X)，直接上範例與結果。

測試資料

1
2
3
db.arraycollection.insert({fruits:['apple', 'guava', 'orange', 'watermelon', 'pitaya', 'durian']})
db.arraycollection.insertMany([{field:1},{field:2},{field:3},{field:4},{field:5}])
db.arraycollection.insert({num:[1,2,3,4,5]})

查詢

1
2
3
4
5
6
> db.arraycollection.find({fruits: [ "apple", "guava", "orange", "watermelon", "pitaya" ] } )
>

> db.arraycollection.find({fruits: [ "apple", "guava", "orange", "watermelon", "pitaya", "durian" ] } )

{ "_id" : ObjectId("619e633a370002a1c5b7d94c"), "fruits" : [ "apple", "guava", "orange", "watermelon", "pitaya", "durian" ] }

$all

給予一陣列進行查詢，都要符合才找得到

1
2
3
4
5
6
7
8
9
10
11
12
13
> db.arraycollection.find({fruits:{$all:['apple']}})

{ "_id" : ObjectId("619e633a370002a1c5b7d94c"), "fruits" : [ "apple", "guava", "orange", "watermelon", "pitaya", "durian" ] }

> db.arraycollection.find({fruits:{$all:['guava','apple']}})

{ "_id" : ObjectId("619e633a370002a1c5b7d94c"), "fruits" : [ "apple", "guava", "orange", "watermelon", "pitaya", "durian" ] }

> db.arraycollection.find({fruits:{$all:['Apple']}})
>

> db.arraycollection.find({fruits:{$all:['apple', 'grapes']}})
>

$elemMatch

閱讀全文 »