ご質問の内容が多岐にわたっており、コメントしにくく感じられます。整理して分けられないでしょうか。
といいつつ、分かる範囲で少しコメントを…。
ご質問には大きく次の2点に集約されると思います。
(1) 印刷ダイアログにてプリンターのプロパティで設定した用紙サイズ(ユーザー定義サイズ含む)がプレビューに反映されない。
(2) Writer自前の拡大縮小印刷機能が見つからない。
添付いただいた2つのキャプチャ画像を見ながら手前で少し試してみたのですが、どうやら、ご質問の件は全て正常動作ではないかと思われます。
まず(1)ですが。キャプチャ画像でお試しいただいているように、「プリンタ設定の用紙サイズのみ使用」をチェックすることで(ユーザー定義サイズ含め)用紙サイズ自体は反映されています。その際用紙の周囲に余白(すきま)が出来るのは正常な挙動です。
ご承知かもしれませんが、「ワープロのページサイズ」と「プリンターの用紙サイズ」は異なる概念です。前者は「こういうサイズの文書が作りたいなぁ…」という想定を意味する仮想的なもの、後者は「内容はともかく実際の紙はこれを使います」というもっと実物的なものです(実際には後者もワンステップ仮想的な概念ですが…)。ページサイズA4として作った文書を用紙サイズA3やA5に印刷するようなことは往々にして考えられます。
キャプチャ画像(1)の例では、A4サイズとして作成した文書をより大きなA3用紙に印刷しようとしているため、このように余白が挿入されています。用紙サイズがA5だと部分切り取りなるでしょう。
キャプチャ画像(2)の例では、右端のサイドバーで設定されているものが(ここでいうところの)「ページサイズ」、印刷ダイアログのプレビューに表示されているのは「用紙サイズ」ということだと思います。ご質問の後半で「「印刷」を開いた時点で用紙サイズが勝手に変更されてしま」われているのは、「プリンタ設定の用紙サイズのみ使用」が未チェックだったのではないかと推察します。「プリンタ設定の用紙サイズのみ使用」が未チェックの場合には、LibreOfficeはプリンターが持っている用紙サイズの選択肢の中から自動的にページサイズに近いものを選んでプレビューするようです。プリンターが印刷できない用紙サイズは通常選び得ませんので、まずまず妥当な挙動かなと思います。
さてその上で生じる「すきま」問題の一因となっているのが(2)のお話ですが、、、寡聞にして私もそのような機能は見たことがありません。Drawにはページサイズに合わせて縮小印刷するなどの機能があるようですが(縮尺の指定は印刷機能では出来ないようです)、Writerでは見当たりません。仕様ではなかろうかと、思います。ワープロソフト自体よりもまさにプリンターや外部ツールの方が柔軟に対応出来るところですからね。
キャプチャ画像(2)の最後で指摘されている「すきま」は、こちらでは再現していません。215*162mmの用紙に余白なく文字が並んだプレビューが表示されています。恐らく余白設定の関連だと思うのですが…。試しにサイドバーの「ページ-書式-余白」欄を「なし」にすると、どのようになるでしょうか?(キャプチャ画像の例では「カスタム」と表示されているようです。)
いずれにせよ、この手の用途にはWriterよりDrawの方が自由度が高くてオススメです。
なお今回テストに使ったプリンター(のドライバー)はブラザーのDCP-J952Nです。