writerの印刷→プリンター→プロパティにて指定した用紙サイズが反映されません。現在はプリンターの機能を使って拡大縮小処理を行っていますが、これに対応するlibreofficeの機能の利用方法がわかりません。
キャプチャ画像①
また、ユーザー定義のページサイズで印刷したい際に、ユーザー定義のページサイズと同じ縮尺の用紙サイズを設定することが出来ません。「印刷」を開いた時点で用紙サイズが勝手に変更されてしまいますし、印刷→オプション→「プリンタ設定の用紙サイズのみ使用」にチェック、といった操作を行っても意図したレイアウトにて印刷出来ません。
キャプチャ画像②
バージョン: 5.3.2.2
Build ID: 6cd4f1ef626f15116896b1d8e1398b56da0d0ee1
CPU Threads: 4; OS Version: Windows 6.2; UI Render: default; Layout Engine: new;
ロケール: ja-JP (ja_JP); Calc: group
ご質問の内容が多岐にわたっており、コメントしにくく感じられます。整理して分けられないでしょうか。
といいつつ、分かる範囲で少しコメントを…。
ご質問には大きく次の2点に集約されると思います。
(1) 印刷ダイアログにてプリンターのプロパティで設定した用紙サイズ（ユーザー定義サイズ含む）がプレビューに反映されない。
(2) Writer自前の拡大縮小印刷機能が見つからない。
添付いただいた2つのキャプチャ画像を見ながら手前で少し試してみたのですが、どうやら、ご質問の件は全て正常動作ではないかと思われます。
まず(1)ですが。キャプチャ画像でお試しいただいているように、「プリンタ設定の用紙サイズのみ使用」をチェックすることで（ユーザー定義サイズ含め）用紙サイズ自体は反映されています。その際用紙の周囲に余白（すきま）が出来るのは正常な挙動です。
ご承知かもしれませんが、「ワープロのページサイズ」と「プリンターの用紙サイズ」は異なる概念です。前者は「こういうサイズの文書が作りたいなぁ…」という想定を意味する仮想的なもの、後者は「内容はともかく実際の紙はこれを使います」というもっと実物的なものです（実際には後者もワンステップ仮想的な概念ですが…）。ページサイズA4として作った文書を用紙サイズA3やA5に印刷するようなことは往々にして考えられます。
キャプチャ画像(1)の例では、A4サイズとして作成した文書をより大きなA3用紙に印刷しようとしているため、このように余白が挿入されています。用紙サイズがA5だと部分切り取りなるでしょう。
キャプチャ画像(2)の例では、右端のサイドバーで設定されているものが（ここでいうところの）「ページサイズ」、印刷ダイアログのプレビューに表示されているのは「用紙サイズ」ということだと思います。ご質問の後半で「「印刷」を開いた時点で用紙サイズが勝手に変更されてしま」われているのは、「プリンタ設定の用紙サイズのみ使用」が未チェックだったのではないかと推察します。「プリンタ設定の用紙サイズのみ使用」が未チェックの場合には、LibreOfficeはプリンターが持っている用紙サイズの選択肢の中から自動的にページサイズに近いものを選んでプレビューするようです。プリンターが印刷できない用紙サイズは通常選び得ませんので、まずまず妥当な挙動かなと思います。
さてその上で生じる「すきま」問題の一因となっているのが(2)のお話ですが、、、寡聞にして私もそのような機能は見たことがありません。Drawにはページサイズに合わせて縮小印刷するなどの機能があるようですが（縮尺の指定は印刷機能では出来ないようです）、Writerでは見当たりません。仕様ではなかろうかと、思います。ワープロソフト自体よりもまさにプリンターや外部ツールの方が柔軟に対応出来るところですからね。
キャプチャ画像(2)の最後で指摘されている「すきま」は、こちらでは再現していません。215*162mmの用紙に余白なく文字が並んだプレビューが表示されています。恐らく余白設定の関連だと思うのですが…。試しにサイドバーの「ページ-書式-余白」欄を「なし」にすると、どのようになるでしょうか？（キャプチャ画像の例では「カスタム」と表示されているようです。）
いずれにせよ、この手の用途にはWriterよりDrawの方が自由度が高くてオススメです。
なお今回テストに使ったプリンター（のドライバー）はブラザーのDCP-J952Nです。
あ。もしかすると「差し込み印刷」機能をお使いなのかな？ だとするとDrawだと自前では難しいですね…。
大変丁寧なコメントありがとうございます。ご指定いただいた内容についてを検証した上で、後刻詳しくコメントさせて頂きます。